数据挖掘与商务智能精编版

《数据挖掘与商务智能精编版》由会员分享，可在线阅读，更多相关《数据挖掘与商务智能精编版（44页珍藏版）》请在金锄头文库上搜索。

1、商务智能概述,第一章,数据挖掘与商务智能,主要内容,数据时代需要BI 什么是BI BI给我们带来了什么 BI系统架构 主流商务智能产品介绍 商务智能应用及发展趋势,数据时代需要BI-1,计算时代 实验室里的大量计算 不重视数据的存储 普及时代 个人、企业广泛使用 出现数据、存储的需求 应用系统时代 开始出现数据积累 互联网时代 更加海量的网上数据 数据时代？ 数据、数据、数据、数据、数据.,“大话”计算机数十年来的发展,数据时代需要BI-2,案例一：Behavior Targeting 用户行为（网络用户，实际用户） 目标销售（email，网络广告，短信，电话促销） 用户的归类、预测,数据告诉

2、我们什么-3,案例二：SEM（Search Engine Marketing） 搜索引擎营销 MSN Bing 、 Google、Yahoo和Baidu四大全球搜索引擎 KSP（Keyword Services Platform ） AdSage（艾德思奇）:第三方SEM服务商,“Business Intelligence is a process of turning data into information and knowledge into action for business gain。”Data Warehouse Institute.,什么是商务智能-1,数据 可以记录、通信

3、和能识别的符号 可以是文本、图片、声音等多种形式 信息 有用的数据就是信息，信息是对数据的解释 信息是经过加工后的数据 一个人的垃圾（数据）是另一个人的财富（信息） 知识 是对信息内容进行提炼、比较、挖掘、分析、概括、判断和推论 事实性知识和经验知识（显性和隐性）,How are You?,什么是商务智能-2,商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争力的智慧和能力-王茁专著三位一体的商务智能.,共性 没有数据就没有商务智能 数据之间往往存在一

4、定的规律 采用一定的信息技术手段,BI给我们带来了什么-1,BI给我们带来了什么-2,丰富的报表、查询功能发生了什么,BI给我们带来了什么-3,图4.5 Cognos的钻取操作,IBM Cognos的钻取操作为什么发生,BI给我们带来了什么-4,预测将来会发生什么,销售分析仪表盘,BI给我们带来了什么-5,仿真分析希望发生什么,BI 系统架构-1,添加、修改、删除； 查询、统计、归档； 存储、集群、备份、迁移,数据仓库,ETL,BI 系统架构-2,数据源 企业内部数据 各种应用系统：订单系统、销售系统、 OLTP（Online Transaction Processing） 外部数据：市场信息

5、、竞争对手数据 存在问题 异构环境数据 主题不明确 对业务系统的影响,BI 系统架构-3,数据仓库（Data Warehouse，DW） 面向主题的、集成的、稳定的、随时间不断变化的数据库系统 ETL 数据抽取（Extraction） 数据转换（Transformation） 数据加载（Loading）,BI 系统架构-4,OLAP（On-Line Analytical Processing） 商务智能的直接数据来源？ OLTP? 数据仓库？ 多维数据集? 什么是多维数据集？,“多维数据集是一种结构，包含了一个或多个度量。这些度量用于所有维度的成员的每个唯一组合。”,BI 系统架构-5,OLA

6、P（On-Line Analytical Processing）,“OLAP系统能够让用户快捷地从数据中检索信息，通常作为分析工具用在数据集市中，OLAP系统通过度量、维度、层次结构和多维数据集等来展示数据。” Microsoft,BI 系统架构-6,数据挖掘,啤酒与尿布的故事： 在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售，但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。 原来，美国的妇女们经常会嘱咐她们的丈夫下班以后要为孩子买尿布。而丈夫在买完尿布之后又要顺手买回自己爱喝的啤酒，因此啤酒和尿布在一起购买的机会还是很多的。,BI的三个层次,添加、修改、删除； 查询、统计、归档

7、； 存储、集群、备份、迁移,数据仓库,ETL,BI的三个层次,用户数增加,报表分析,OLAP,DM,复杂度增加,我知道它现在是怎样的,我知道它为什么是这样,我知道它以后会是怎样,主流商务智能产品介绍-1,主流商务智能产品介绍-2,商务智能应用-1,商务智能行业应用,商务智能应用-2,各行业电子商务网站,算法 层,商 业 逻 辑 层,行 业 应 用 层,商业应用,商业模型,挖掘算法,相关行业,商务应用需求的推动,神经网络、决策树、回归分析、粗集、遗传算法,金融行业应用美国汇丰银行使用SPSS成功案例,公司背景 美国汇丰银行是HSBC集团成员之一，通过位于纽约的 380 个分支机构为 140 多万

8、银行客户提供核算、投资、借贷和其它金融服务。美国汇丰银行资产为350亿美元。 面临问题 同一地区可能有多家银行设有分支机构，从而引起持续的竞争来吸引和保持附近的潜在客户。为保持高水平的客户获取和保持率，并维持可赢利性，银行经常要实现以下目标： 扩展和现有客户的关系 控制营销费用以维持利润 用新的智能快速转移市场,金融行业应用美国汇丰银行使用SPSS成功案例,解决方案SPSS 客户细分：采用实时的预测分析技术，分析来自各种不同数据源（ATM、交易网站、呼叫中心及相关分支机构）的客户数据,发现潜在价值 客户流失：找出最有价值的客户，理解他们的行为。在客户群中找出尽可能多的潜在流失者，进行有效的保留

9、活动并降低成本 交叉销售:从客户的交易数据和客户的自然属性中寻找、选择最有可能捆绑在一起销售的产品和服务，发现有价值的产品和服务组合，从而有效地向客户提供额外的服务，提高活期收入并提升客户的收益率,金融行业应用美国汇丰银行使用SPSS成功案例,应用结果 揭示特定客户的需求，销售增加50% 营销费用减少30% 提高了建立和开展适时营销战略的能力,Somma说， OLAP对了解数据特征来说是一个不错的工具，但我无法从中发现联系的力度，也不能做出预测模型，而那正是我最需要的。“ Somma说，OLAP是好的报告工具，但没有统计引擎，它只能告诉过去我在哪里，而不能说出我需要去哪里。,BI在电信行业应用

10、,精细化营销 客户细分，找准客户范围，全面了解客户 地市分公司数据集市建设 评估分析套餐 资费预演功能 套餐分析 资费营销案活动管理 降低成本 重入网现象日趋严重 利用呼叫指纹和IMEI技术，架构新的重入网模型,BI在零售业应用-1,零售业特点 顾客数量庞大，消费水平层次不齐 销售品种多，销售方式多样 供应商信息庞大 顾客已从“感觉消费”向“感情消费”迈进 企业经营开始从降低成本向提高顾客满意度迈进（CRM） CRM（客户关系管理）指在合适的时间、以合适的价格、将合适的产品或服务提供给合适的客户，以满足他们的需要。,BI在零售业应用-2,BI在零售业的应用价值 了解销售全局 商品分组布局 降低

11、库存成本 市场和趋势分析 有效的商品促销,BI在电子商务行业的应用-1,BI在电子商务行业的应用-2,Web挖掘 就是利用数据挖掘技术，从Web文档以及服务中发现信息、知识的过程 数据来源于Web文档、 Web服务器日志、用户Cookies 主要处理文本、图形、图像等半结构化数据 主要应用 网站结构优化 智能搜索引擎 个性化推荐 顾客分类，交叉销售 垃圾邮件过滤,BI在电子商务行业的应用-3,Web挖掘分类,BI在电子商务行业的应用-4,Web文本挖掘 Web文本挖掘应用 搜索引擎优化 垃圾邮件过滤,BI在电子商务行业的应用-4,Web结构挖掘 通过分析页面链接的数量和对象，从而建立Web的链

12、接结构模式 相关算法 PageRank算法：网页的质量和重要性可以通过其他网页对其链接的数量进行衡量 HITS算法： 权威页面：表达某一主题的页面 Hub页面：把权威页面链接到一起的页面 应用 信息检索：根据Web重要性进行排名 社区识别：识别基于某个特定主题的相关Web页面 网站优化：重新定位网页链接,BI在电子商务行业的应用-5,Web日志挖掘 指从用户访问日志中获取有价值的信息 ，包括访问者的兴趣爱好、访问模式、满意度 应用 顾客分类：开展有针对性的营销活动 交叉销售：识别商品间的关联程度 个性化推荐：在适合的时间，以适合的方式，将适合的产品，推荐到适合的人手中。,BI在电子商务行业的应

13、用-6,服装电子商务个性化推荐系统关键技术研究 课题,虚拟与现实存在一定的差距，传统的服装电子商务网站不适合“一看二摸三试衣”的购物流程,存在海量的商品信息 查找困难，失去购物兴趣 搜索结果界面相同 缺乏个性化（颜色、款式） 服装个性化搭配问题 服装展示：二维图片+文字说明为主 用户购衣后衣服不合体 衣服质感存在较大差异,BI在电子商务行业的应用-7,服装款式个性化推荐技术 用户聚类 Web数据挖掘 协同过滤推荐 不确定性服装搭配预测模型研究 虚拟试衣 三维人体建模技术 三维人体模型与三维服装CAD结合 虚拟试衣技术,商务智能进展-1,技术发展 20世纪90年代初期 ，信息仓库 90年代中期

14、，数据仓库 90年代后期 ，数据挖掘、多维分析与展现 技术 BI市场竞争 Gartner公司的调查表明，2000年到2004年之间，安全是企业IT投资排在第一位的主题，而商务智能项目的投资在2000年时仅排在第14位，2007年却突飞猛进，排到了第一位 BI公司的收购：Oracle收购Hyperion，SAP收购Business Objects，IBM收购Cognos 市场规模每年大约增加10%15%,商务智能的发展趋势,商务智能进展-2,起步较晚：商务智能在中国的发展尚处于起步阶段，大部分企业对商务智能仍然缺乏必要的了解。 差距拉大：呈现出区域和行业的分布不均现象 供应商有待成长,中国企业对

15、商务智能的应用,商务智能进展-3,实时 标准化 嵌入式商务智能 移动商务智能 大众化趋势 易用性,体育用品公司的数据分析,总结,1、有时候读书是一种巧妙地避开思考的方法。20.8.1120.8.11Tuesday, August 11, 2020 2、阅读一切好书如同和过去最杰出的人谈话。23:07:4023:07:4023:078/11/2020 11:07:40 PM 3、越是没有本领的就越加自命不凡。20.8.1123:07:4023:07Aug-2011-Aug-20 4、越是无能的人，越喜欢挑剔别人的错儿。23:07:4023:07:4023:07Tuesday, August 11

16、, 2020 5、知人者智，自知者明。胜人者有力，自胜者强。20.8.1120.8.1123:07:4023:07:40August 11, 2020 6、意志坚强的人能把世界放在手中像泥块一样任意揉捏。2020年8月11日星期二下午11时7分40秒23:07:4020.8.11 7、最具挑战性的挑战莫过于提升自我。2020年8月下午11时7分20.8.1123:07August 11, 2020 8、业余生活要有意义，不要越轨。2020年8月11日星期二11时7分40秒23:07:4011 August 2020 9、一个人即使已登上顶峰，也仍要自强不息。下午11时7分40秒下午11时7分23:07:4020.8.11 10、你要做多大的事情，就该承受多大的压力。20.4.2020.4.20Monday, April 20, 2020 11、自己要先看得起自己，别人才会看得起你。18:29:0318:29:0318:294/20/2020 6:29:03 PM 12、这一秒不放弃，下一秒就会有希望。20.4.2018:29:0318:29Apr-2020-Apr-2