《大数据处理技术与思维课件》由会员分享，可在线阅读，更多相关《大数据处理技术与思维课件（29页珍藏版）》请在金锄头文库上搜索。
1、9/14/2020,大数据处理技术与思维,数据挖掘技术 商业智能,9/14/2020,数据挖掘技术的由来,大量信息在给人们带来方便的同时也带来了一大堆问题： 第一：是信息过量，难以消化； 第二：是信息真假难以辨识； 第三：是信息安全难以保证； 第四：是信息形式不一致，难以统一处理。,网络之后的下一个技术热点,9/14/2020,数据挖掘技术的由来,从商业数据到商业信息的进化,9/14/2020,数据挖掘技术的由来,数据挖掘逐渐演变的过程,算法学习,专家系统,机器学习,9/14/2020,数据挖掘的定义,数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数
2、据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。,技术上的定义及含义,9/14/2020,数据挖掘的定义,数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。 按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。,商业角度的定义,9/14/2020,数据挖掘的定义,数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识. 数据挖掘所得到
3、的信息应具有先未知,有效和可实用三个特征.,数据挖掘与传统分析方法的区别,9/14/2020,数据挖掘的定义,数据挖掘和数据仓库,数据源,数据仓库,各分公司 数据集,分析 数据集,数据挖掘 数据集,9/14/2020,数据挖掘的定义,数据挖掘，机器学习和统计分析,数据挖掘,统计分析,预测,简单的方法,复杂的方法,9/14/2020,数据挖掘的定义,数据挖掘，机器学习和统计分析,数据挖掘,统计方法,模式识别,人工智能,封装,预测,9/14/2020,数据挖掘的基本技术,关联规则挖掘技术,关联规则（association rule）挖掘技术用于发现数据库中属性之间的有趣联系。和传统的产生式规则不同
4、，关联规则可以有一个或多个输出属性。同时，一个规则的输出属性可以是另一规则的输入属性。 关联规则分析有时也叫购物篮分析，是因为它可以找寻出潜在的令人感兴趣的所有的产品组合。由此，有限数目的属性可能生成上百条关联规则。,9/14/2020,数据挖掘的基本算法,其它数据挖掘算法,K-平均值算法（一种无指导聚类算法） 遗传算法（可用于有指导学习的算法） 神经网络算法（可用于有指导学习的算法）,9/14/2020,BI理解,商务智能是通过对来自不同的数据源进行统一处理及管理，通过灵活的展现方法来帮助企业进行决策支持。,9/14/2020,BI概念,商业智能（Business Intelligence，
5、简称BI）的概念最早是Gartner Group于1996年提出来的。当时将商业智能定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。 目前，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。 从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。,9/14/2020,商业智能是一种解决方案，关键是从许多来自不同的企业运作系统的数据中，提取出有用的数据，进行清理以保证数据的正确性，然后经过抽取（Extraction）、转换（Transform
6、ation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管理者，为管理者的决策过程提供支持。,9/14/2020,外 部 数 据 库,MS SQL,ORACAL,外部 文件,ETL 工具,大数据平台， 数据 仓库,元数据,数据挖掘,OLAP分析,信息表现,查询报表,数据仓库数据模型,BI系统用户,元数据库,元数据,数据 描述,用法,结构安全设置,数据,数据,数据,查询,请求,商业智能基本过程图,9/14/2020,
7、信息孤岛,各自为政，互相独立,财务分析,9/14/2020,帮助企业提高战略决策,9/14/2020,商务智能对企业的作用和价值,9/14/2020,数据展现,数据管理,数据获取,数据迁移,作业分配 数据清洗,数据仓库 元数据管理,数据集市管理,安全性、 分析管理,企业商务智能体系架构规划,最终用户,数据源,ETL/EII,数据存储管理,业务模型,数据展现,数据分析,元数据管理（运营元数据、技术元数据、分析元数据）,IWAY,WEBFOCUS,DW,9/14/2020,决策支持系统解决五个层次的问题,以前发生了什么,为什么发生了,现在发生了什么,将来会发生什么,业务活动管理,9/14/2020
8、,商务智能5类前端展现的工具,固定报表,KPI指标,即席查询,例外分析,数据挖掘,9/14/2020,Copyright 2005 Business Objects Greater China. All rights reserved.,商业智能应用的三个阶段,阶段一: 报表 固定报表 灵活报表 复杂报表 报表共享 报表分发,阶段二: 查询分析 交互查询 切片钻取旋转 OLAP,阶段三: 高层次分析 AA/DM DSS,9/14/2020,商务智能的5个后台数据处理工具,ETL工具,实时数据抽取,数据质量防火墙,元数据管理,主数据管理,9/14/2020,经营分析的关键主题,经营操作,分析决策
9、,业务发展的趋势,客户行为分析,风险分析,竞争优势分析,客户服务分析,营业收入分析,绩效考核管理,入库率分析,产品组合分析,异常预警分析,9/14/2020,分析型客户关系管理,收入分析 市场细分 客户类型 地区 年度 业务部门,争取客户能力分析 市场细分 客户类型 地区 年份,客户成本分析 市场细分 客户类型 地区 年度 业务部门,客户活动周期分析,保留客户能力分析 市场细分 客户类型 地区 年份,客户忠诚度分析 市场细分 客户类型 地区 年份 业务部门,客户产品毛利分析 市场细分 客户类型 地区 年度 业务部门,市场细分表现分析 市场活动 营销媒体 销售渠道 时段,目标市场表现分析 市场活
10、动 营销媒体 销售渠道 时段,客户满意度分析 市场细分 客户类型 地区 年份 业务部门 活动,最佳/最差客户分析 历史收入 预测收入 平均定单销售额 重复购买率 加权评分,潜在流失客户分析 历史收入 预测收入 客户满意度 服务请求 加权评分,等等,9/14/2020,客户分析的关键主题,经营操作,分析决策,客户获取能力,客户保留能力,风险分析,交叉销售能力,向上销售能力,客户管理能力,客户轮廓分析,客户行为分析,产品组合分析,客户细分分析,9/14/2020,数据仓库建设应以应用主题驱动,主题 客户关系管理,问题 客 户 流 失 分 析,客户消费行为统计 客户群体的细分 存运票价的确定和客户的趋势分析 客户的满意程度 客户流失分析 获取新的客户 获利能力和在目标市场上所占的份额,模型 f(要素1,要素2要素n),模型 f(要素1,要素2要素n),9/14/2020,完整的、统一的数据模型 所有数据存储在单一数据库中 提供单一的“实事”数据,统一数据模型是基础,
