《客户关系管理系统PPT课件.ppt》由会员分享，可在线阅读，更多相关《客户关系管理系统PPT课件.ppt（24页珍藏版）》请在金锄头文库上搜索。
1、 数据仓库的产生 1996年 中国IT界两大热门话题 互联网络数据仓库美国FORTUNE杂志统计2000家商务公司中 90 应用DW 计算机应用初期 电子数据处理 EDP 执行信息系统 EIS 决策支持系统 DSS 数据仓库探求 企业 办公室 OA 开发环境财会部 AM 数据结构 全局数据 很难一致人事部 PM 系统结构 第十章 数据仓库技术 DataWarehousing 1 没有 一致的 全局信息 很难产生正确的决策 没有 完整的 历史数据 历史数据分析 经验 发展趋势预测隐含信息挖掘 更难支持企业决策 研究 企业范围内的数据集成多数据库系统面向问题的分析海量数据存储 产生一项新的信息技术
2、DataWarehousing DW的概念起源于20世纪80年代美国著名信息工程学家W H Inmon博士 RecordSystemAtomicData 提出数据仓库的概念DecisionSupportDatabase 2 早期关于数据仓库的定义的重要文献 MartinHubel1986 10DataBaseandtheDataWarehousingConcept B A DevilinP T MurphyAnArchitectureforaBusinessandInformationSystem IBMSystemJournal 其中 披露了一项IBM的内部研究计划目的 构造一种 以关系数据
3、库为基础的公司数据的集成化仓储 仓储的使用者 不是IT人员而是各级决策者 数据仓库 1991年 IBM公司正式公布其DW构架INDEPTH 成功开发DW 3 数据仓库概念 权威定义 WilliamInmon博士90年代初 给出 数据仓库 通常是一个面向主题的 集成的 随时间变化的 但信息本身是相对稳定的数据集合 用于对管理决策过程的支持 数据仓库特性 主题和面向主题主题 用户使用数据仓库进行决策时所关心的重要方面 如 销售情况 利润情况 客户情况 面向主题 数据仓库中的信息是按主题进行组织的 为按主题进行决策的过程提供支持 例子 一家采用 会员制 经营方式的商场销售管理系统按业务建立了采购管理
4、系统库存管理系统 4 数据结构 销售管理系统顾客 顾客号 姓名 性别 年龄 文化程度 地址 电话 销售 员工号 顾客号 商品号 数量 单价 日期 采购管理系统订单 订单号 供应商号 总金额 日期 订单细则 订单号 商品号 类别 单价 数量 供应商 供应商号 供应商名 地址 电话 库存管理系统领料单 领料单号 领料人 商品号 数量 日期 进料单 进料单号 订单号 进料人 收料人 日期 库存 商品号 库房号 库存量 日期 库房 库房号 仓库管理员 地点 库存商品描述 5 这种数据组织的特点 对相关部门的数据进行收集和处理 重点是 数据 和 处理 数据按部门的组织结构和业务活动特点进行 数据是不断变
5、化和反复更新的 所以 是动态的 要求的是处理的速度和即时性 只反映当时的情况 数据库中存储的表与部门中的业务报表基本上是对应的 所以 直观 处理方便 易理解 数据库建立的本质 数据与处理分离 在程序中不分离 因为 很多应用涉及同一数据项 而同一数据项分散在不同的数据库中 造成数据的不一致性 这样的数据处理方式称为 联机事务处理 OLTP数据库的存储要求冗余小 各种范式 速度快 保留一定的冗余 6 按主题组织数据的数据结构 商品商品固有信息 商品号 商品名 类别 颜色 商品采购信息 商品号 供应商号 供应价 供应日期 供应量 商品销售信息 商品号 顾客号 售价 销售日期 销售量 商品库存信息 商
6、品号 库房号 库存量 日期 供应商供应商固有信息 供应商号 供应信息 地址 电话 供应商品信息 供应商号 商品号 供应价 供应日期 供应量 顾客顾客固有信息 顾客号 顾客名 性别 年龄 文化程度 住址 电话 顾客购物信息 顾客号 商品号 售价 购买日期 购买量 7 按主题进行数据组织 企业关心的业务方向 客户 商品 供应商 对上述分析对象 可围绕主题进行数据组织 采购销售库存 商品 一致 信息 便于联机分析处理OLAP 数据仓库中的数据是集成的OLTP建表的数据在多个库中抽取OLAP要求数据的一致性 集成的 李强 李强 有统一的格式 表示方式 代码含义 相同的单位表示 数据仓库中的数据是不再更
7、改的OLTP中的操作 存入 查询 修改 删除OLAP中的操作 存入 查询 注意 两个存入的不同 一般情况只是对数据追加 因此数据仓库中的数据是相对稳定的 而且提供了足够的数据 数据仓库中的数据是随时间变化的OLTP的存入 修改OLAP的存入 增加 数据保存大约5 10年 8 3数据仓库的基本原理 数据仓库的体系结构 如图P164 数据仓库的相关概念 1 数据抽取 从外部数据源中收集数据 它只针对相应的主题选取主题相关的所有数据 2 数据清理 将提取出来的数据进行检测 并修正数据中的错误的过程 有时抽取的数据可能存在错误 需要更正 3 数据转化 转化成相同的格式 如时间 YYYY MM DD 4
8、 外部数据 是从系统外部获得的与分析主题相关的数据 如对于价格变化 消费变化的考虑 加上通货膨胀率 消费指数等外部数据可以增加分析结果的准确性和可用性 5 历史数据 是指组织在长期的信息处理过程中所积累焉的数据 数据仓库会加载和保存历史数据 6 元数据 包括数据仓库的结构 数据存储信息 数据提取 清洗和转换的规则 数据存取和检索的索引和配置等数据信息 9 7 数据仓库中的粒度 定义 粒度是指数据仓库中数据单元的详细程度和级别 数据越详细 数据粒度越小 粒度级别越低 反之 数据综合程度越高 数据粒度越大 粒度级别越高 数据粒度是详细程度 存储空间的一个平衡 例 回答问题 张三在某时某地是否给李四
9、打过电话 张三去年给李四打过几次电话 早期明细表 当前细节 轻度综合 高度综合 10 4数据集市 是企业级数据仓库中针对某一主题的数据库 它是企业数据库的一个子集 数据集市只存放针对一个主题的数据 对于查询和分析数据具有灵活性 减少了信息处理量 但如果数据仓库中的数据集市过多 又会使数据存放变得零乱 复杂 此时应将数据集市进行整合 操作数据存储 ODS ODS只存放当前和近期数据 同数据库类似 ODS中的数据可以进行增加 删除和更新等操作 而数据仓库中的数据具有稳定性 只增不删 因此ODS与数据仓库也是不同的 11 多维数据库 在数据仓库的特性中隐含了一条特性 数据是按多维方式组织的 DW的数
10、据 随时间变化的 数据有时间属性 表格也有时间性 或者说 时间是数据的一维 实际预算 地区 地区 产品 产品 销售偏差 实际 预算 如1999年上海 产品A的销售量为5643件 产品A分别是时间维 地理维 产品维 12 多维数据库报表 交叉报表 三维 商品销售时间 13 细化与概化处理 RollUpDimension Time 14 Drill DownDimension locationMember SanJose 15 联机分析处理 OLAP OLAP 多维数据库60年代 E F Codd提出关系数据模型 促进了OLTP的发展 4个阶段 1993年 Codd将这项技术定义为OLAP 支持多
11、维数据处理 OLAP 多维数据处理 销售渠道 零售 批发 销售额 万 时间 月 北京 多维报表处理 切块 切片 旋转 16 数据仓库设计 概念模型设计E R图方法 实体 主题 全局的E R图 逻辑模型设计逻辑模型 关系模型 逻辑模型 描述了数据仓库的主题的逻辑关系主题 维度 指标 物理模型设计逻辑模型在数据仓库中的实现主要考虑要素 I O存取时间 空间利用率 维护代价 17 数据挖掘 从大型数据库的数据中提取人们感兴趣的知识 这些知识是隐含的 事先未知的潜在有用信息 例1 美国加州一超市连锁店 酒和尿布 例2 股票分析 时间 2000 1 1999 1 1998 1 1997 1 例3 地质学
12、家卫星发回数据和图片 探矿 数据挖掘完成 定义 第11章 数据挖掘 DataMining 18 概念区别 数据挖掘 DM 知识发现 KDD 联机分析 OLAP KDD DM DM侧重算法的研究 OLAP验证性分析工具DM挖掘性分析工具 DM技术 人工智能 ArtificialIntelligence AI 以自动机为手段 通过模拟人类宏观外显的思维行为 高效率地解决事实世界问题的科学与技术 AI的目标很高 特定的 技术环境机器 DM利用了AI的一些技术 DM的难度 AI的技术难度 数据确定 AI中 如 模式识别步骤很多 很难 如 机器人 19 人工神经网络 ArtificialNeural 模
13、拟人脑神经元结构 有三种神经网模型 遗传算法 GeneticAlgorithms 模拟生物进化过程的算法 由三个基本算子组成 决策树方法 DecisionTrees 利用信息论中的互信息寻找数据库中的具有最大信息量的属性字段 建立结点 DM的分析方法分为以下四种 关联算法 Associations 序列模式分析 SequentialPatterns 分类分析 Classifiers 聚类分析 Clastering 20 关联算法 Associations 确定 隐含在数据之间的关联关系前提 一组Item项 如 A B C D E 一个记录集合 怎样算是关联关系 关系 72 包含ItemA B C的记录 同时 也包含了ItemD E 这就是ItemA B C D E之间的关系 72 可信度用户要输入2个参数 置信度 支持度 最小置信度 Confidence 同时购买商品X和商品Y的交易数 购买商品X的交易数 分析记录中的总交易数 最小支持度 Support 同时购买商品X和商品Y的交易数 21 例如 医疗保险 每个客户申请单上一组医疗过程 看作一个记录通过关联分析 保险公司可以分析医疗过程间的相互关系 检查A病 则要检查B病 例子 超市购物 设 置信度阀值C 0 5 支持度阀值S 0 5 22 总交易数 3 挖掘知识E 23 24
