《运营商商业智能计算架构设计》由会员分享，可在线阅读，更多相关《运营商商业智能计算架构设计（75页珍藏版）》请在金锄头文库上搜索。
1、运营商商业智能计算架构设计,中山大学海量数据与云计算研究中心吕威,提纲,Part 1 商业智能计算架构设计 商业智能计算例子 运营商商业智能计算架构设计 开源数据分析软件Weka介绍 Part 2 大规模商业智能计算架构设计（云挖掘Hadoop) Map-Reduce方法 Classification (k-NN) 的MapReduce化 Part 3 安全商业智能计算架构设计 微分流形在安全云智能计算中的应用(Matlab),Part 1智能计算架构设计,定义、概念,商业智能架构实例,开源软件,智能计算例子,运营商智能计算架构,Weka介绍,商业智能Business Intelligence
2、,商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具 从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP（联机分析处理）和数据挖掘等技术的综合运用。,Lots of data is being collected and warehoused Web data, e-commerce purchases at department/ grocery stores Bank/Credit Card transactions Computers have become cheaper and more powerful Competitive Pr
3、essure is Strong Provide better, customized services for an edge (e.g. in Customer Relationship Management),Commercial Viewpoint,Mining Large Data Sets - Motivation,There is often information “hidden” in the data that is not readily evident Human analysts may take weeks to discover useful informatio
4、n Much of the data is never analyzed at all,The Data Gap,Total new disk (TB) since 1995,Number of analysts,数据仓库,数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。 数据仓库之父William H. Inmon提出的定义数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）
5、的数据集合，用于支持管理决策(Decision Making Support)。,数据集市,外部数据,用自顶向下的方法构建数据仓库,数据集市,建造企业数据仓库 建设中心数据模型 一次性的完成数据的重构工作 最小化数据冗余度和不一致性 存储详细的历史数据 从企业数据仓库中建造数据集市 得到大部分的集成数据 直接依赖于数据仓库的可用性,操作数据,用自底向上的方法构建数据仓库,数据集市,建立部门数据集市 限制在一个主题区域 快速投资收益 区域自治 设计的可伸缩性强 对相关部门的应用容易复制 对每个数据集市需要数据重构 存在一定的冗余及不一直性逐步扩展到企业数据仓库 (EDW) 把建造EDW作为一个长
6、期的目标,操作数据 (局部),数据集市,企业数据仓库,联机分析处理 (OLAP),联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取，OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求，它的技术核心是“维“这个概念。,联机分析处理 (OLAP),OLAP的基本多维分析操作有钻取（roll up和drill down）、切
7、片（slice）和切块（dice）、以及旋转（pivot）、drill across、drill through等。 钻取是改变维的层次，变换分析的粒度。它包括向上钻取（roll up）和向下钻取（drill down）。roll up是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数；而drill down则相反，它从汇总数据深入到细节数据进行观察或增加新维。,联机分析处理 (OLAP),切片和切块是在一部分维上选定值后，关心度量数据在剩余维上的分布。如果剩余的维只有两个，则是切片；如果有三个，则是切块。 旋转是变换维的方向，即在表格中重新安排维的放置（例如行列互换）。,OL
8、AP的分析方法(一)切片、切块,OLAP的分析方法(二)钻取,按时间维向下钻取,按时间维向上钻取,60,OLAP的分析方法(三)旋转,OLTP、ROLAP与MOLAP模式,ROLAP的星型模式(Star Schema),事实表：用来存储事实的度量值和各个维的码值。 维 表：用来存放维的元数据（维的层次、成员类别等描述信息）。,Budget,MOLAP的多维立方体(Multicube),数据组织形式,RDB数据组织 - MDDB数据组织 - 关系表中综合数据的存放 多维数据库中综合数据的存放,What is Data Mining?,Many Definitions Non-trivial ex
9、traction of implicit, previously unknown and potentially useful information from data Exploration & analysis, by automatic or semi-automatic means, of large quantities of data in order to discover meaningful patterns,What is (not) Data Mining?,What is Data Mining?Certain names are more prevalent in
10、certain US locations (OBrien, ORurke, OReilly in Boston area)Group together similar documents returned by search engine according to their context (e.g. Amazon rainforest, A,),What is not Data Mining?Look up phone number in phone directoryQuery a Web search engine for information about “Amazon”,Draw
11、s ideas from machine learning/AI, pattern recognition, statistics, and database systems Traditional Techniques may be unsuitable due to Enormity of data High dimensionality of data Heterogeneous, distributed nature of data,Origins of Data Mining,Machine Learning/ Pattern Recognition,Statistics/ AI,D
12、ata Mining,Database systems,Data Mining Tasks,Description Methods Find human-interpretable patterns that describe the data.,Prediction MethodsUse some variables to predict unknown or future values of other variables.,Data Mining Tasks,Data Mining Tasks.,Data Mining,Clustering Descriptive,Classificat
13、ion Predictive,Association Rule Discovery Descriptive,Sequential Pattern Discovery Descriptive,Regression Predictive,Deviation Detection Predictive,商业智能例子,1,超市分析交易数据，安排货架上货物摆布，以提高销售 额,3,保险公司分析以前的客户记录，决定哪些客户的潜在花费是昂贵的,2,信用卡公司分析信用卡历史数据，判断哪些人有风险，哪些人没有,商业智能例子,4,汽车公司分析不同地方人的购买模型，有针对性地发送给客户喜欢的汽车手册,6,税务局分析不
14、同团体的交所得税的记录，发现异常模型和趋势,5,广告公司分析人们购买模式,估计他们的收入和孩子数目,作为潜在的市场信息,Part 1智能计算架构设计,定义、概念,商业智能架构实例,开源软件,智能计算例子,运营商智能计算架构,Weka介绍,运营商智能计算架构设计,怎么搭建整个架构呢？,数据仓库,奇异点分析,分类模块,OLAP,关联规则模块,预测模块。,数据仓库的建立,1)选择合适的主题（所要解决问题的领域） 2)明确定义事实表 3)确定和确认维 4)选择事实表 5)计算并存储fact表中的衍生数据段 6)转换维表 7)数据库数据采集 8)根据需求刷新维表 9)确定查询优先级和查询模式。,任务确定
15、,领域任务确定,领域任务确定,领域任务细化1,优化交往圈。包括交往圈聚类、重复客户认定等。交往圈可作为一个群体，对其进行相应的精确营销。这个具体可以用分析通话的重复次数、使用聚类算法等方法来实现。如果有客户的话务信息，整个交往圈聚类分析可以实现。其中一个交往圈子中的关键人物的选择可以通过类似pagerank算法来实现（探索）。,领域任务细化1,客户流失预警。主动流失的客户对企业影响最大，所以提前预测较为可能流失的客户可以使得企业进行相关的业务调整来挽留客户。这个也是通过对话务的分析来进行预警，很多运营商做过相关的项目，所以有一些经验可以借鉴，但需使用数据挖掘算法实现。,领域任务细化1,校园市场
16、调研。通过对高校这样一个大群体进行调查，可以分析学生群体的特点以及需求，使得市场部制定出更合理的优惠措施，而在校园做这样的调查较为合适。此工作可以通过在学校内部派发问卷赠送小礼品的方式或者是在学校论坛发布调差报告的形式实现，需要较多人力。,领域任务细化1,新话费套餐沙盘推演。这种模型可以把一种新的话费套餐的数据输入从而得出相关客户信息。这种模型的建立需要大量的数据作为支撑，运营商做出如此巨大的话费变动情况较少，所以历史数据比较少，这种情况下面即使算法效率再高也很难做出相对准确的结果（探索）。,客户流失分析稳定客户潜在流失客户 客户社群发现联系紧密的小团体潜在客户社群 客户多重身份识别换号多个号码,领域任务细化2,
