《商务智能技术精编版》由会员分享，可在线阅读，更多相关《商务智能技术精编版（14页珍藏版）》请在金锄头文库上搜索。
1、主讲人：QQ 玉米地时 间：2010.09.10,商务智能技术篇 之 K-means 算法,当今世界，电子商务的发展已经深刻的影响着企业的经营方式。企业面对日益激烈的竞争，需要有灵敏的感觉和快速反应能力，提高反应能力和决策的准确性。而企业做出业务决策的最基本依据是企业庞大的数据资源。为此，伴随着互联网技术的进一步发展，一种能够帮助企业整合数据，并从中提取分析出有用的信息，并且获取知识，提高企业理性做出管理决策支持的系统商务智能应运而生。同时，对作为商务智能发展的核心关键技术进行研究具有非常重要的必要性。,背 景,目 录,一、商务智能概述,二、商务智能技术简介,三、 K-means算法,四、总结
2、,一、商务智能概述,商务智能的概念：商务智能是企业利用数据仓库（DW）、数据挖掘（DM）、在线分析处理（OLAP）、决策支持系统（DSS）等现代信息技术对企业经营过程中产生的大量结构化和非结构化商务数据和信息进行收集、整理、分析，以便辅助企业做出正确决策、采取有效商务行动、优化商务流程、全面提升商务绩效的工具、方法、技术的统称。 商务智能的发展：TPS（事务处理系统） MIS（管理信息系统） EIS（主管信息系统） DSS（决策支持系统）商务智能的雏形 BI（商务智能） 商务智能的价值：BI能够做出比市场需求更快更直接的反应BI的最大价值和核心能力。 商务智能核心技术：1.DW ； 2.OLA
3、P ；3.DM 。 商务智能的热点：1.集成的BI体系； 2.充分利用数据； 3.BI的预测功能。,二、商务智能技术简介,1. DW（数据仓库） 必要性： 实施BI首先要从企业内部和企业外部不同的数据源，如客户关系管理(CRM)、供应链管理(SCM)、企业资源规划(ERP)系统以及其他应用系统等搜集有用的数据，进行转换和合并，因此需要数据仓库和数据集市技术的支持。 概念：数据仓库(Data Warehouse)是一种语义上一致的数据存储，是指从多个数据源收集的信息，以一种一致的存储方式保存所得到的数据集合。面向不同的需求，对数据进行清洗以保证数据的正确性，然后对数据进行抽取，转换成数据仓库所需
4、形式，并实现加载到数据仓库。 数据仓库技术是基于信息系统业务发展的需要，基于数据库系统技术发展而来，并逐步独立的一系列新的应用技术。数据仓库技术就是基于数学及统计学严谨逻辑思维的并达成“科学的判断、有效的行为”的一个工具。数据仓库技术也是一种达成“数据整合、知识管理”的有效手段。 特点：数据仓库是面向主题的、集成的、与时间相关的、不可修改的数据集合。这是数据仓库技术特征的定位。 数据仓库最根本的特点是物理地存放数据，而且这些数据并不是最新的、专有的，而是来源于其它数据库的。数据仓库的建立并不是要取代数据库，它要建立在一个较全面和完善的信息应用的基础上，用于支持高层决策分析，而事务处理数据库在企
5、业的信息环境中承担的是日常操作性的任务。数据仓库是数据库技术的一种新的应用，而且到目前为止，数据仓库还是用关系数据库管理系统来管理其中的数据。,二、商务智能技术简介,2. OLAP（联机分析处理） 联机分析处理(OLAP) 又称多维分析，它对数据仓库中的数据进行多维分析和展现，是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据更深入了解的一类软件技术。它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。 进行OLAP分析的前提是已有建好的数据仓库，之后即可利
6、用OLAP 复杂的查询能力、数据对比、数据抽取和报表来进行探测式数据分析了。称其为探测式数据分析，是因为用户在选择相关数据后，通过切片(按二维选择数据)、切块(按三维选择数据)、上钻(选择更高一级的数据详细信息以及数据视图)、下钻(展开同一级数据的详细信息)、旋转(获得不同视图的数据) 等操作，可以在不同的粒度上对数据进行分析尝试，得到不同形式的知识和结果。联机分析处理研究主要集中在ROLAP(基于关系数据库的OLAP) 的查询优化技术和MOLAP(基于多维数据组织的OLAP) 中减少存储空间和提高系统性能的方法等。 OLAP操作语言：通过扩展数据库的操作语言SQL，得到MSQL（Multip
7、le SQL）。,二、商务智能技术简介,3. DM（数据挖掘） 数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。 与OLAP 的探测式数据分析不同，数据挖掘是按照预定的规则对数据库和数据仓库中已有的数据进行信息开采、挖掘和分析，从中识别和抽取隐含的模式和有趣知识，为决策者提供决策依据。数据挖掘的任务是从数据中发现模式。模式有很多种，按功能可分为两大类：预测型( Predictive)模式和描述型(Descriptive)模式。 预测型模式是可以根据数据项的值精确确定某种结果的模式。挖掘预测型模式所使用的数据也都是可以明确知道结果的。描述型模式是对数据中存在的规则做一种
8、描述，或者根据数据的相似性把数据分组。描述型模式不能直接用于预测。在实际应用中，根据模式的实际作用，可细分为分类模式、回归模式、时间序列模式、聚类模式、关联模式和序列模式6 种。其中包含的具体算法有货篮分析(Market Analysis)、聚类检测(Clustering Detection)、神经网络(Neural Networks)、决策树方法(Decision Trees)、遗传算法(Genetic Analysis)、连接分析(Link Analysis)、基于范例的推理(Case Based Reasoning)和粗集(RoughSet)以及各种统计模型。,二、商务智能技术简介,4.
9、 三大核心技术之间关系 DW是前提和基础。负责统一数据规则的处理和存储。 OLAP是操作，侧重显性知识处理和分析。 DM是发现，侧重于隐士知识发掘和利用 。 OLAP 与数据挖掘的区别和联系是：OLAP 侧重于与用户的交互、快速的响应速度及提供数据的多维视图，而数据挖掘则注重自动发现隐藏在数据中的模式和有用信息，尽管允许用户指导这一过程。OLAP 的分析结果可以给数据挖掘提供分析信息作为挖掘的依据，数据挖掘可以拓展OLAP 分析的深度，可以发现OLAP 所不能发现的更为复杂、细致的信息。数据挖掘的研究重点则偏向数据挖掘算法以及数据挖掘技术在新的数据类型、应用环境中使用时所出现新问题的解决上，
10、如对各种非结构化数据的挖掘、数据挖掘语言的标准化以及可视化数据挖掘等。,三、K-means算法,K-means算法是数据挖掘中最基本的聚类算法，也是数据挖掘中一种主要技术。 K-means 算法接受输入量 k ；然后将n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的。 k-means 算法的工作过程说明如下：首先从n个数据对象任意选择 k 个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距离），分别将它们分配给与其最相似
11、的（聚类中心所代表的）聚类；然后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值簇的质心）；不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数. k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。其中相异度基于对象与类中心（簇中心每个簇的质心）的计算距离，与簇中心距离最近的对象可以化为一个簇。此算法目标是每个对象与簇中心mi距离的平方和最小。,三、K-means算法,K-means算法的大致过程如下： 1. 给定K，从N个对象中任意选择K个对象作为初始聚类中心； 2. 计算每个对象与聚类中心的距离，把他们划分成不同的簇； 3. 重新计算每
12、个簇的聚类中心，得到新的聚类中心； 4. 再次计算每个对象与新的聚类中心的距离，把他们划分成不同的簇； 5. 重复步骤 3 4 ，直到聚类中心不再发生变化。 每个样本维也可以根据需要赋予不同权重，K值的选择也需要视应用而定，而不是简单的看聚类效果。 K-means算法比较适合处理凸形分布的连续数值型数据的聚类。 K-means算法经常以局部最优结束，效率比较高，缺点是对离群点和噪声数据非常敏感，而且这种算法不能处理非凸形的簇和不同大小的簇。此外，初始聚类中心的选择对聚类结果影响比较大，随机选择的初始聚类中心可能会导致不同的聚类结果，通常可以不同的初始值多次运行再确定合适的聚类结果。注意这些初始
13、的聚类中心应相互远离。,三、K-means算法,K-means算法应用实例详解（见书本商务智能（清华大学出版社）P103 例5.3）,四、总 结,商务智能引领我们进入一个新的时代，对于分析、报表和绩效管理，企业拥有更多的控制权；对于隐性知识的挖掘有效利用，让企业能够做出比市场需求更快更直接的反应。同时也给企业提供了更加正确的决策支持。作为商务智能体系支撑的商务智能技术，应该受到我们的深刻研究。 K-means算法作为商务智能核心技术体系中的数据挖掘最基本的聚类算法，有着非常重要的研究价值，基于K-means算法，人们也在不断的进行着探索，加以改进，研究出更为适用的其他算法，例如K-modes算
14、法和K-prototypes算法等。,Thank You!,1、有时候读书是一种巧妙地避开思考的方法。20.8.1120.8.11Tuesday, August 11, 2020 2、阅读一切好书如同和过去最杰出的人谈话。22:53:5222:53:5222:538/11/2020 10:53:52 PM 3、越是没有本领的就越加自命不凡。20.8.1122:53:5222:53Aug-2011-Aug-20 4、越是无能的人，越喜欢挑剔别人的错儿。22:53:5222:53:5222:53Tuesday, August 11, 2020 5、知人者智，自知者明。胜人者有力，自胜者强。20.8
15、.1120.8.1122:53:5222:53:52August 11, 2020 6、意志坚强的人能把世界放在手中像泥块一样任意揉捏。2020年8月11日星期二下午10时53分52秒22:53:5220.8.11 7、最具挑战性的挑战莫过于提升自我。2020年8月下午10时53分20.8.1122:53August 11, 2020 8、业余生活要有意义，不要越轨。2020年8月11日星期二10时53分52秒22:53:5211 August 2020 9、一个人即使已登上顶峰，也仍要自强不息。下午10时53分52秒下午10时53分22:53:5220.8.11 10、你要做多大的事情，就该
16、承受多大的压力。20.4.2020.4.20Monday, April 20, 2020 11、自己要先看得起自己，别人才会看得起你。18:29:0318:29:0318:294/20/2020 6:29:03 PM 12、这一秒不放弃，下一秒就会有希望。20.4.2018:29:0318:29Apr-2020-Apr-20 13、无论才能知识多么卓著，如果缺乏热情，则无异纸上画饼充饥，无补于事。18:29:0318:29:0318:29Monday, April 20, 2020 14、我只是自己不放过自己而已，现在我不会再逼自己眷恋了。20.4.2020.4.2018:29:0318:29:03April 20, 2020,谢谢大家,
