《尿布与啤酒与数据挖掘技术》由会员分享，可在线阅读，更多相关《尿布与啤酒与数据挖掘技术（32页珍藏版）》请在金锄头文库上搜索。
1、尿布与啤酒尿布与啤酒与数据挖掘技与数据挖掘技术术 1在一家超市，有个有趣的在一家超市，有个有趣的现象：尿布和啤酒赫然摆在现象：尿布和啤酒赫然摆在一起出售，但是这个一起出售，但是这个“奇怪奇怪的举措的举措”却使尿布和啤酒的却使尿布和啤酒的销量双双增加了。销量双双增加了。 故事故事2总部位于美国阿肯色州的世界著名商业零售连总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛（锁企业沃尔玛（Wal Mart）拥有世界上最大的数据）拥有世界上最大的数据仓库系统。为了能够准确了解顾客在其门店的购买仓库系统。为了能够准确了解顾客在其门店的购买习惯，沃尔玛利对其顾客的购物行为进行购物篮分习惯，沃尔玛利对其顾
2、客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用在这些原始交易数据的基础上，沃尔玛利用NCR数数据挖掘工具对这些数据进行分析和挖掘。一个意外据挖掘工具对这些数据进行分析和挖掘。一个意外的发现是：的发现是：跟尿布一起购买最多的商品竟是啤酒！跟尿布一起购买最多的商品竟是啤酒！ 故事故事3这是数据挖掘技术对历史数据进行分析这是数据挖掘技术对历史数据进行分析的结果，反映数据内在的规律。那么这个结的结果，反映数据
3、内在的规律。那么这个结果符合现实情况吗？是否是一个有用的知识果符合现实情况吗？是否是一个有用的知识？是否有利用价值？是否有利用价值？ 分析分析4沃尔玛派出市场调查人员和分析师对这沃尔玛派出市场调查人员和分析师对这一数据挖掘结果进行调查分析。经过大量实一数据挖掘结果进行调查分析。经过大量实际调查和分析，揭示了隐藏在际调查和分析，揭示了隐藏在“尿布与啤酒尿布与啤酒”背后的美国人的一种行为模式：在美国，背后的美国人的一种行为模式：在美国，一些年轻父亲下班后经常要到超市去买婴儿一些年轻父亲下班后经常要到超市去买婴儿尿布，而他们中有尿布，而他们中有30%到到40%的人同时也为的人同时也为自己买一些啤酒。
4、产生这一现象的原因是：自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。了他们喜欢的啤酒。分析分析5 既然尿布与啤酒一起被购买的机会很多，既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果，尿布与啤酒的销售量双摆放在一起，结果，尿布与啤酒的销售量双双增长。双增长。 分析分析6按常规思维，尿布与啤酒风马牛不相及，按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖
5、掘技术对大量交易数据进若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。这一有价值的规律的。是什么让沃尔玛发现了尿布和啤酒之间是什么让沃尔玛发现了尿布和啤酒之间的关系呢？正是商家通过对超市一年多原始的关系呢？正是商家通过对超市一年多原始交易数字进行详细的分析，才发现了这对神交易数字进行详细的分析，才发现了这对神奇的组合。奇的组合。 分析分析7数据挖掘是从大量数据中寻找其规律的技术，数据挖掘是从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示三个步骤。主要有数据准备、规律寻找和规律表示三个步骤。但在
6、具体实施数据挖掘应用时，还要有一个步但在具体实施数据挖掘应用时，还要有一个步骤就是结果评价。这是因为数据算法寻找出来的是骤就是结果评价。这是因为数据算法寻找出来的是数据的规律，其中有些是人们感兴趣的有用的，还数据的规律，其中有些是人们感兴趣的有用的，还有一些可能是不感兴趣的没有用的。这就要对寻找有一些可能是不感兴趣的没有用的。这就要对寻找出的规律进行评估。例如：出的规律进行评估。例如：跟尿布一起购买最多跟尿布一起购买最多的商品是啤酒的商品是啤酒这样一条规律是否有用呢？这就需这样一条规律是否有用呢？这就需要市场调查和评估工程师根据实际情况做出评估判要市场调查和评估工程师根据实际情况做出评估判断。
7、这是一个人工步骤，还难以自动化。断。这是一个人工步骤，还难以自动化。 数据挖掘是什么样的技术数据挖掘是什么样的技术8数据挖掘分为描述性和预测性两类。数据挖掘分为描述性和预测性两类。v描述性数据挖掘提供数据的一般规律描述性数据挖掘提供数据的一般规律v预测性数据挖掘产生关于数据的预测。预测性数据挖掘产生关于数据的预测。 数据挖掘分类数据挖掘分类 9关联分析关联分析：寻找数据项之间感兴趣：寻找数据项之间感兴趣的关联关系。例如：我们可以通过对的关联关系。例如：我们可以通过对交易数据的分析可能得出交易数据的分析可能得出86%买买啤酒啤酒的人同时也买的人同时也买尿布尿布这样一条这样一条啤酒啤酒和和尿布尿布
8、之间的关联规则。之间的关联规则。 数据挖掘的主要内容数据挖掘的主要内容 10演变分析演变分析：描述时间序列数据随时：描述时间序列数据随时间变化的数据的规律或趋势，并对其间变化的数据的规律或趋势，并对其建模。包括时间序列趋势分析、周期建模。包括时间序列趋势分析、周期模式匹配等。例如：通过对交易数据模式匹配等。例如：通过对交易数据的演变分析，可能会得到的演变分析，可能会得到89%情况股情况股票票X上涨一周左右后，股票上涨一周左右后，股票Y会上涨会上涨这这样一条序列知识。样一条序列知识。 数据挖掘的主要内容数据挖掘的主要内容 11聚类分析聚类分析：根据最大化类内的相似性、根据最大化类内的相似性、最小
9、化类间的相似性的原则将数据对象聚最小化类间的相似性的原则将数据对象聚类或分组，所形成的每个簇（聚类）可以类或分组，所形成的每个簇（聚类）可以看作一个数据对象类，用显式或隐式的方看作一个数据对象类，用显式或隐式的方法描述它们。也就是我们常说的物以类聚法描述它们。也就是我们常说的物以类聚人以群分。人以群分。 数据挖掘的主要内容数据挖掘的主要内容 12分类分析分类分析：找出描述并区分数据类的模型：找出描述并区分数据类的模型（可以是显式或隐式），以便能够使用模型预（可以是显式或隐式），以便能够使用模型预测给定数据所属的数据类。测给定数据所属的数据类。例如：信用卡公司可以将持卡人的信誉度例如：信用卡公司
10、可以将持卡人的信誉度分类为：良好、普通和较差三类。分类分析通分类为：良好、普通和较差三类。分类分析通过对这些数据类的分析给出一个信誉等级的显过对这些数据类的分析给出一个信誉等级的显式模型：式模型：信誉良好的持卡人是年收入在信誉良好的持卡人是年收入在30000元到元到50000元之间，年龄在元之间，年龄在30至至45岁之间，居岁之间，居住面积达住面积达90M2 左右的人左右的人。这样对于一个新的。这样对于一个新的持卡人，就可以根据他的特征预测其信誉度。持卡人，就可以根据他的特征预测其信誉度。 数据挖掘的主要内容数据挖掘的主要内容 13异常分析异常分析：一个数据集中往往包含：一个数据集中往往包含一
11、些特别的数据，其行为和模式与一一些特别的数据，其行为和模式与一般的数据不同，这些数据称为般的数据不同，这些数据称为异常异常。对对异常异常数据的分析称为数据的分析称为异常分析异常分析。它在欺诈甄别、网络入侵检测等领域它在欺诈甄别、网络入侵检测等领域有着广泛的应用。有着广泛的应用。 数据挖掘的主要内容数据挖掘的主要内容 14数据挖掘应用领域非常广阔数据挖掘应用领域非常广阔 先期将在数据先期将在数据积累比较充分的领域银行、证券、电信等领域积累比较充分的领域银行、证券、电信等领域到应用，以后将在各行各业各领域中获得应用。到应用，以后将在各行各业各领域中获得应用。只要数据积累充分，就需要数据挖掘技术。只
12、要数据积累充分，就需要数据挖掘技术。 数据挖掘技术的应用前景数据挖掘技术的应用前景 15数据挖掘技术将被社会长期使用数据挖掘技术将被社会长期使用 随着信息随着信息化工作的深入发展，计算机中积累的数据只会化工作的深入发展，计算机中积累的数据只会越来越多，人们会越来越重视对这些信息的挖越来越多，人们会越来越重视对这些信息的挖掘利用，所以对数据挖掘技术的需求也会越来掘利用，所以对数据挖掘技术的需求也会越来越大。当然，数据挖掘技术本身会不断发展进越大。当然，数据挖掘技术本身会不断发展进步，该技术将被长期使用。步，该技术将被长期使用。 数据挖掘技术的应用前景数据挖掘技术的应用前景 16数据挖掘技术的应用
13、前景数据挖掘技术的应用前景 17身边的数据挖掘身边的数据挖掘18身边的数据挖掘身边的数据挖掘在在Excel2007进行数据挖掘进行数据挖掘202122vSQLServer2008_DMAddin.msi232425Associate表的部分数据表的部分数据26购物篮分析窗口购物篮分析窗口27购物篮分析窗口购物篮分析窗口28购物篮分析过程购物篮分析过程29购物篮捆绑销售商品购物篮捆绑销售商品30购物篮推荐购物篮推荐v解释：购买解释：购买Mountain Tire Tube的人常常也会购买的人常常也会购买Sport-100。v所选商品的销售情况：说明有多少个事务包含了选所选商品的销售情况：说明有多少个事务包含了选中的项。有中的项。有1782个事务包含个事务包含Mountain Tire Tubev关联销售：说明有多少个事务也包含推荐的商品。关联销售：说明有多少个事务也包含推荐的商品。有有749个事务包含个事务包含Mountain Tire Tube和和Sport-100v关联销售的百分比：以百分比显示关联销售关联销售的百分比：以百分比显示关联销售3113512714786Nice t o meet you!32
