40数据挖掘应用工具与实例

《40数据挖掘应用工具与实例》由会员分享，可在线阅读，更多相关《40数据挖掘应用工具与实例（126页珍藏版）》请在金锄头文库上搜索。

1、主要内容1. 概述2. 数据仓库与OLAP技术3. 数据挖掘技术4. 数据挖掘在电信领域的应用5. 数据挖掘工具6. 数据挖掘实例4数据挖掘在电信领域的应用4.1 CRM与 ERP4.2 数据挖掘在电信领域的应用 4.1 CRM与ERP CRMCRM（Customer Relationship Management，客户关系管理），作为一种 旨在改善企业与客户之间关系的新型管理 机制。 CRM系统以数据仓库技术为基础，数 据挖掘技术为核心。4.1 CRM与ERP ERPERP（Enterprise Resource Planning，即 企业资源规划），是前几年国内外兴起的 一种企业运作管理软

2、件，它的侧重点是对 企业内部的业务流程以及企业的资源进行 管理。 解决的是企业内部各环节的协调问 题，如财务、生产、采购和仓储等部门间 的协调关系。4.1 CRM与ERP ERP与CRM两者的关系同样作为现代企业的管理软件，ERP 与CRM在企业运营过程中，处于不同的位 置，担任不同的角色。一个面向后台，一 个面向前台。一个保证企业生产出更高质 量的产品，而另一个帮助企业理顺与客户 的关系，向客户提供最好的服务。这是企 业在激烈的市场竞争保证胜利的不可或缺 的两个环节。 4.1 CRM与ERP通过ERP与CRM系统的紧密集成，把 企业供应商和服务商等都联成一个有机的 整体，真正形成一个以客户为

3、核心进行运 作的虚拟企业，并最大限度地满足客户需 要和最大限度地降低企业成本。CRM的应用数据挖掘在CRM中的市场营销，业务分析，客户服务等方面都有广泛的应。例如：发展客户 、提升客户价值、挽留客户等。CRM的应用 发展客户每一个企业都希望能更快地发展新的 客户，更多的客户意味着更大的市场占有 率和更好的规模效益。数据挖掘技术可以 帮助更准确地发现有价值的潜在客户，从 而可以显著地降低发展新客户的成本，提 高市场拓展的投入产出比（ROI）。 CRM的应用例如，假设一个电信业务提供商利用邮寄宣 传材料开拓市场，一份宣传材料的成本是￥1.00 。如果漫无目的地随机分发10000份，将有150人 成

4、为该公司用户，而其中能给公司带来利润的仅 有100人。也就是说投入￥10000，得到了100个有 价值的客户。现在采用数据挖掘技术，根据以前 随机分发的数据或者新取样500人分发获取数据而 后建立模型，根据该模型，发现前面的10000人中 只有5000人值得投资，对此5000人邮寄宣传材料 后有95人成为客户，其中90人可带来利润。结果 是投入￥5500，获得了90个有价值的客户，显著 地提高了投入产出比。CRM的应用 挽留客户据一般经验估计，留住一个老客户地成 本是发展一个新客户成本的35倍。留住 有价值的客户保持利润的有力手段。而在 电信行业，客户的频繁换网现象（churn） 十分严重，留

5、住客户比其它行业更加困难 。数据挖掘在此问题上也有较好的应用。CRM的应用要挽留客户首先要找出可能离网的客 户，因此数据挖掘解决该问题的第一步即 是建立离网客户预测模型。该模型可以利 用已离网客户的历史资料（包括个人信息 、消费行为等）来获得。第二步当然还得 判断该客户是否值得挽留，这也用到预测 模型，因为有些客户虽然目前是有微弱价 值的但是最终毫无价值，有些客户则可能 恰恰相反。CRM的应用 提升客户价值提升现有客户的价值是提高利润的重 要手段。在电信行业，客户价值提升包括 交叉销售、增值销售和基本业务价值提升 。数据挖掘是发现交叉销售/增值销售机会 和分析基本业务价值提升可能性的重要手 段

6、。 CRM的应用发现交叉销售/增值销售机会涉及到两 个模型。第一个模型用来确定哪些用户可 以进行推销，哪些用户则不希望被打扰。 如果多次对第二类用户进行推销，则可能 失去该用户。第二个模型则用来发现对特 定的用户推销哪些产品。显然，即使不考 虑推销成本，多次向客户推销他并不想要 的产品肯定会降低他对该企业的满意度。 关联规则可能是第二个模型的重要组成部 分。CRM的应用基本业务价值提升要考虑的重要问题 是预测用户在企业采取某种措施后其利润 的变化情况。例如假设某个电信运营商采 取某特定用户群亲友电话费减半的优惠策 略来刺激消费，则必须要求这些用户的消 费额增加或者能增加市场占有率公司才可 能获

7、得效益。4.2 电信领域的应用4.2.1 客户行为与潜在客户分析 4.2.2 用户信用度分析 4.2.3 黑名单、红名单 4.2.4 优惠策略 4.2.5 甄别欺诈 4.2.6 趋势预测4.2 电信领域的应用 目的利用成熟的数据挖掘工具或算法，对 用户帐务数据、行为数据、基本信息数据 ，以及各营业点的销售记录等进行分析挖 掘，找出各种数据之间的潜在关系，为企 业经营者制定销售策略提供科学依据。 数据源用户帐务数据库、用户行为数据库（ 话单数据）、用户基本信息库等。 4.2.1 用户行为分析对于企业的某一类或几类产品/业务来 说，大致可将其用户分为四类： （1）潜在用户目前还不是公司任何一项产品

8、/业务的 用户，但有使用该产品/业务的潜在趋势， 这是市场竞争初期的重要营销对象。 （2）增量用户是公司某项产品或业务的使用者，并 且有增加使用量的趋势。 4.2.1 用户行为分析（3）交叉增量用户是企业某一产品/业务的使用者，并且 有使用本公司另一类产品/业务的可能性。（4）挽留客户目前是公司的某一类或几类产品/业务 的使用者，但有终止使用或转向别的产品/ 业务提供者转移的可能性。 4.2.1 用户行为分析 用户行为分析的基本思想将用户的行为分为若干类别，对具有 某一类行为特征的用户，分析其基本信息 ，以期找出用户行为和客户基本特征两者 之间的若干潜在关系。 实现步骤 第一步 采用聚类算法对

9、用户行为进行分类，根 据得到的类别模型与客户行为信息库对个客户行为 进行评分，结果写回客用户行为信息库。 衡量用户行为的主要特征指标包括：客户ID时段工作日性质-工作日和非工作日消费金额业务类型（重要指长话，市话等通话业务），目的（重要指本地，长途，我网他网等信息） 实现步骤 第二步 统计分析各类别的行为特性，首先按 照各行为类别的利润贡献大小对各类别进 行排序。例如：类别利润计算公式类别平均利润=（各行为消费金额）/类 别行为个数 实现步骤类别行为特性按不同主题有多种考察 重点，如某一种业务或业务组合在各类别 行为中出现的百分比，各行为的时间段分 布情况等；这里得到两类类别统计信息表 ：按类

10、别组织和按各种主题（如业务类型 ，业务量）组织。 4.2.1 用户行为分析主要包括两方面的分析： 群体分析利用聚类或分类算法，将企业客户根 据某种规则分为若干群体。 行为分析（又称倾向建模）根据客户以前的消费行为，分析某几 类有显著特征的行为模式，并据此对客户 未来的行为进行预测。 4.2.1 用户行为分析上述两种建模技术均可以被用来提高企业营 销目标对象的准确性并提高相应的收益。为达到 这个目的，目前有很多的分析工具被应用，如： 交叉报表工具 基于机器学习的数据挖掘工具工具。如Minset、Integent Miner等 基于统计学的分析工具，如SAS、SPSS ； 神经网络 4.2.2 用

11、户信用度分析 用户信用度等级描述详细描述用户信用度等级的具体含义。 信用等级分布表示客户的利润、客户的基本信息和行为分类如 时间段、业务类型等的分布表示。类似于客户行 为分析。 信用度的相关分析分析影响用户信用度的因素之间的概率依赖 关系、强度及其可信度。这一方面用于预测客户 信用度的发展趋势，当发生变化时，对其信用等 级进行相应的调整。4.2.2 用户信用度分析利用上述分析结果，给出从一个信用 度等级到另一个信用度等级变化可能性大 的客户。可能决策者主要关心从高等级到 低等级（最低等级）和从低等级到最高等 级可能性大的用户群。4.2.2 用户信用度分析根据影响用户信用度的主要因素，对用户的帐

12、 务数据进行分类，建立分类模型，并对用户进行 评分，给出用户的信用度级别（类别）。影响用户信用度的主要因素包括： （1）交费的及时度 （2）用户的社会性质 （3）用户的通话业务量 （4）用户申请的业务数量 （5）用户申请的业务种类和用户的投诉情况4.2.2 用户信用度分析 用户信用度分析的实现系统初装时，没有用户的信用度级别信息， 这时采用聚类算法，按照用户的帐务行为信息将 其分为若干类。在此基础上，依照每类各指标的 统计数据和一定的等级评定规则，将各类的信用 度赋于高低级别;在系统运转过程中，用户（指本系统用户） 可能会对用户已有信用度级别提出异议，或加以 修改，这样，对做了相应级别修正后的

13、用户数据 ，采用有监督的分类学习，就会得到更为准确的 分类模型，而且这个模型也是不断在更新的。相 应的，随着用户信用行为特征的变化，其信用级 别也会不断变动。 4.2.2 用户信用度分析信用度类别分类依据的用户帐务信息 数据包括： 开户平均时长 欠费次数 金额(如本月欠费，则为欠费金额，此值 为负，如本月不欠费，则为通话费用，此 值非负) 欠费时长 帐务人社会性质 步骤1 用户信用度初始化数据抽样 抽样的原则样本尽量具有代表性，且数据量能保 证学习耗时不是太多。例如，可采用一个随机数产生器随机 产生要抽取的样本。 数据抽样步骤2 信用度模型更新步骤3 用户信用度级别更新步骤4 新开用户信用度设

14、定用户的信用度级别设定是由用户的帐务信息 决定的，而新开用户没有任何帐务记录，故根据 已有的信用度模型没法设置其信用度。考虑到有 不同帐务行为的用户有不同的基本信息，即某种 信用等级的用户具有相似的基本信息，我们可以 分析新开户的基本信息，与各个信用等级的用户 基本信息做比较，以确定他属于哪个信用级别， 分为以下两步： （1）分类模型确定(2）新开户信用等级评定 步骤4 新开用户信用度设定4.2.3 黑名单、红名单 黑名单与红名单管理是在信用度管理的基础上， 按照一定的规则，将信用度较高或较低的某些用 户列入红名单或黑名单。 根据信用度的评定规则可知，红名单中用户交费 及时，消费量大，是电信部

15、门保证利润的最重要 客源，也是最应该保持的一部分客户；而黑名单 上的用户则是对电信部门利润增长贡献较小或最 有可能有欺诈行为倾向的用户。 黑名单与红名单是优惠策略管理和反欺诈管理的 重要依据，并且也是电信部门较为关心的重要信 息。 4.2.4 优惠策略分析优惠策略（包括营销优惠策略和话费 优惠策略）主要完成： （1）定义优惠规则和优惠方式； （2）用户优惠规则参数化处理； （3）对已有优惠策略的性能分析； （4）优惠套餐的设置； （5）各种优惠和业务、以及其他信息分布关 系的展示功能。 4.2.4 优惠策略分析优惠规则分为： 时段优惠用户可享受国家规定的时段优惠外， 系统还应提供有各个公司制定

16、的适用于本 地的时段优惠措施 总量优惠对用户的业务量达到一定的程度后， 给予不同的优惠措施。4.2.4 优惠策略分析 次数优惠对用户的通话次数达到一定的数量后 ，给予不同的优惠措施。 伙伴电话优惠对用户的通话性质进行区分，对于呼 叫某类或某部电话的用户，给予不同的优 惠措施。 4.2.4 优惠策略分析优惠方式包括： 基于客户性质类别的优惠 基于呼叫地区类别的优惠 基于营业地区类别的优惠 基于信用等级的优惠 综合的优惠套餐等4.2.4 优惠策略分析优惠方式分析 对于各种优惠方式(包括优惠套餐)，给出其受益 客户的类别、信用度类别分布、欺诈情况和投诉 类别分布等。例如，优惠策略的行为类别分布及 其柱状图和饼状图等。 新优惠套餐设置分析。给出新的优惠套餐的设置 与客户群的分析及利润分