《电商经济形态背景下的数据挖掘、大数据分析技术及实用案例精编版》由会员分享，可在线阅读，更多相关《电商经济形态背景下的数据挖掘、大数据分析技术及实用案例精编版（88页珍藏版）》请在金锄头文库上搜索。
1、电商经济形态背景下的数据挖掘、 大数据分析技术及实用案例,引 言,2,随着云计算、物联网、社交网络等新兴服务的兴起，人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来。数据从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用数据，从已有的数据资源中挖掘出更大的价值已经成为普遍关注的话题。 本课程从数据挖掘以及数据分析讲起，结合大数据背景时代行业特点与现状，希望能对如何利用当前数据资源开展数据挖掘工作及有效的进行数据收益分析做一些有益的探讨。,第一篇 思维模式篇,要想上战场杀敌，你首先得让自己成为一个士兵！,找准定位,4,视 角,视 角,视 角,8,9,企业的决策结构相
2、当于中枢神经系统，情报系统相当于神经系统，资金管理相当于血液，知识管理（方法、工具）相当于骨架，人力资源（能力）相当于肌肉。 传导动作反应 信息情报管理决策,如何理解信息情报的功能性,责 权,情报的多渠道来源不同渠道的情报内容不同,渠 道,11,内部信息 公司战略 营销政策 产品服务数据 财务报表 市场分析报告 销售人员业绩,外部信息 媒体新闻 行业统计 股市资讯 同行网站 分销商报表,渠 道,信息情报来源真实性评估,据美国308家公司的调查结果显示： 销售人员 96% 顾客 92% 行业期刊 89% 公司的促销材料 84% 营销研究人员 83% 对竞争对手产品的分析 81% 公司的年度报告
3、77% 会议、贸易展会 74% 分销商 70% 供应商 65%,渠 道,如何应用情报的？,13,谁在用？ 为什么用？ 谁没有用情报？为什么？ 在什么情况下用？ 通过什么方式？ 使用者是如何获得情报的？ 他们获得情报的意愿如何？,效 果,情报工作中可能出现的问题,14,工作重点不明确： 最佳分配 5% 10% 30% 15% 20% 20% 实际使用 5% 5% 20% 50% 5% 25%,效 果,15,效 果,16,第二篇 行动实践篇,我 们 应 如 该 何 操 作 ？,Contents目录,17,数据挖掘与分析的基本概念,定义 历史 特点 功能 重要性,18,第一部分,19,我们身边的数据
4、挖掘与分析,如今，网上购物已成为大部分人的消费趋势与习惯，而大家在网上购物时，经常会收到系统做出的个性化推荐。 比如：亚马逊会推荐你可能会喜欢看的图书，淘宝会根据你的购物和浏览记录推荐你可能感兴趣的商品。 所有这些推荐结果都来自于各式各样的推荐系统，它们依靠计算机算法运行，根据顾客的浏览、搜索、下单和喜好，为顾客选择他们可能会喜欢、有可能会购买的商品，从而增加潜在的销售。,定义 数据挖掘分析是什么？,20,技术层面：探查和分析大量数据以发现有意义的模式和规则的过程。 商业层面：是一种商业信息处理技术，特点是对大量业务数据进行抽取，转换，分析和建模处理，从中提取辅助商业决策的关键性数据。,海量数
5、据,知识库,数据挖掘,21,数据挖掘分析的发展历史,22,数据挖掘与分析的重要性：,电信：客户流失 银行：客户细分；交叉销售 百货公司/超市：购物篮分析 保险公司：客户细分；流失 信用卡：欺诈探测；客户细分 税务部门：偷税漏税行为探测 医学：医疗保健 电子商务：网站日志分析 物流行业：货物追踪,在银行、保险、电信、零售等行业，激烈的市场竞争环境下，数据挖掘及数据分析的作用尤为重要，并已开始广泛应用。 通过挖掘出的数据，对其进行适当的数据模型分析，使公司对客户了解更精细化，从而改善其市场、销售和客户支持运作。 典型的商业应用领域包括：市场营销，交叉销售与交叉营销，客户关系管理，个性化推荐与服务，
6、风险分析与控制，欺诈行为检测和异常模式的发现，供应链库存管理，以及人力资源管理等。,23,数据挖掘与分析的功能,24,美国梅隆银行（Bank of NewYork Mellon）,梅隆银行设定争取20万新户头的目标，为此计划向1000万可能得顾客邮寄邀请函。 利用数据挖掘产生了3000个最可能得顾客模式，对这些数据进行进一步分析后再加以精选，产生了更小的数目。而这个更小的数据会产生12%的回报率。 结果表明，该银行只需发出200万份邀请函即可获得20万名新用户。,数据挖掘与分析技术瞄准了那些最适合梅隆银行服务项目的顾客，不仅削减成本，还提高了每位新开户顾客的平均利润率，其利润要比通常高3倍。,
7、25,Pop-Tarts和飓风,分析人员发现，每次飓风来临，一种袋装小食品“Pop-Tarts”的销售量都会明显上升。手电筒、电池、水，这些商品的销量会随着飓风的到来而上升，很容易理解，但“Pop-Tarts”的上升是不是必然的呢？ 研究人员后来发现，这也是一个有用的规律：Pop-Tarts的销量上升，一是因为美国人喜欢甜食，二是因为它在停电时吃起来非常方便。此后，飓风来袭之前，沃尔玛也会提高“Pop-Tarts”的仓储量，以防脱销，并把它和水捆绑起来销售。 如果没有进行数据挖掘与分析，“Pop-Tarts”和颶风的微妙关系就难以被发现。,数据挖掘与分析方法,目的 流程 方法,26,第二部分,
8、27,在处理海量数据时，我们常常遇到类似的苦恼，数据库越来越大，数据爆炸，不能制定合适的决策，那么我们如何更好的利用挖掘出的数据，通过分析获取到有价值的数据成为非常重要的课题。,数据挖掘与分析目的：,用适当的统计分析方法对收集来的大量资料、数据进行分析，提取有用信息并形成分析结论，把隐没在一大批看似杂乱无章的数据中的信息集中，萃取和提炼出来，以找出所研究对象的内在规律；对数据、资料等加以详细研究和概括总结的过程，帮助人们作出判断，以便采取适当行动。,29,数据挖掘与分析流程,数据是企业核心业务处理的中心内容，决定着企业的未来发展。但是在面对这些海量数据时，需要通过一个系统的流程来处理。成功的数
9、据挖掘是让数据产生商业价值，而不是简单运营特别算法或工具。 根据1999年由欧盟机构联合起草的“跨行业数据挖掘过程标准” CRISP-DM，一个数据挖掘项目生命周期可以分为商业理解、数据理解、数据准备、建立模型、模型评估及模型发布6个阶段。,30,欧盟“跨行业数据挖掘过程标准”,数据挖掘的第一个阶段； 理解项目的目标和从业务的角度理解需求，并将这个知识转化为数据挖掘的定义和完成目标的初期计划。,熟悉数据、发现数据的内部属性，识别潜在的特征, 检查数据是否完整、正确，是否存在缺失值等等,将模型输出的结果与现实生活中发生的结果进行对比，从而进一步评估模型准确性。 合理性、简单性、稳定性、预测能力,
10、为了特定的数据挖掘目的作出假设，运用适当的数据挖掘工具建立模型； 利用模型解释特定的现象和预测对象的未来状况。,构建模型不是项目的终点。在模型建立并验证之后，还需要一个“部署监控更新”的过程，以使模型的作用最大化。,将原始数据处理成最终建模需要的数据。该过程可能多次执行，且非常耗时。,31,如何构建一个有指导的数据挖掘与分析模型,32,把业务问题转换为数据挖掘问题,把广泛的目标具体化，细化，深入观察客户行为可能变成具体的目标； 取决于对要解决的业务问题的理解程度。没有正确的理解业务问题就没办法把数据转化为挖掘任务。,例如： 主动向高风险或高价值的客户提供一个优惠，挽留他们 研究渠道方式，以利于
11、那些能带来最忠实客户的渠道 如果停止某类产品，列出处于销售风险的产品 根据当前市场营销策略，预测未来三年的客户数量,数据挖掘分析后，会产生几个不同类型的交付形式。可能是一个报表或充满图标和图形的简报。 例如：当我们的目的是提醒销售惊雷时，产生一个营销测试的客户列表是不够的。,33,什么数据可以用,多少数据才足够,分析需要多久的时间,数据必须包含什么,构建分析模型 数据分析模型（方法论）：主要是用来指导分析人员进行一个完整的数据分析，更多是指导数据分析的思路。如：主要从哪几方面开展分析？各方面包含什么内容或者指标之类？,常用分析模型,水平比较分析 趋势分析 定标比超 九宫图分析法 SWOT分析
12、波士顿矩阵 竞争态势矩阵 竞争者分析 竞争者标杆 核心竞争力分析 差距分析,麦肯锡7S框架 组织和个性评估 组合分析 产业/行业分析 价值链 组合管理和调整战略 波特一般竞争战略 波特价值链 波特产业五种力量分析 产品生命周期 经验曲线,营销技术矩阵 比率分析 国家风险分析 分销战略分析 研发、产品和制造分析 方向政策矩阵 战略设想和联盟分析 曲线分析 持续增长率分析 商业筛选 宏观环境分析 ,34,数据分析常用表现形式,35,36,应用案例：,啤酒和尿布 沃尔玛的购物篮分析,分析啤酒与尿布之间的销售关系 啤酒和尿布是顾客群完全不同的商品。沃尔玛通过一年数据挖掘与分析两种产品的情况，结果显示尿
13、布卖得好的店面啤酒也卖得很好。 原因很简单，一般太太让先生下楼买尿布的时候，先生们一般都会犒劳自己两听啤酒。因此啤酒和尿布一起购买的机会是最多的。,37,新加坡樟宜国际机场通过整合各种渠道和后端数据源，为其旅客提供卓越的服务。 通过云端大数据，整合了来自各种消费者接触点的信息，将收集到的反馈数据信息分门别类地发送至机场各相关部门进行汇总处理，进一步了解客户消费习惯，便于跨业务部门的沟通和为旅客提供无缝隙服务。,业内先进公司的应用案例-新加坡樟宜国际机场,提高了客户的满意度和忠诚度； 提高行业竞争力并找到新的收入增长源。,对数据进行进一步分析,水平比较分析 趋势分析 定标比超 波士顿矩阵 ,38
14、,水平比较分析,39,水平比较法： 通过对各类相关数字资料，将两期或多期连续的相同指标或比率进行定基对比和环比对比，得出它们的增减变动方向、数额和幅度，是揭示企业财务状况、经营情况和现金流量变化趋势的一种分析方法。,比 较 方 式 分 类,40,指标比较 将相同指标或比率进行比较，直接观察其增减变动情况及变动幅度，考察其发展趋势，预测其发展前景。这种方式在统计学上称之为动态分析。,指标比较方法,41,报表比较 将连续数期的报表金额并列起来，比较其相同指标的增减变动金额和幅度，据以判断企业财务状况和经营成果发展变化的一种方法。 运用该方法进行比较分析时，最好是既计算有关指标增减变动的绝对值，又计
15、算其增减变动的相对值，这样可以有效地避免分析结果的片面性。,例如：某企业利润表中反映2010年的净利润为100万元，2011年的净利润为150万元，2012年的净利润为210万元。,通过绝对值分析： 通过相对值分析：,2011年与2010年相比：净利润增长了150-100=50（万元）； 2012年与2011年相比：净利润增长了210-150=60（万元）； 说明2012年的效益增长好于2011年。,2011年较2010年同比净利润增长率为：（150-100）/150=33%； 2012年较2011年相比净利润增长率为：（210-150）/210=28%。 说明2012年的效益增长明显不及20
16、11年。,42,趋势分析法,43,趋势分析法： 通过对大量数据进行模糊计量，分析预测每个时间段的变化趋势，预测公司未来发展趋势， 从中发现相应时间或区间的拐点，是以连续时间序列为支柱的分析方法和预测工具，具有较高的准确率和可操作性。,作用： 确定公司财务状况和经营成果的发展趋势对投资者是否有利； 通过趋势分析可以知道企业经营的变化情况，为预测未来发展方向提供帮助。 预测法的主要优点是考虑时间序列发展趋势，使预测结果能更好地符合实际。,趋势分析方式,44,销售趋势 说明企业的经营状况， 通过企业之间销售趋势的比较，获得更多的有用信息。 在销售趋势出现异常的情况下，要仔细判断形成这种趋势的原因。此外，销售额的增加不一定与销售数量直接相关，要考虑市场价格的影响。,收益趋势 对收益趋势要做企业间和行业间的数据比较； 收益趋势与销售趋势具有可比性；需要将销售趋势和收益趋势
