《电商经济形态背景下的数据挖掘、大数据分析技术及实用案例解析》由会员分享，可在线阅读，更多相关《电商经济形态背景下的数据挖掘、大数据分析技术及实用案例解析（87页珍藏版）》请在金锄头文库上搜索。
1、电商经济形态背景下的数据挖掘、电商经济形态背景下的数据挖掘、 大数据分析技术及实用案例大数据分析技术及实用案例 引 言 2 随着云计算、物联网、社交网络等新兴服务的兴起，人类社会的数 据种类和规模正以前所未有的速度增长，大数据时代正式到来。数据从 简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用数 据，从已有的数据资源中挖掘出更大的价值已经成为普遍关注的话题。 本课程从数据挖掘以及数据分析讲起，结合大数据背景时代行业特 点与现状，希望能对如何利用当前数据资源开展数据挖掘工作及有效的 进行数据收益分析做一些有益的探讨。 第一篇 思维模式篇 要想上战场杀敌，你首先得让自己成为一个士兵！
2、 找准定位 精准 定位 视角 责权 渠道 效果 4 视 角 视 角 视 角 8 9 企业的决策结构相当于中枢神经系统，情 报系统相当于神经系统，资金管理相当于 血液，知识管理（方法、工具）相当于骨 架，人力资源（能力）相当于肌肉。 传导动作反应 信息情报管理决策 u如何理解信息情报的功能性 责 权 u情报的多渠道来源不同渠道的情报内容不同 时效 提 炼炼 甄 别别 同行合 作伙伴 网络 朋友 人力资源分支 技术来源分支经济来源分支 情报报圈 国家经济指标 房地产 消费水平 股市资讯 公司分支 分析报表、CEOS 销售 人员 广告宣传 活动 客户 竞争 对手 技术来 源分支 信息收集 信息分析
3、情报储存 信息情报传递 渠 道 11 内部信息 公司战略 营销政策 产品服务数据 财务报表 市场分析报告 销售人员业绩 外部信息 媒体新闻 行业统计 股市资讯 同行网站 分销商报表 渠 道 信息情报来源真实性评估 据美国308家公司的调查结果显示： 销售人员 96% 顾客 92% 行业期刊 89% 公司的促销材料 84% 营销研究人员 83% 对竞争对手产品的分析 81% 公司的年度报告 77% 会议、贸易展会 74% 分销商 70% 供应商 65% 渠 道 u如何应用情报的？ 13 谁在用？ 为什么用？ 谁没有用情报？为什么？ 在什么情况下用？ 通过什么方式？ 使用者是如何获得情报的？ 他们
4、获得情报的意愿如何？ 效 果 u情报工作中可能出现的问题 14 工作重点不明确： 最佳分配 5% 10% 30% 15% 20% 20% 实际使用 5% 5% 20% 50% 5% 25% 确定 需求 搜集 情报 识别 筛选 研究 整理 提供 传播 沟通 说服 效 果 15 报告种类描述 战战略价 值值水平 目标标客户户报报告的频频率 新闻闻公告 包括来源于内部和外部的战略 及战术方面的信息。包括：已 印刷出版或未印刷出版的信息 低 一线销售人员 市场推广/销售管理 人员 其他管理人员 每月一次或每周 一次 竞竞争对对手简简介 包括竞争对手的基本情况，通 常是放在一个文件夹或可供随 时检索的数
5、据库内，并可经常 进行更新 低 市场推广/销售管理 人员 前线销售人员 其他管理人员 按要求而定 战战略影响 工作表 和新闻公告近似，但会确认对 企业战略和战术有影响的事件 中 市场推广/销售管理 人员 其他管理人员 每月一次 每月情报简报报简报 包括主要的战略新闻和影响因 素，以高度浓缩的形式报告 中 高级管理人员 其他管理人员 每月一次 形势势 分析 汇总主要的战略问题，并包 括支持汇总的详尽分析 中-高 高级管理人员 其他管理人员 按要求而定 特别别情报汇报汇 总总 关于某一确认情况或问题的一 到两页长度的报告。汇总主 要的支持性分析，并提供相应 行动的建议 高高级管理人员按要求而定 效
6、 果 16 第二篇 行动实践篇 我 们 应 如 该 何 操 作 ？ Contents目录 17 数据挖掘与分析的基本概念 数据挖掘与分析的流程及方法 数据挖掘与分析系统框架的设计 数据挖掘与分析的基本概念 定义 历史 特点 功能 重要性 18 第一部分 19 我们身边的数据挖掘与分析 如今，网上购物已成为大部分人的消 费趋势与习惯，而大家在网上购物时，经 常会收到系统做出的个性化推荐。 比如：亚马逊会推荐你可能会喜欢看 的图书，淘宝会根据你的购物和浏览记录 推荐你可能感兴趣的商品。 所有这些推荐结果都来自于各式各样 的推荐系统，它们依靠计算机算法运行， 根据顾客的浏览、搜索、下单和喜好，为 顾
7、客选择他们可能会喜欢、有可能会购买 的商品，从而增加潜在的销售。 定义 数据挖掘分析是什么？ 20 技术层面：探查和分析大量数据以发现有意义的 模式和规则的过程。 商业层面：是一种商业信息处理技术，特点是对 大量业务数据进行抽取，转换，分析和建模处理 ，从中提取辅助商业决策的关键性数据。 海量数据 知识库 数据挖掘 21 电子邮件 阶段 从上世纪70年开始，平均的通讯量以每年几倍的速度增长。 信息发布 阶段 从1995年起，以WEB技术为代表的信息发布系统，爆炸式地成长起来，成为目前 Internet的主要应用。 电子商务 阶段 1997年底召开的APEC会议中提出各国共同促进电子商务发展的议
8、案，引起全球 的关注。1998年被称为电子商务年。 全程电子 商务阶段 随着SaaS (Software as a service)软件服务模式的出现，延长了电子商务链条， 形成了当下最新的“全程电子商务”概念模式。 数据挖掘分析的发展历史 22 数据挖掘与分析的重要性： 电信：客户流失 银行：客户细分；交叉销售 百货公司/超市：购物篮分析 保险公司：客户细分；流失 信用卡：欺诈探测；客户细分 税务部门：偷税漏税行为探测 医学：医疗保健 电子商务：网站日志分析 物流行业：货物追踪 在银行、保险、电信、零售等行业， 激烈的市场竞争环境下，数据挖掘及数据 分析的作用尤为重要，并已开始广泛应 用。
9、通过挖掘出的数据，对其进行适当的 数据模型分析，使公司对客户了解更精细 化，从而改善其市场、销售和客户支持运 作。 典型的商业应用领域包括：市场营销 ，交叉销售与交叉营销，客户关系管理， 个性化推荐与服务，风险分析与控制，欺 诈行为检测和异常模式的发现，供应链库 存管理，以及人力资源管理等。 23 在大型数据库中寻找预测性信息；例如市场预测问题，数据挖掘使用过去有关促销的数据 来寻找未来投资中回报最大的用户，其它可预测的问题包括预报破产以及认定对指定事件 最可能作出反应的群体。 自动预测趋势和行为 数据库中存在的一类重要的可被发现的知识；若两个或多个变量的取值之间存在某种规律 性，就称为关联；
10、找出数据库中隐藏的关联网。 关联分析 数据库中的记录可被化分为一系列有意义的子集，即聚类。 聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类技术主要包 括传统的模式识别方法和数学分类学。 聚类 对某类对象的内涵进行描述，并概括这类对象的有关特征。 分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间 的区别。 概念描述 数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜 在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量 值随时间的变化等。 偏差检测 数 据 挖 掘 与 分 析 的 功 能 2
11、4 美国梅隆银行（Bank of NewYork Mellon） 梅隆银行设定争取20万新户头的目标， 为此计划向1000万可能得顾客邮寄邀请函。 利用数据挖掘产生了3000个最可能得顾 客模式，对这些数据进行进一步分析后再加以 精选，产生了更小的数目。而这个更小的数据 会产生12%的回报率。 结果表明，该银行只需发出200万份邀请 函即可获得20万名新用户。 u数据挖掘与分析技术瞄准了那些最适合梅隆银行服务项目的顾客，不仅削减成本 ，还提高了每位新开户顾客的平均利润率，其利润要比通常高3倍。 25 Pop-Tarts和飓风 分析人员发现，每次飓风来临，一种袋装小 食品“Pop-Tarts”的
12、销售量都会明显上升。手电 筒、电池、水，这些商品的销量会随着飓风的到来 而上升，很容易理解，但“Pop-Tarts”的上升是 不是必然的呢？ 研究人员后来发现，这也是一个有用的规律 ：Pop-Tarts的销量上升，一是因为美国人喜欢甜 食，二是因为它在停电时吃起来非常方便。此后， 飓风来袭之前，沃尔玛也会提高“Pop-Tarts”的 仓储量，以防脱销，并把它和水捆绑起来销售。 如果没有进行数据挖掘与分析，“Pop- Tarts”和颶风的微妙关系就难以被发现。 数据挖掘与分析方法 目的 流程 方法 26 第二部分 27 在处理海量数据时，我们常常遇到类似的苦 恼，数据库越来越大，数据爆炸，不能制
13、定合适的 决策，那么我们如何更好的利用挖掘出的数据，通 过分析获取到有价值的数据成为非常重要的课题。 数据挖掘与分析目的： 用适当的统计分析方法对收 集来的大量资料、数据进行分析， 提取有用信息并形成分析结论，把 隐没在一大批看似杂乱无章的数据 中的信息集中，萃取和提炼出来， 以找出所研究对象的内在规律；对 数据、资料等加以详细研究和概括 总结的过程，帮助人们作出判断， 以便采取适当行动。 29 数据挖掘与分析流程 数据是企业核心业务处理的中心内容，决定 着企业的未来发展。但是在面对这些海量数据时 ，需要通过一个系统的流程来处理。成功的数据 挖掘是让数据产生商业价值，而不是简单运营特 别算法或
14、工具。 根据1999年由欧盟机构联合起草的“跨行 业数据挖掘过程标准” CRISP-DM，一个数据挖 掘项目生命周期可以分为商业理解、数据理解、 数据准备、建立模型、模型评估及模型发布6个 阶段。 30 欧盟“跨行业数据挖掘过程标准” 数据挖掘的第一个阶段； 理解项目的目标和从业务的角度理解需 求，并将这个知识转化为数据挖掘的定 义和完成目标的初期计划。 熟悉数据、发现 数据的内部属性，识 别潜在的特征, 检查数据是否完 整、正确，是否存在 缺失值等等 将模型输出的结果与现 实生活中发生的结果进行 对比，从而进一步评估模 型准确性。 合理性、简单性、稳定 性、预测能力 为了特定的数据挖掘目的作
15、出假设 ，运用适当的数据挖掘工具建立模型 ； 利用模型解释特定的现象和预测对 象的未来状况。 构建模型不是项目的终 点。在模型建立并验证之 后，还需要一个“部署 监控更新”的过程，以 使模型的作用最大化。 将原始数据处理成 最终建模需要的数 据。该过程可能多次 执行，且非常耗时。 商业理解 数据理解 数据准备 建立模型 模型评估 模型发布 31 如何构建一个有指导的数据挖掘与分析模型 把业务 问题转 换为数 据问题 选择合适 的数据 构建模型 评估模型 适用性 结论 32 把业务问题转换为数据挖掘问题 把广泛的目标具体化，细化，深入观察客户行为可能变成具体的目标； 取决于对要解决的业务问题的理解程度。没有正确的理解业务问题就没办法把数据 转化为挖掘任务。 例如： 主动向高风险或高 价值的客户提供一个 优惠，挽留他们 研究渠道方式，以 利于那些能带来最忠 实客户的渠道 如果停止某类产品 ，列出处于销售风险 的产品 根据当前市场营销 策略，预测未来三年 的客户数量 数据挖掘分析 后，会产生几个不 同类型的交付形式 。可能是一个报表 或充满图标和图形 的简报。 例如：
