《电信行业大数据应用实践和思考》由会员分享，可在线阅读，更多相关《电信行业大数据应用实践和思考（12页珍藏版）》请在金锄头文库上搜索。
1、电信行业大数据应用实践和思考一、中国移动的数据情况可以说，除了CRM和计费系统产生的用户资料和话单数据之外，中国移动还有很多其他的数据源，比如应用市场、手机阅读、手机游戏等平台产生的数据，还有更多的是网络设备上产生的海量数据。我们现在大数据平台还在演进的过程中。目前形成的是集团一级和各省公司的1+31套系统。总的数据容量大约在10+PB。但是其实这还很不够，一是数据不全面，光Gn接口的网络访问数据粗加工以后就有400多个TB/每日，4G全面铺开以后更大；二是数据存储周期过段，一般的数据为6个月，日志信令等更短，基本不存；三是分析挖掘不够，很多有价值的信息没有转换为智慧。所以我们现在正在做更优化
2、的技术架构演进和组织架构演进。贴一张简要的图说明一下中国移动的数据构成和增长情况。这张图展示了两个信息，那就是挑战和机遇并存。超过摩尔定律的增长要求技术架构必须做出革新，必须高效低成本。另一方面能，数据是资产，我们的资产在快速的增值，当然前提是能将其转为会盈利。二、中国移动大数据的指导原则由此，我们最近几年在大数据方面的指导原则就是：1、利用大数据技术，竭尽可能收集整理数据，竭尽可能关联数据，竭尽可能保存数据，将数据视作企业核心资产2、充分发挥大数据价值，竭尽可能使得现有商业模式更加具有竞争力；竭尽可能发掘新的商务模式，直接将数据变成价值我认为应用大数据的关键是一个思维模式的改变，一定要Thi
3、nking in BigData，否则还是传统BI和报表。要将循数管理的思想贯穿到企业上下，要有无数据毋宁死的想法才可以。大数据时代中那句话我觉得特别好：除了上帝，任何人都必须用数据说话。三、中国移动大数据应用情况接下来的时间分享大数据在运营商中的应用。下面我分享的一些案例有的是中国移动已经实现的，有的是正在上马的，另外还有一些是其他国际运营商的，他们在大数据应用方面走得较快。应用方面我分三方面介绍：一是让运营商现有商业模式更加有竞争力；二是发掘新的商业模式，让别的行业运转更顺畅；三是承担社会责任发挥大数据社会价值。对内的大数据应用方面，运营商已经比较成熟了，我们的DW/BI系统运转已经有十多
4、年的时间，大数据主要应用在客户洞察，市场营销、客户服务和运营管理四个方面。每个方面我举一个案例来说明吧。客户洞察就是根据各种各样的数据（例如消费、通话、位置、浏览、使用）通过各种各样的算法（比如分类、聚类、标签、RFM、Pagerank）形成的客户360度视图。比如客户的交往圈，就是利用各种联系记录形成社交网络来丰富对用户的洞察。我们用图挖掘的方法来发现各种圈子、分析影响力，分析关键人员，然后用来进行家庭、政企客户的识别，用来发现重入网客户，用来发现关键客户的异动情况。接着说市场营销吧。这个就太多了，随便举一个终端营销的例子。大家知道吗？去年中国移动卖出的终端有1.5亿部。一下子就把世界上T制
5、式的智能终端和W以及C制式智能终端的稳固比例打破了。现在TD-SCDMA芯片已经是主流了。今年的计划销售是2.3亿部，所以各个公司压力都很大。一般来说有几种方法，最霸道的就是贴营销成本了，这个无往而不利。但是大家知道移动的利润去年就开始下降了，所以这个路越来越窄，一些公司就开始用大数据来做终端销售。其实这个很早就开始做，但是不是太被重视而已。方法是分析用户的终端偏好和消费能力，比如有的喜欢三星，有的喜欢苹果，看看他历史使用过的终端和交往圈中人用的终端就知道了。然后看换机时机，一般终端有一个生命周期，合约机也有到期时间。最后就是捕捉最近的特征事件然后通过短信、外呼、营业厅等渠道推送到用户手中。我
6、们最好的分公司能做到几乎不消耗营销成本就完成了全部定制机的任务，而且全部通过电子渠道进行销售，这对中国移动来说很难得，因为终端价格拿得很高的。客户服务方面举一个语义分析的吧。大家知道我们购买了科大讯飞一部分股份。现在我们的10086热线可以自动分析来话内容，进行归类，并识别其中的热点问题，如果是网络、资费等可能造成批量投诉的情况，还要及时地预警。这里面涉及到语音转文字、文本分析等多种技术。目前做得还不够好，至少我觉得需要做到智能呼叫路由，根据客户最可能咨询的问题优化自动语音的流程。另外也应该测量一下用户的情绪及其改变。最后是运营管理方面，我说说我们利用数据分析来实现4G基站和WLAN热点的精确
7、选址吧。我们分析话单和信令中用户的流量在时间周期和位置特征方面的分布。然后对于2G、3G的高流量区域提出布设4G基站和WLAN热点，这就是我们通常说的精确建站。另外我们还建立评估模型对已有基站的效率和成本进行评估，发现了一些建设上存在的问题，例如为了完成指标将基站建设在人际罕至的地方等。当前我们的基站资源还不能像云计算那样动态调度，有一些已经实现RAN的运营商，比如德电，做到了根据时间预测基站的容量，可以给CBD白天配备多一些无线资源，三里屯晚上配置多一些，这样让无线网络的运行效率而不只是建设效率更高。以上谈到的是大数据在电信行业对内应用的四个方面。这也是国内电信运营商主要的应用方向。虽然大数
8、据的外部性应用更加有趣，能发展新的商业模式，但是有数据所有权、隐私、体制等诸多因素，所以国内似乎目前只有看到电信在将固网的一些数据用来做RTB的互联网广告，除此之外看到的所有对外的商业应用基本都来自国际运营商。这里我想讲几个我们做的发挥社会价值方面的尝试。第一个是利用大数据帮助旅游景区了解游客来源、分布等信息。比如大家在北京市旅游局的网站上可以看到景点的舒适指数，这个就是我们根据位置信令来分析景区用户数量得出的。在江苏，这个做成了一个行业应用，帮助一些景点进行精确的游客分析。要实现精确，就必须在网路上做一些改动，在关键位置安装几个不承担话务，只记录信令的微蜂窝基站，大约10米的范围。这些行业应
9、用是由我们和合作伙伴共同完成的。第二个就是在交通方面。帮助一些高速公路公司和交通厅估算通过率，发现拥塞和事故。比如在成渝高速，以及南京的智慧城市项目。这需要一些模型来进行评估，比如识别同行的人等等。在定位方面，无线定位准确度不高，所以只是作为一些辅助的数据。交通管理部门还有线圈数据、出租车的采集数据等，哪些数据精确度更高，是GPS级别，我们的数据覆盖更广。第三是零售。帮助一些大的零售商分析顾客来源和各商铺、展位的人流情况。有点类似西班牙电信的Smart Steps。这个我们还没有真正实现，因为商务模式，定位精度等问题。我倒是知道现在有一些做WLAN运营的公司做这个，比如在万达广场。因为WLAN
10、的覆盖范围更小一些，精度更高，同时也提供了营销和服务的渠道。其余的就包括安全和反恐，当然这个不是我们做，我们只是提供数据，某些部门基于这些数据来分析人群驻留等，这个不多说。我想举几个国外运营商大数据商业化的案例，比如AT&T的Adworks，用大数据来实现精确的广告推送，覆盖电视、邮件、手机和电脑，当然是在AT&T自己的渠道上。还有Verizon辅助第三方做精确营销，比如帮助NBA球队找到球迷所在等。Sprint利用大数据为行业客户提供消费者和市场洞察（人口、行为等分析）、季节性分析等。四、中国移动大数据技术实施情况应用方面介绍完毕，接下来介绍中国移动在大数据技术方面的实践。目前我们的大数据参
11、考架构是MPP和Hadoop混搭，加上原有利旧的数据仓库系统，如下图。传统DW做高价值数据的加工，MPP做长期结构化数据的存储和自助分析，Hadoop做数据处理、挖掘和历史存储。先说MPP。MPP是将传统分布式数据库的理论运行在X86上的实践，用列存、内存和副本等进行了优化。MPP基本可以替代传统DW，但在大数据时代，还是有挑战。那就是由于它精确地进行数据分布的原因，可扩展性和高可用比较难以达到。大家都知道CAP理论，一种系统不可能什么都追求。我们现在看到国内较大的MPP集群也就几十个节点，国际上可以看到100、200的。但是这离我们的目标还有差距，我们经过估算，最起码也需要300到400个节
12、点，而且还要满足未来的扩展性。之前也讲了，大数据主要是要应用，而现在很多的应用都不是由IT开发的，是自助的，这就需要MPP中要提供沙盒，让业务部门或第三方能自助地分析和开发。我们当然不希望每个沙盒都是物理的MPP集群，这样不仅安装维护复杂，而且会造成数据重复。所以我们希望的是让MPP的能力像云计算那样对外提供按需服务，实现虚拟化，其实DBaaS或者DWaaS的概念已经有人提，AWS的RedShift就是类似的产品。因此我们的MPP要求很大，这就对他的可扩展性和高可用带来了挑战，当然同样的挑战还有负载管理、计费、监控和安全等等。Hadoop的扩展性会很好，而MPP就很难，这主要是由于两者存储机制
13、上的差异造成的，我之前有一篇文章中有详细分析。详细的可以参考这个。http:/ Over Hadoop的方案借鉴了数据库的理论和方法，MPP数据库上也可以执行MapReduce，这是因为代码的迁移总是很容易的。但是数据不一样。Hadoop和MPP数据分布的不一样决定了两者的适用范围。因此，我们下一步准备将长期的数据放到Hadoop上做自助查询，这样既能缩小MPP的规模，也能降低成本，当然这样的查询效率就不如在MPP上了。为了实现大数据的第三个V，速度。我们正在试点流处理来实现实时数据加工和服务，这个目前还没有太多的经验可以分享。总结一下，在大数据技术方面，我觉得发展路径是这样的。计算资源已经发
14、展得很完善了，但是由于存储资源还不能软件定义，还不能统一管理，所以我们还需要混搭，也许过几年，这个问题也解决了，比如内存的革命。五、这几年探索大数据的感受大数据很重要，但不能停留在商业炒作的层面，其实现在谈的大数据的应用，与以往DW/BI并无本质不同，我们当然可以借由此来申请资源，重新设计架构，但是自己要保持清醒的头脑，让大数据为我所用。我理解大数据中数据是基础，如果双方互相沟通交流大数据，必定要先问有什么数据，怎么来的，数据质量，数据所有权是如何的，这个数据是否是有竞争力的。这里就衍生一个概念，数据是企业的核心资产，要将这个思路观测到企业的商业过程中，竭尽可能收集数据，竭尽可能保存数据，我觉得这是大数据给我们带来的一个改变。因为数据的应用很多是设想不到的，是外部
