《运营商大数据应用解决办法方法》由会员分享，可在线阅读，更多相关《运营商大数据应用解决办法方法（36页珍藏版）》请在金锄头文库上搜索。
1、#+运营商大数据应用解决方案目 录1.大数据概述41.1.概述41.2.大数据定义41.3.大数据技术发展62.大数据应用92.1.大数据应用阐述92.2.大数据应用架构112.3.大数据行业应用112.3.1.医疗行业112.3.2.能源行业122.3.3.通信行业122.3.4.零售业133.大数据解决方案143.1.大数据技术组成143.1.1.分析技术143.1.1.1.可视化分析143.1.1.2.数据挖掘算法143.1.1.3.预测分析能力143.1.1.4.语义引擎143.1.1.5.数据质量和数据管理153.1.2.存储数据库153.1.3.分布式计算技术163.2.大数据处理
2、过程183.2.1.采集183.2.2.导入/预处理193.2.3.统计/分析193.2.4.挖掘193.3.大数据处理的核心技术-Hadoop193.3.1.Hadoop的组成203.3.2.Hadoop的优点：233.3.2.1.高可靠性。233.3.2.2.高扩展性。233.3.2.3.高效性。233.3.2.4.高容错性。233.3.3.Hadoop的不足233.3.4.主要商业性“大数据”处理方案243.3.2.5.IBM InfoSphere大数据分析平台243.3.2.6.Or a c l e Bi g Da t aApplianc253.3.2.7.Mi c r o s o f
3、 t S QLServer253.3.2.8.Sybase IQ263.3.5.其他“大数据”解决方案263.3.2.9.EMC263.3.2.10.BigQuery273.3.6.大数据”与科技文献信息处理273.4.大数据处理技术发展前景273.4.1.大数据复杂度降低273.4.2.大数据细分市场283.4.3.大数据开源283.4.4.Hadoop将加速发展283.4.5.打包的大数据行业分析应用283.4.6.大数据分析的革命性方法出现293.4.7.大数据与云计算:深度融合293.4.8.大数据一体机陆续发布294.基于基站大数据应用及案例304.1.气象灾害应急短信发布平台304
4、.1.1.概述304.1.1.1.项目背景304.1.1.2.平台概述304.1.2.平台建设特点与原则304.1.2.1.建设特点304.1.2.2.建设原则304.1.2.3.大数据管理平台特点314.1.3.平台整体架构314.1.3.1.建设原理314.1.3.2.平台总体设计331.平台总体结构334.1.3.3.平台技术思路344.2.旅游客源分析344.2.1.整体方案344.2.1.1.方案思路344.2.1.2.系统架构351. 大数据概述1.1. 概述大数据，IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国家治理、企业决策和个人生活都在产生深远的影响，并将成为云计算、物
5、联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟，移动带宽迅速提升、云计算、物联网应用更加丰富、更多的传感设备、移动终端接入到网络，由此而产生的数据及增长速度将比历史上的任何时期都要多、都要快。数据技术发展历史如图一所示：图一1.2. 大数据定义“大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。IBM将“大数据”理念定义为4个V，即大量化(Volume)、多样化(Variety)、快速化(Velocity)及由此产生的价值(Value)。如图二;图二要理解大数
6、据这一概念，首先要从大入手，大是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。 数据体量巨大。从TB级别，跃升到PB级别。 数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。 价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。 处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍
7、布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的大数据不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。1.3. 大数据技术发展大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据
8、中提取价值，而且未来急剧增长的数据迫切需要寻求新的处理技术手段。如图三所示：图三在“大数据”(Big data)时代，通过互联网、社交网络、物联网，人们能够及时全面地获得大信息。同时，信息自身存在形式的变化与演进，也使得作为信息载体的数据以远超人们想象的速度迅速膨胀。云时代的到来使得数据创造的主体由企业逐渐转向个体，而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。信息化技术的普及使得企业更多的办公流程通过网络得以实现，由此产生的数据也以非结构化数据为主。预计到2012年，非结构化数据将达到互联网整个数据量的75%以上。用于提取智慧的“大数据”，往往是这些非结构化数据。传统的数据仓库
9、系统、BI、链路挖掘等应用对数据处理的时间要求往往以小时或天为单位。但“大数据”应用突出强调数据处理的实时性。在线个性化推荐、股票交易处理、实时路况信息等数据处理时间要求在分钟甚至秒级。全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一，而其他领域的研究，如云计算、下一代分析、内存计算等也都与“大数据”的研究相辅相成。Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术，这意味着“大数据”技术将在未来35年内进入主流。而 “大数据”的多样性决定了数据采集来源的复杂性，从智能传感器到社交网络数据，从声音图片到在线交
10、易数据，可能性是无穷无尽的。选择正确的数据来源并进行交叉分析可以为企业创造最显著的利益。随着数据源的爆发式增长，数据的多样性成为“大数据”应用亟待解决的问题。例如如何实时地及通过各种数据库管理系统来安全地访问数据，如何通过优化存储策略，评估当前的数据存储技术并改进、加强数据存储能力，最大限度地利用现有的存储投资。从某种意义上说，数据将成为企业的核心资产。“大数据”不仅是一场技术变革，更是一场商业模式变革。在“大数据”概念提出之前，尽管互联网为传统企业提供了一个新的销售渠道，但总体来看，二者平行发展，鲜有交集。我们可以看到，无论是Google通过分析用户个人信息，根据用户偏好提供精准广告，还是F
11、acebook将用户的线下社会关系迁移在线上，构造一个半真实的实名帝国，但这些商业和消费模式仍不能脱离互联网，传统企业仍无法嫁接到互联网中。同时，传统企业通过传统的用户分析工具却很难获得大范围用户的真实需求。企业从大规模制造过渡到大规模定制，必须掌握用户的需求特点。在互联网时代，这些需求特征往往是在用户不经意的行为中透露出来的。通过对信息进行关联、参照、聚类、分类等方法分析，才能得到答案。“大数据”在互联网与传统企业间建立一个交集。它推动互联网企业融合进传统企业的供应链，并在传统企业种下互联网基因。传统企业与互联网企业的结合，网民和消费者的融合，必将引发消费模式、制造模式、管理模式的巨大变革。
12、大数据正成为IT行业全新的制高点，各企业和组织纷纷助推大数据的发展，相关技术呈现百花齐放局面，并在互联网应用领域崭露头角，具体情况如下图四所示：图四大数据将带来巨大的技术和商业机遇，大数据分析挖掘和利用将为企业带来巨大的商业价值，而随着应用数据规模急剧增加，传统计算面临严重挑战，大规模数据处理和行业应用需求日益增加和迫切出现越来越多的大规模数据处理应用需求，传统系统难以提供足够的存储和计算资源进行处理，云计算技术是最理想的解决方案。调查显示：目前，IT专业人员对云计算中诸多关键技术最为关心的是大规模数据并行处理技术大数据并行处理没有通用和现成的解决方案对于应用行业来说，云计算平台软件、虚拟化软
13、件都不需要自己开发，但行业的大规模数据处理应用没有现成和通用的软件，需要针对特定的应用需求专门开发，涉及到诸多并行化算法、索引查询优化技术研究、以及系统的设计实现，这些都为大数据处理技术的发展提供了巨大的驱动力，2. 大数据应用2.1. 大数据应用阐述大数据能做什么？我们那么多地方探讨大数据，无非总结下来就做三件事：第一，对信息的理解。你发的每一张图片、每一个新闻、每一个广告，这些都是信息，你对这个信息的理解是大数据重要的领域。第二，用户的理解，每个人的基本特征，你的潜在的特征，每个用户上网的习惯等等，这些都是对用户的理解。第三，关系。关系才是我们的核心，信息与信息之间的关系，一条微博和另外一
14、条微博之间的关系，一个广告和另外一个广告的关系。一条微博和一个视频之间的关系，这些在我们肉眼去看的时候是相对简单的。比如有条微博说这两天朝鲜绑架我们船的事，那条微博也大概是谈这件事的。人眼一眼就能看出来。但是用机器怎么能看出来这是一件事，以及他们之间的因果关 系，这是很有难度的。然后就是用户与用户之间的关系。哪些人你愿意收听，是你的朋友，哪些是你感兴趣的领域，你是一个音乐达人，你是一个吃货，那个用户也 是一个吃货，你愿意收听他。这就是用户与用户之间的关系理解。还有用户与信息之间的理解，就是你对哪一类型的微博感兴趣，你对哪一类型的信息感兴趣，如果 牵扯到商业化，你对哪一类的广告或者商品感兴趣。其
15、实就是用户与信息之间的关系，他无非是做这件事。大数据说的那么悬，其实主要是做三件事：对用户的理解、对信息的理解、对关系的理解。如果我们在这三件事之间还要提一件事的话，一个叫趋势。 他也是关系的一种变种，只是关系稍微远一点，情感之间的分析，还有我们政府部门做的舆情监控。他可以监控大规模的数据，可以分析出人的动向。在美国的好莱 坞，这两年也是基于FACEBOOK和TIWTTER的数据来预测即将上映的电影的票房。他也是一个趋势的分析，只是我们把这个趋势提前来。核心就是这三件事。2.2. 大数据应用架构2.3. 大数据行业应用2.3.1. 医疗行业1. Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。2.
