大数据技术及其应用

《大数据技术及其应用》由会员分享，可在线阅读，更多相关《大数据技术及其应用（9页珍藏版）》请在金锄头文库上搜索。

1、大数据技术及其应用xxxx 摘要：大数据的概念由来已久， 但在多数人眼中大数据就是数据大，甚至有时和 云计算混为一谈。 本文主要对大数据的定义进行重新的认识，并将其与云计算加 以区别。而在大数据流行的今天， 大数据究竟带来了什么有利的影响，或者说它 将有什么样的前景。这些问题都将在文中一一列举。 关键字：大数据云计算发展应用Abstract：The concept of big data has a long history, but in most eyes data is large, and sometimes confused and cloud computing. This art

2、icle mainly to the understanding of the definition of big data, and tries to distinguish and cloud computing. Popular and in large data today, what brought the big data beneficial effect, or it will have what kind of future. All these problems will be enumerated in this paper. Key word :Big Data Clo

3、ud computing Development Application 引言 从引爆之日到今天， 大数据似乎成了万灵药， 从总统竞选到奥斯卡颁奖、 从 web 安全到灾难预测，正如那句俗语：“当你手里有了锤子，什么都看上去像钉 子。”当 IT 经理成功部署一套Hadoop 系统后，任何事看上去都与大数据有关 （事实也是如此）。 但是，究竟什么是大数据呢？ 如果说大数据就是数据大，或者侃侃而谈4 个 V，又或者拿Google和 Amazon 举例，技术流可能会聊起Hadoop 和 Cloud Computing ，不管对错，只 是无法勾勒对大数据的整体认识， 不说是片面，但至少有些管窥蠡测、

4、隔衣瘙痒。 大数据是互联网发展到现今阶段的一种表象或特征，在以云计算为代表的技 术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了， 通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。 想要系统的认知大数据， 必须要全面而细致的分解它， 这里从三个层面来开：第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。第二层面是技术，技术是大数据价值体现的手段和前进的基石。从云计算、 分布式处理技术、 存储技术和感知技术的发展来说明大数据从采集、处理、存储 到形成结果的整个过程。 第三层面是实践， 实践是大数据的最终价值体现。分为互联网的大数据， 政 府的大数据，

5、企业的大数据和个人的大数据四个方面。一、 何为大数据最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今每一个行业 和业务职能领域， 成为重要的生产因素。 人们对于海量数据的挖掘和运用，预示 着新一波生产率增长和消费者盈余浪潮的到来。1” IBM 最早的定义将大数据的特征归纳为4 个 “V” （量 Volume， 多样 Variety， 价值 Value，速 Velocity），或者说特点有四个层面：第一，数据体量巨大。大 数据的起始计量单位至少是P（1000个 T）、E （100万个 T）或 Z（10 亿个 T）； 第二，数据类型繁多。 比如，网络日志、视频、图片、地理位置信息等等。 第

6、三， 价值密度低，商业价值高。第四，处理速度快。最后这一点也是和传统的数据挖 掘技术有着本质的不同。其实这些V 并不能真正说清楚大数据的所有特征，下 面这张图对大数据的一些相关特性做出了有效的说明。古语云：三分技术，七分数据，得数据者得天下。先不论谁说的，但是这句 话的正确性已经不用去论证了。维克托迈尔-舍恩伯格在大数据时代一书 中举了百般例证， 说明了一个道理： 在大数据时代已经到来的时候要用大数据思 维去发掘大数据的潜在价值。书中，作者提及最多的是Google 如何利用人们的 搜索记录挖掘数据二次利用价值，比如预测某地流感爆发的趋势；Amazon 如何 利用用户的购买和浏览历史数据进行有针

7、对性的书籍购买推荐，以此有效提升销 售量； Farecast如何利用过去十年所有的航线机票价格打折数据，来预测用户购 买机票的时机是否合适。 那么，什么是大数据思维？ 维克托迈尔-舍恩伯格认为， 1-需要全部数据样本而不是抽样；2-关注效率 而不是精确度； 3-关注相关性而不是因果关系。2 阿里巴巴的王坚对于大数据也有一些独特的见解，“今天的数据不是大， 真正有意思的是数据变得在线了，这个恰恰是互联网的特点。”“非互联网时期的 产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。”“你 千万不要想着拿数据去改进一个业务，这不是大数据。 你一定是去做了一件以前 做不了的事情。”特别是

8、最后一点，大数据的真正价值在于创造，在于填补无数 个还未实现过的空白。 数据就像蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分 类，而露天煤矿、深山煤矿的挖掘成本又不一样。 与此类似，大数据并不在“大”， 而在于“有用”。价值含量、挖掘成本比数量更为重要。二、 大数据大价值大数据在投资者眼里是金光闪闪的两个字：资产。3比如，Facebook上市时， 评估机构评定的有效资产中大部分都是其社交网站上的数据。如果把大数据比作 一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通 过“加工”实现数据的“增值”。Target 超市以 20 多种怀孕期间孕妇可能会购 买的商品

9、为基础， 将所有用户的购买记录作为数据来源，通过构建模型分析购买 者的行为相关性， 能准确的推断出孕妇的具体临盆时间，这样 Target的销售部门 就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。 Target 的例子印证了维克托迈尔-舍恩伯格提过的一个很有指导意义的观 点：通过找出一个关联物并监控它，就可以预测未来。Target通过监测购买者购 买商品的时间和品种来准确预测顾客的孕期，这就是对数据的二次利用的典型案 例。如果，我们通过采集驾驶员手机的GPS 数据，就可以分析出当前哪些道路 正在堵车，并可以及时发布道路交通提醒；通过采集汽车的GPS 位置数据，就 可以分析城市的哪些

10、区域停车较多，这也代表该区域有着较为活跃的人群，这些 分析数据适合卖给广告投放商。 不管大数据的核心价值是不是预测， 但是基于大数据形成决策的模式已经为 不少的企业带来了盈利和声誉。从大数据的价值链条来分析，存在三种模式： 1- 手握大数据，但是没有利用好；比较典型的是金融机构，电信行业，政 府机构等。 2- 没有数据，但是知道如何帮助有数据的人利用它；比较典型的是IT 咨询 和服务企业。 3- 既有数据，又有大数据思维；比较典型的是Google，Amazon 等。 未来在大数据领域最具有价值的是两种事物：1-拥有大数据思维的人，这种 人可以将大数据的潜在价值转化为实际利益；2-还未有被大数据

11、触及过的业务领 域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。 下面是大数据在当下的杰出表现：大数据帮助政府实现市场经济调控、公共 卫生安全防范、灾难预警、社会舆论监督；大数据帮助城市预防犯罪，实现智慧 交通，提升紧急应急能力；大数据帮助医疗机构建立患者的疾病风险跟踪机制， 帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的 药物；大数据帮助电商公司向用户推荐商品和服务，帮助旅游网站为旅游者提供 心仪的旅游路线， 帮助二手市场的买卖双方找到最合适的交易目标，帮助用户找 到最合适的商品购买时期、 商家和最优惠价格； 大数据帮助企业提升营销的针对 性，降低物流和库存的成本，

12、减少投资的风险， 以及帮助企业提升广告投放精准 度；,而当物联网发展到达一定规模时，借助条形码、二维码、RFID 等能够唯一 标识产品，传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现 实时的信息采集和分析，这些数据能够支撑智慧城市，智慧交通，智慧能源，智 慧医疗，智慧环保的理念需要， 这些都所谓的智慧将是大数据的采集数据来源和 服务范围。 未来的大数据除了将更好的解决社会问题，商业营销问题，科学技术问题， 还有一个可预见的趋势是以人为本的大数据方针。人才是地球的主宰， 大部分的 数据都与人类有关，要通过大数据解决人的问题。 比如，建立个人的数据中心，将每个人的日常生活习惯，身体体

13、征，社会网 络，知识能力，爱好性情，疾病嗜好，情绪波动, 换言之就是记录人从出生那 一刻起的每一分每一秒， 将除了思维外的一切都储存下来，这些数据可以被充分 的利用：医疗机构将实时的监测用户的身体健康状况；教育机构更有针对的制定 用户喜欢的教育培训计划； 服务行业为用户提供即时健康的符合用户生活习惯的 食物和其它服务； 社交网络能为你提供合适的交友对象，并为志同道合的人群组 织各种聚会活动；政府能在用户的心理健康出现问题时有效的干预，防范自杀， 刑事案件的发生； 金融机构能帮助用户进行有效的理财管理，为用户的资金提供 更有效的使用建议和规划；,三、 大数据大风险你或许并不敏感， 当你在不同的网

14、站上注册了个人信息后，可能这些信息已 经被扩散出去了，当你莫名其妙的接到各种邮件，电话，短信的滋扰时，你不会 想到自己的电话号码，邮箱，生日，购买记录，收入水平，家庭住址，亲朋好友 等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个 人了。 更可怕的是， 这些信息你永远无法删除， 它们永远存在于互联网的某些你不 知道的角落。除非你更换掉自己的所有信息，但是这代价太大了。 用户隐私问题一直是大数据应用难以绕开的一个问题，如被央视曝光过的分 众无线、罗维邓白氏以及网易邮箱都涉及侵犯用户隐私。目前，中国并没有专门 的法律法规来界定用户隐私，处理相关问题时多采用其他相关法规条例来解释

15、。 但随着民众隐私意识的日益增强，合法合规地获取数据、分析数据和应用数据， 是进行大数据分析时必须遵循的原则。 说到隐私被侵犯，爱德华 ?斯诺登应该占据一席之地，这位前美国中央情报 局（CIA）雇员一手引爆了美国“棱镜计划”（PRISM）的内幕消息。“棱镜” 项目是一项由美国国家安全局（NSA）自 2007 年起开始实施的绝密电子监听计 划，年耗资近 2000 亿美元，用于监听全美电话通话记录，据称还可以使情报人 员通过 “后门” 进入 9 家主要科技公司的服务器， 包括微软、雅虎、 谷歌、 Facebook 、 PalTalk、美国在线、 Skype、YouTube、苹果。这个事件引发了人们

16、对政府使用 大数据时对公民隐私侵犯的担心。 再看看我们身边，当微博，微信，QQ 空间这些社交平台肆意的吞噬着数亿 用户的各种信息时，你就不要指望你还有隐私权了，就算你在某个地方删除了， 但也许这些信息已经被其他人转载或保存了，更有可能已经被百度或Google 存 为快照，早就提供给任意用户搜索了。因此在大数据的背景下， 很多人都在积极 的抵制无底线的数字化，这种大数据和个体之间的博弈还会一直继续下去,专家给予了我们一些如何有效保护大数据背景下隐私权的建议：1-减少信息 的数字化； 2-隐私权立法； 3-数字隐私权基础设施（类似DRM 数字版权管理）； 4-人类改变认知（接受忽略过去）；5-创造良性的信息生态； 6-语境化。是这些 都很难立即见效或者有实质性的改善。比如，现在有一种职业叫删帖人， 专门负 责帮人到各大网站删帖， 删除评论。其实这些人就是通过黑客技术侵入各大网站， 破获管理员的密码然后进行手工定向删除。只不过他们保护的不是客户的隐私， 而大多是丑闻。 还有一种职业叫人肉专家， 他们负责从互联网上找到一个与他们 根本就无关系用户的任意信