《大数据技术及应用》由会员分享，可在线阅读，更多相关《大数据技术及应用（8页珍藏版）》请在金锄头文库上搜索。
1、大数据技术及应用大家下午好！今天我和大家交流的题目是大数据技术及应用。随着互联网技术的飞速发展，电子商务、云计算、物联网、社交网络等新兴服务的兴起，使得人类社会创造、存储数据的种类和规模正以前所未有的速度增长，人类来到了大数据时代。大数据代表了信息技术发展的最新成果，但对与我们这些不从事 IT 行业的人来说，大数据可以说是既熟悉又陌生，熟悉是因为我们经常会从各种新闻媒体（包括电视、杂志、书籍）中看到、听到,大数据信息铺天盖地；陌生是因为我们不知道大数据是什么意思，对我们的工作学习生活有什么影响。那么为了解开大数据神秘面纱，线面我就和大家共同学习大数据先关知识。一、大数据产生的时代背景大数据的兴
2、起源于人类社会数据量的爆发式增长。人类社会发展到 21 世纪，尤其是最近几年，随着互联网和移动互联网的快速发展，社交网络、搜索引擎、电子商务、视频网站、电子游戏、微博、微信每天都在产生大量的数据。据网上一篇疯传的帖子互联网的一天中指出， “每天互联网上要发出 2940 亿封邮件，200 万篇博客，1288个新应用可供下载，数据流量可以刻 1.68 亿张 DVD 光盘” 。这里所说的数据并非单纯指人们在互联网上发布的信息，物联网（传感器，智能家居、智慧城市） 、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险） 、电信（通话、短信） 、工业设备、汽车、电表等设备上无数的数码传感器，随时
3、测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质变化的信息，可以说各行各业，各种设备随时都在产生着大量数据。美国互联网数据中心指出，互联网上的数据每年将增长 50%，每两年便将翻一番，而目前世界上 90%以上的数据是最近几年才产生的。这可以称之为数据领域摩尔定律。根据事物的发展规律：量变引发质变。如此巨大的数据量，引发了人们对数据价值的重新认识、挖掘和应用。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡。2011 年 5 月，麦肯锡发布了名为大数据：创新、竞争和生产力的下一个前沿的研究报告，报告中指出：“大数据将成为企业的核心资产，对大数据的分析将成为竞争的关键，并会引发新
4、一轮生产力的增长与创新，对海量数据的有效利用将成为企业在竞争中取胜的最有利武器” 。二、什么是大数据（一）大数据概念在讲大数据概念之前，我们先来看一个例子。我们很多人都上过网，也都在网上购过物。比如在亚马逊网站买书，在淘宝买衣服等，在亚马逊网站有这么一个推荐系统，当你在这个网站浏览某一个产品时，比如说买一本书，他通过以往保存的其他人大量的搜索、点击、浏览记录，根据你的浏览记录，分析出你想要什么产品，然后通过推荐系统给你推荐出很多同类产品，从而使你能够快速的找到自己想要的产品。这就是大数据在我们日常生活中应用的一个例子。通过这个例子我们可以更容易的理解大数据的概念。大数据(big data)，或
5、称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。那么我们该如何理解这句话呢？我觉得所谓大数据就是基于海量数据的产生、获取，通过运用大数据分析技术，对这些海量数据进行挖掘及整合，使之展现出巨大的商业价值，这就是我理解的大数据大数据技术的意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理，从大量数据中发现新的信息和价值。正像大数据时代一书作者维克托迈尔舍恩伯格所说：“以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的额洞见” 。如果把大数据比作一种产
6、业，那么这种产业实现盈利的关键，在于提高对数据资源的“加工能力” ，通过“加工”实现数据的“增值” 。（二）大数据的 4V 特征大数据与“小数据”相比，有哪些特征呢？大数据主要有 4 个特征。也就算是“4V 模型” 。1.规模性（volume）：指的是数据量巨大。这主要指两个方面，一是指存储量大；二是指增量大。从刚才的背景介绍，可以看出现在数据的增速和储存量都非常大。现在，每天会有 2.3ZB 量的数据产生。这是一个什么概念呢？现在一般我们电脑的硬盘大小都以 GB，或者TB 为单位。1ZB=1024EB=1024 2PB=10243TB=10244GB。如果你有一台1TB 硬盘容量的电脑，那
7、1ZB 就是大致等于 10 亿台电脑的容量,远远超出了我们一般的想象。2.多样性（variety）：指数据类型繁多。也包括两个方面。一个是数据来源多。包括文本、视频、图片、地理位置、甚至点击率、浏览量等各种各样的信息；二是数据类型多。包括传统结构化的数据和非结构化的数据。3.高速性（Velocity）：主要表现为数据处理速度快，在数据量非常庞大的情况下，也能够做到实时处理。比如说我们通过手持终端设备关注天气、交通、物流等信息，我们要求能够在短时间内得到我们想要的结果，大数据的高速性恰恰能满足我们的这样一个要求，能够对大量信息进行快速的分析，并把分析结果快速的反馈给用户。4.价值性（value）
8、：价值性体现出的是大数据运用的真实意义所在。大数据具有价值密度低，商业价值高的特点。也就是说，大量的数据中无用的信息很多，有用的信息很少，或者说很难发现，就像沙里淘金一样，但你不管怎样，你总会淘到金子，总会发现真正有价值的东西。以视频监控为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但就着一两秒钟，却往往有着极为重要的价值。三、大数据时代带来的影响1.大数据对社会的影响在 2009 年，美国爆发甲型 H1N1 禽流感的前几周，谷歌公司就准确的预测到了禽流感将在冬季发生，并且能够精确预测到发生的地区和州，及时提醒美国国家公共卫生机构进行预防，从而避免了禽流感大面积的爆发。那么谷歌是如何
9、做到的呢？原来谷歌是通过分析人们在网上大量的搜索记录来完成这个预测的。谷歌每天通过分析整个美国几十亿条检索记录，把和禽流感相关的特定词条进行分析，比如，“哪些是治疗感冒和发烧的药物” ，分析他们在不同地区和时间的搜索频率，就能够准确的预测出禽流感发生的时间和地点。这就是大数据的应用对社会公共卫生带来积极影响的一个例子。从这个例子可以得到这么一个结论。就是大数据分析并不依赖于单个数据的准确性，比如:某个人搜索“哪些是治疗感冒和发烧的药物” ，并不能得出这个人一定得了禽流感，某个地区大量的人搜索“哪些是治疗感冒和发烧的药物”,就能够反应出该地区一定发生了禽流感。所以说，大数据分析不追求个别数据的准
10、确性，可以允许错误的存在，但当分析的数据达到一定规模时，这些个别的错误对我们的结果不会构成影响，通过对大量数据的分析我们依然能够得出正确的结论。2.大数据对企业的影响刚才讲的亚马逊推荐系统就是大数据应用对企业影响的一个方面，他可以帮助企业增大销量。下面我们在来看一个例子。我们都知道阿里巴巴和新浪微博合作的事情。2013 年，阿里巴巴斥资 5.86 亿入股新浪微博，推出了新浪微博淘宝版。那么阿里巴巴为什么要和新浪合作呢？一个更重要原因就是大数据营销战略。新浪微博在中国有几亿活跃用户，掌握了大量用户日常生活行为信息，这个量十分庞大，但新浪却无法进行利用。我们再看阿里巴巴，是中国最大电商平台，它有产
11、品、有购买信息，但这些购买信息不足以帮助阿里巴巴了解人群特点和喜好。所以，阿里巴巴跟新浪微博合作，就可以掌握大量完整的用户日常生活行为信息，从而对其分类，根据不同人群甚至不同个体的喜好、偏好、兴趣、爱好、习惯、传播习惯、分享路径等等，推荐不同的商品，那么就能实现精准营销，个性化营销。从这个例子我们可以得出这么一个结论：就是数据不再是静止和陈旧的。以前，一旦完成了收集数据的目的后，数据就会被认为没有用处了，成为负担和垃圾。而在大数据时代，我们可以对数据进行重复开发和利用，从而发掘出数据新的潜在价值。数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山一角，而大部分则隐藏在表面之下。我们必须通
12、过挖掘才能发现数据更多的价值。3.大数据对个人的影响未来的大数据除了将更好的解决社会问题、商业营销问题，还有一个可预见的趋势大数据将更好的服务于人本身。比如，建立个人的数据档案，将每个人的日常生活习惯，身体体征，社会网络，知识能力，爱好性情，疾病嗜好，情绪波动.换言之,就是记录人从出生那一刻起的每一分每一秒，将除了思维外的一切都储存下来，这些数据可以被充分的开发利用：医疗机构将实时的监测用户的身体健康状况;教育机构更有针对性的制定用户喜欢的教育培训计划；服务行业可以为用户提供及时健康的符合用户生活习惯的食物和其它服务；社交网络能为你提供合适的交友对象，并为志同道合的人群组织各种聚会活动；政府能
13、在用户的心理健康出现问题时进行及时有效的干预，防范自杀，刑事案件的发生；金融机构能帮助用户进行有效的理财管理，为用户的资金提供更有效的使用建议和规划；道路交通、汽车租赁及运输行业可以为用户提供更合适的出行线路和路途服务安排。大数据的开发应用将深刻的改变人们的生活方式，更好地为人的生活服务。4.大数据对军事的影响作为军人来说，我们可能更关心大数据会给军事带来哪些影响。现代战争是高科技战争，大量的高科技设备应用于战场，产生大量的数据信息，战场情况瞬息万变，如何从纷繁复杂的信息中获取真正有用的价值，帮助我们在战场上做出正确的判断，我想这正是大数据的用武之地。一个有趣的例子，1948 年辽沈战役期间，
14、司令员林彪要求每天要进行例行的“每日军情汇报” ，由值班参谋读出下属各个纵队、师、团用电台报告的当日战况和缴获情况，那几乎是重复着千篇一律枯燥无味的数据：每支部队歼敌多少、俘虏多少;缴获的火炮、车辆多少，枪支、物资多少。有一天，参谋照例汇报当日的战况，林彪突然打断他：“刚才念的在胡家窝棚那个战斗的缴获，你们听到了吗?”大家都很茫然，因为如此战斗每天都有几十起，差不多一模一样的枯燥数字。林彪扫视一周，见无人回答，便接连问了三句：“为什么那里缴获的短枪与长枪的比例比其它战斗略高?” “为什么那里缴获和击毁的小车与大车的比例比其它战斗略高?” “为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高
15、?”林彪司令员大步走向挂满军用地图的墙壁，指着地图上的那个点说：“我猜想，不，我断定!敌人的指挥所就在这里!”果然，部队很快就抓住了敌方的指挥官廖耀湘，并取得这场重要战役的胜利。这就是运用大数据分析思维在军事上的应用。从一些看似不相关的数据中，进行分析挖掘，从而找出对我们有价值的信息。5.大数据对隐私的影响任何事物都有两面性。人们在享受大数据带来的便利的同时，也必然要承担大数据带来的隐患。当你在不同的网站上注册了个人信息后，可能这些信息（包括年龄、性别、地域、生活状态、态度、行踪、兴趣爱好、消费行为、健康状况等）已经被扩散出去了，当你莫名其妙的接到各种邮件，电话，短信的滋扰时，你不会想到自己的
16、电话号码，邮箱，生日，购买记录，收入水平，家庭住址，亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。并且这些信息你永远无法删除，它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息，但是这是不可能的。当我们在微博，微信，QQ 空间这些社交平台输入我们的各种私人信息时，你就不要指望你还有隐私权了，就算你及时的删除了私人信息，但这些信息有可能已经被其他人转载或保存了，更有可能已经被百度或 Google 存为快照，早就提供给任意用户搜索使用了。更可怕的是，目前还有一种职业叫人肉专家，他们负责从互联网上找到一个与他们根本就无关系的用户的任意信息。也就是说，如果有人想找到你，只需要两个条件：1.你上过网，留下过痕迹；2.你的亲朋好友或仅仅是认识你的人上过网，留下过你的痕迹。这两个条件满足其一，人肉专家就可以很轻松的找到你，可能还知道你现在正在某个餐厅和谁一起共进晚餐。所以说，大数据时代任何一个人的行踪都能够被人掌握，大数据时代将无私可隐。真正的应了一句老
