《大数据将给我们带来怎样的变化》由会员分享，可在线阅读，更多相关《大数据将给我们带来怎样的变化（6页珍藏版）》请在金锄头文库上搜索。
1、大数据将给我们带来怎样的变化?摘要：我们都听过这个预测：到 2021年,电子数据存储量将在 2021年的根底上增加44倍,达 到35万亿GB.根据IDC数据显示,截止到 2021年,这个数字已经到达了 120万PB,或1.2ZB.标签：大数据?我们都听过这个预测：到 2021年,电子数据存储量将在 2021年的根底上增加44倍, 到达35万亿GB.根据IDC数据显示,截止到 2021年,这个数字已经到达了 120万PB, 或1.2ZB.如果把所有这些数据都存入DVD光盘,光盘高度将等同于从地球到月球的一个往返一一也就是大约480,000英里.对于那些喜欢杞人忧天的人来说,这是数据存储的末日即将
2、到来的不祥预兆.而对于机会主义者们而言,这就好比是个信息金矿,随着技术的进步,金矿开采会变得越来越容易.走进大数据-一种新兴的数据挖掘技术,它正在让数据处理和分析变得更廉价更快速.大数据技术一旦进入超级计算时代,很快便可应用于普通企业,在遍地开花的过程中,它将改变许多行业业务经营的模式.在计算机世界里,大数据被定义为一种使用非传统的数据过滤工具,对大量有序或无序数据集合进行的挖掘过程,它包括但不仅限于分布式计算Hadoop.大数据已经站在了数据存储宣传的风口浪尖,也存在着大量不确定因素,这点上非常像云.我们请教了一些分析人士和大数据爱好者,请他们解释一下大数据究竟是什么,以及它对于未来数据存储
3、的意义.大数据走进历史舞台适用于企业的大数据已经出现,这在局部程度上要归功于计算能耗的降低以及系统已具备执行多重处理的水平这样一个事实.而且随着主存储器本钱的不断下降,和过去相比,公司可以将更多的数据存到存储器中.并且,将多台计算机连到效劳器集群也变得更容易了. 这三个变化加在一起成就了大数据,IDC数据库治理分析师 Carl Olofs on如是说.我们不仅要把这些事情做好,还要能承受得起相应的开支,他说.过去的某些超级计算机也具有执行系统多重处理的水平,这些系统紧密相连,形成了一个集群但由于要使用专门的硬件,它的本钱高达几十万美元甚至更多.现在我们可以使用普通硬件完成相同的配置.正由于这样
4、,我们能更快更省得处理更多数据.大数据技术还没有在有大型数据仓库的公司中得到广泛普及.IDC认为,想让大数据技术得到认可,首先技术本身一定要足够廉价, 然后,必须满足IBM称之为3V标准中的2V, 即：类型variety,量volume和速度velocity.种类要求指的是待存储数据的类型分为结构化数据和非结构化数据.量是指存储和分析的数据量可以很庞大.数据量不只是几百 TB, Olofson说：要视具体情况而定,由于速度和时间的关系, 有时几百GB可能就算很多了.如果我现在一秒能完成过去要花一小时 才能完成的300GB的数据分析,那结果将大为不同.大数据就是这样一种技术,它可以满 足这三个要
5、求中的至少两个,并且普通企业也能够部署.关于大数据的三大误解对于大数据是什么以及大数据能干什么存在很多误会.下面就是有关大数据的三个误解：1、 关系数据库无法大幅增容,因此不能被认为是大数据技术不对2、 无需考虑工作负载或具体使用情况,Hadoop或以此类推的任何 MapReduce都是大 数据的最正确选择.也不对3、 图解式治理系统时代已经结束.图解的开展只会成为大数据应用的拦路虎.可笑的 错误大数据与开源的关系很多人认为Hadoop和大数据根本上是一个意思. 这是错误的, Olofsoni说.并解释道: Teradata, MySQL和智能聚合技术的某些安装启用都用不到 Hadoop,但它
6、们也可以被认为 是大数据.Hadoop是一种用于大数据的应用程序,由于它是建立在MapReduce根底上的,所以引起了极大的关注.MapReduce是一种用于超级计算的普通方法,之后经过了主要由Google资助的一个工程的优化,因此被简化并变得考究了.Hadoop是几个紧密关联的 Apache项目组成的混合体的主要安装启用程序,其中包括MapReduce环境中的HBase数据库.为了充分利用Hadoop和类似的先进技术,软件开发商们绞尽脑汁研发出了各种各样的 技术,其中很多都是在开源社区里开发出来的.Olofson说他们已经开发出了大量的所谓noSQL数据库,种类之多让人眼花缭乱,其中大局部都
7、是键值配对数据库,能利用多种技 术对性能或种类或容量进行优化.开源技术还没有得到商业支持.所以在这方面还需要经过一段时间的开展完善,这一过程可能需要几年.基于这个原因,大数据可能需要一些时日才能在市场上走向成熟他补充道.据IDC预计,年内至少有三家商业公司能以某种方式给予Hadoop支持.同时,包括Datameer在内的几家企业将发布配有 Hadoop组件的分析工具,这种工具能帮助企业开发自 己的应用程序.Cloudera和Tableau公司的产品清单里已经出现了Hadoop.新型RDBMS行业观察家们认为升级后的关系数据库治理系统就是大数据,这是无需争辩的.Olofson说：我认为它满足更快
8、,更大,更廉价这三个衡量标准.比方天睿资讯公司的系统就是个例子,它比以前更廉价,而且自身也是一个可扩展的聚合系统,他补充道.但其他人却不这么认为.通常使用RDBMS和标准BI工具进行的一般性处理其实不能算是大数据,高德纳公司数据治理分析师 Marcus Colli ns说.这种处理很早之前就有 了.那么,谁在真正使用大数据呢一年前,大数据技术的主要用户还都是像 们希望借此技术分析点击流数据.但今天,Facebook和雅虎这样的大型互联网企业,它 这项技术的使用已经不仅限于这些大型网络公司了,它正在走进任何你能想到的存有大量数据的公司, Coll ins说.银行,公共事业单位,智能社区一都已搭上
9、了大数据这趟列车.虽然大数据的某些技术还不成熟, 存在使用风险,但还是有一些人对它非常热衷, 由于 他们需要这些技术,比方建立由社会化媒体推动的网络效劳时就要用到其中的某些技术. 这 些试吃螃蟹的人对这些工程的开展做出了很大的奉献.同样地,大数据技术也已经对 Catalina公司产生了革命性的影响.这家位于佛罗里达圣彼得斯堡的公司有一个 2.5PB的大型客户忠诚度数据库, 里面存有1.9亿多家美国杂货店 多年来的购置历史记录.其中最大的一个单数据库里就有多达4250亿行数据,仅这一个数据库中,每天公司需要处理的数据就有6.25亿行.通过分析这些数据,Catalina帮助消费商品主要生产商和大型
10、连锁超市预测消费者可能 买什么,以及谁会对新产品感兴趣.我们想把技术应用于数据,而不是把数据丢给技术,Eric Williams ,Catalina执行副主席兼CIO说.现在已经有了能让 SAS这样的公司将它们的分析技术应用于数据库的技术 了,整个公司因此产生了很大的改变.我们过去一直在这么做,但受到了很大的限制,因此无法深入到我们想到的程度.因此我们只能使用自己研发的工具,但由于还很初级,所以它能完成的工作非常有限.大数据技术对我们而言真是及时雨啊,它改变了整个公司.除了在自己的专有系统中使用了一些开源软件之外,Catalina也在Netezza数据库平台中使用了 SAS分析法.一些公司正在
11、开发可通用于基于In tel的硬件的技术,这种技术可使硬件具备操作二级 和三级产品的水平,例如SAS分析法的计分法就可直接应用于运行数据库的Netezza软件, Williams说.能使用这项技术并将其直接作用于数据库意味着Catalina可以将数据开采方案的研发时间从数周缩减到大约几个小时.根据2021年10月美国银行主管大数据和分析法的前总经理Abhishek Mehta在HadoopWorld大会上的发言,大数据正在从根本上改变美国银行的营业模式.我觉得现在的Hadoop就像是20年前的Linux.我们都已经看到了 Linux对企业软件领域的开展作出的贡 献.软件行业被极大程度地分化了,
12、Hadoop将来也一样,讨论其是否会发生已经完全没有意义,目前的焦点在于它什么时候到来.除了能进行点击量和交易分析之外,Hadoop还可以让美国银行具备快速处理业务问题的水平. 现在,作为银行的一员,我已经可以想到欺骗行为消失的那天了, Mehta说.现在我已经可以建一个模型, 把过去五年里发生在个人身上的每一起诈骗案例都存进去,而不是只抽取几个样本建个模型, 发现了模型里没有的新案例时, 就重新建一次模型. 这样的日 子已经过去了. 公共事业行业也正在意识到指尖敲击之下产生的巨大数据量,以及这些数据会带来的价值.一家美国中西部的公共事业单位已经在使用Hadoop分析智能仪表收集的录入信息了,
13、以前这些智能仪表主要被用来作记账自动化, 但也能收集关于线路安培数的波动信息.如果你收集到这方面的信息后对其进行分析,你会发现某个地方的转换器将会出现故障,从而能提前采取应对举措. Olofson说.或者如果发生了供电中断,他们会在用户打 询问前及时发现情况并采取行动.沿着这个思路,他还看到公共事业单位使用大数据将带来的其他好处一通过监控和检测电网以及对电网进行微调来改善客户效劳质量,减少运行本钱-但如此一来可能需要对老化的根底设计进行有效升级.品牌营销商们正在用 Hadoop对社会化媒体作情感分析实验.现在越来越多的效劳供给商也开始使用Hadoop,帮自己的客户筛选 Twitter用户们正热
14、衷于谈论的产品,以及对这些产品有怎样的想法.继续保持谨慎大数据技术开展很快.目前正在使用该技术的公司有一大批技术上格外出众的IT员工,能对技术的进步并根据公司要求做出适当调整.如果你还没有水平这么做,那就去找一家效劳供给商来合作吧-比方找一家云效劳公司-或者再等一等,等到大数据开展到一定程度就有大量成熟的软件产品和效劳了. Olofson建议说.到时候至少有些东西是你的员工可以理解的了.毫无疑问,数据读取方式已经发生了根本性地转变.但分析师们认为大数据技术不会彻底取代现在的数据库和数据读取工具.现在的数据处理唯一做的就是建立相对复杂的模型,里面没有太多的数据.高德纳公司的Colli ns说.而
15、如今的大数据会给你大量的数据-所以你应该不再需要那么复杂的模型 了.这可能意味着数据处理模式已经完成了升级.我的观点是数据库市场事实上将因此得到扩展, Olofson说.他们会使用像MapReduce这样的技术,不管是通过Hadoop或是其它的广告宣传,来生成一些有趣的商业智能数据,这些数据在以前是根本无法得到的.然后,为了再次使用这些数据并追踪历史模型,他们将把它们存入数据库并真正扩大它的使用范围.是否具备扩展水平是一个挑战,Coll ins说,另一个挑战是还没有成形的结构模型来利用该项技术.我们还在一边学习一边摸索.他说,随着软件包的引入,附带在软件包里的某些工具正在导致技术风险的扩散,但这项技术主要还是一个编程接口-这对于商务智能而言是一种倒退.比方,Coll ins说“Hadoop是一个技术含量很高的系统,商务智能的开展将其推向了普通企业,进入了桌面电脑之中, 并拥有一个非常友好的界面.我们已经让Hadoop退了一步
