《大数据与云将结合》由会员分享，可在线阅读，更多相关《大数据与云将结合（10页珍藏版）》请在金锄头文库上搜索。
1、大数据与云将结合2014年，云计算市场迎来了快速发展的一年，在这一年，我们也看到了云计算项目在各个领域的落地。走过走过硕果累累的2014，喜迎豪情万丈的2015，在今年的开始，我们不妨来畅谈一下2015年云计算市场的一些发展趋势。趋势一：云计算无处不在2014年，我们已经见到了云计算快速发展之趋势，随着2015年的发展，云计算将已更加快速的趋势进入每个行业。云将会触及到我们每个人的生活的方方面面，并且刺激出令人兴奋的创新。云将关系到每个人的生活、工作等等。趋势二：大数据与云将结合云计算快速发展的同时，大数据行业也迎来了井喷的发展，但面对大数据快速增加的存储需求，怎样才能解决这个难题呢，云无疑是
2、大数据最好的解决平台，首先，云计算能够提供灵活的扩展空间，同时，云计算还能够提供强大的计算能力，帮助企业发掘数据价值。趋势三：云分析将发挥优势大数据与云的结婚，在存储方面已经实现，但是在分析方面，在2015年将可能带来可喜的变化，利用云计算，可以帮助企业分析数据的意义，发掘商业的价值，云分析几乎影响着每位消费者和每个商业领域。无论你是个人还是企业，都将会被云分析所影响。趋势四：云将实现自助分析过去企业内部的IT分析系统处于旧式IT的最顶点：在专用硬件上运行一个集中式数据仓库。在现代企业中，这种陈旧的方式是不能接受的。企业业务部门需要变得更加敏捷、更快速地响应业务需求，并开发客户真正需要的产品方
3、面，数据分析将发挥着至关重要的作用。但这种集中式、不够灵活的旧式数据仓库模式往往使企业用户陷入困境。而基于云平台的数据分析完全改变了这种情况。业务部门现在借助云服务的资源，在云中迅速创建自己的数据仓库，并可根据其需求和预算选择数据仓库的规模和速度。可以是一个在白天运行、拥有2个节点的小型数据仓库，也可以是一个仅在星期四下午运行几个小时、拥有1000个节点的大型数据仓库，或是一个在夜间运行，以在第二天向工作人员提供所需数据的数据仓库。趋势五：云计算让世界变得智能化。近来，人们更多的去谈论智能化这个词，人们意识到未来一切都可以变得“智能化“ 智能手表、智能衣服、智能电视、智能家居和智能汽车。并且绝
4、大多数的智能设备的软件都是在云端运行的。无论是家里的温控器、手腕上的活动跟踪器，还是漂亮的超高清电视上的智能电影推荐，它们都由在云上运行的分析引擎驱动。由于这些智能产品的“智能“存在于云中，这也催生了新一代设备。实现了路灯照明的智能化的飞利浦CityTouch就是一个很好的例子。趋势六：云分析将改善人们生活云分析能够利用城市环境信息来改善世界各地城市居民的生活条件。芝加哥正在进行的工作就是一个很好的例子。芝加哥是首批在全市范围内安装传感器来永久测量空气质量、光强度、音量、热量、降水、风和交通的城市之一。如此设计将大大提升人们的生活质量。趋势七：云将实现工业物联网。当我们想到物联网（IoT）时，
5、我们通常重点关注物联网对消费者而言意味着什么。但在2015年，我们将见证一个不同的物联网的崛起工业物联网。工业机械将与互联网连接，把数据传输到云中，以获得有关使用情况的洞察、提高效率，避免停机。综上，在未来云计算市场上，越来越多的东西将会受到云的影响大数据与云计算云计算和大数据是一个硬币的两面大数据正在引发全球范围内深刻的技术和商业变革如同云计算的出现，大数据也不是一个突然而至的新概念。“云计算和大数据是一个硬币的两面，云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用。”张亚勤说。云计算是大数据成长的驱动力，而另一方面，由于数据越来越多、越来越复杂、越来越实时，这就更加需要云计算去处
6、理，所以二者之间是相辅相成的。 30年前，存储1TB也就是约1000GB数据的成本大约是16亿美元，如今存储到云上只需不到100美元但存储下来的数据，如果不以云计算进行挖掘和分析，就只是僵死的数据，没有太大价值。 目前，云计算已经普及并成为IT行业主流技术，其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。个人用户将文档、照片、视频、游戏存档记录上传至“云”中永久保存，企业客户根据自身需求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的IT资源与服务，这些都已不是新鲜事。可以说，云是一棵挂满了大数据的苹果树。大数据的出现，正在
7、引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。“在技术领域，以往更多是依靠模型的方法，现在我们可以借用规模庞大的数据，用基于统计的方法，有望使语音识别、机器翻译这些技术领域在大数据时代取得新的进展。”张亚勤说。在搜索引擎和在线广告中发挥重要作用的机器学习，被认为是大数据发挥真正价值的领域在海量的数据中统计分析出人的行为、习惯等方式，计算机可以更好地学习模拟人类智能。随着包括语音、视觉、手势和多点触控等在内的自然用户界面越来越普及，计算系统正在具备与人类相仿的感知能力，其看见、听懂和理解人类用户的能力不断提高。这种计算系统不断增强的感知能力，与大数
8、据以及机器学习领域的进展相结合，已使得目前的计算系统开始能够理解人类用户的意图和语境。“这使得计算机能够真正帮助我们，甚至代表我们去工作”。在商业模式上，张亚勤认为，对商业竞争的参与者来说，大数据意味着激动人心的业务与服务创新机会。零售连锁企业、电商业巨头都已在大数据挖掘与营销创新方面有着很多的成功案例，它们都是商业嗅觉极其敏锐、敢于投资未来的公司，也因此获得了丰厚的回报。 IT产业链分工、主导权也因为大数据产生了巨大影响。以往，移动运营商和互联网服务运营商等拥有着大量的用户行为习惯的各种数据，在IT产业链中具有举足轻重的地位。而在大数据时代，移动运营商如果不能挖掘出数据的价值，可能彻彻底底被
9、管道化。运营商和更懂用户需求的第三方开发者互利共赢的模式，已取得一定共识。云计算与大数据的关系？本质上，云计算与大数据的关系是静与动的关系；云计算强调的是计算，这是动的概念；而数据则是计算的对象，是静的概念。如果结合实际的应用，前者强调的是计算能力，或者看重的存储能力；但是这样说，并不意味着两个概念就如此泾渭分明。大数据需要处理大数据的能力（数据获取、清洁、转换、统计等能力），其实就是强大的计算能力；另一方面，云计算的动也是相对而言，比如基础设施即服务中的存储设备提供的主要是数据存储能力，所以可谓是动中有静。 如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！ 云计算能为大
10、数据带来哪些变化呢？ 首先云计算为大数据提供了可以弹性扩展,相对便宜的存储空间和计算资源，使得中小企业也可以像亚马逊一样通过云计算来完成大数据分析。 其次，云计算IT资源庞大，分布较为广泛，是异构系统较多的企业及时准确处理数据的有力方式，甚至是唯一方式。 当然大数据要走向云计算还有赖于数据通信带宽的提高和云资源的建设，需要确保原始数据能迁移到云环境以及资源池可以随需弹性扩展。 数据分析集逐步扩大，企业级数据仓库将成为主流，未来还将逐步纳入行业数据，政府公开数据等多来源数据。当人们从大数据分析中尝到甜头后，数据分析集就会逐步扩大。目前大部分的企业所分析的数据量一般以TB为单位，按照目前数据的发展
11、速度，很快将会进入PB时代。特别是目前在100500TB和500+TB范围的分析数据集的数量呈3倍或4倍的增长。 随着数据分析集的扩大，以前部门层级的数据集市将不能满足大数据分析的需求，他们将成为企业及数据库（EDW）的一个子集。根据TDWI的调查，如今大概有2/3的用户已经在使用企业级数据仓库，未来这一比例将会更高。传统分析数据库可以正常持续，但是会有一些变化，一方面，数据集市和操作性数据存储（ODS）的数量会减少，另一方面，传统的数据库厂商会提升他们产品的数据容量，细目数据和数据类型，以满足大数据分析的需要。大数据技术与云计算的发展密切相关大数据技术是云计算技术的延伸。大数据技术涵盖了从数
12、据的海量存储、处理到应用多方面的技术，包括海量分布式文件系统、并行计算框架、NoSQL数据库、实时流数据处理以及智能分析技术如模式识别、自然语言理解、应用知识库等等。对电信运营商而言，在当前智能手机、智能设备快速增长、移动互联网流量迅猛增加的情况下，大数据技术可以为运营商带来新的机会。大数据在运营商中的应用可以涵盖多个方面，包括企业管理分析如战略分析、竞争分析，运营分析如用户分析、业务分析、流量经营分析，网络管理维护优化如网络信令监测、网络运行质量分析，营销分析如精准营销、个性化推荐等。大数据逐步“云”化纵观历史，过去的数据中心无论应用层次还是规模大小，都仅仅是停留在过去有限的基础架构之上，采
13、用的是传统精简指令集计算机和传统大型机，各个基础架构之间都相互孤立，没有形成一个统一的有机整体。在过去的数据中心里面， 各种资源都没有得到有效充分地利用。而且传统数据中心资源配置和部署大多采用人工方式，没有相应的平台支持，使大量人力资源耗费在繁重的重复性工作上，缺少自助服务和自动部署能力，既耗费时间和成本，又严重影响工作效率。而当今越来越流行的云计算、虚拟化和云存储等新IT模式的出现，又再一次说明了过去那种孤立、缺乏有机整合的数据中心资源并没有得到有效利用，并不能满足当前多样、高效和海量的业务应用需求。在云计算时代背景下，数据中心需要向集中大规模共享平台推进，并且，数据中心要能实现实时动态扩容
14、，实现自助和自动部署服务。从中长期来看，数据中心需要逐渐过渡到“云基础架构为主流企业所采用，专有架构为关键应用所采用”阶段，并最终实现“强壮的云架构为所有负载所采用”，无论大型机还是x86都融入到云端，实现软硬件资源的高度整合。数据中心逐步过渡到“云”，这既包括私有云又包括公有云。私有云，就是对企业现有的数据中心进行改造和架构调整 ，通过云计算对资源进行自动调度和分配，实现一个自动部署、自动管理和自动运维的数据中心架构。而公有云则是由 服务商建立IT基础架构，并向外部用户提供商业服务，而用户可以在不拥有云计算资源的条件下通过网络访问这些服务。与私有云相比，公有云的所有应用程序、服务和数据都存放在云端，用户数据也并不存放在企业内部数据中心。正所谓“梅虽逊雪三分白，雪却输梅一段香”，相比之下，私有云会比公有云在数据安全性方面有更好的表现，但公有云却会比私有云有更“强壮的云架构”。因此，从数据中心演进的角度来看，讨论何种“云”并无实质意义，我们更应该重视的是数据中心在未来发展中所扮演的角色和出现的历史性变革。
