《阿里巴巴双十一成功背后的生态聚变课程论文》由会员分享，可在线阅读，更多相关《阿里巴巴双十一成功背后的生态聚变课程论文（12页珍藏版）》请在金锄头文库上搜索。
1、阿里巴巴双十一背后的生态聚变 -云服务+大数据=571亿RMB摘要：近年来，大数据和云计算已经成为社会各界关注的热点话题。秉承“按需服务”理念的“云计算（Cloud computing）”正高速发展，“数据即资源”的“大数据（big data）”时代已经来临1。大数据利用对数据处理的实时性、有效性提出了更高要求，需要根据大数据特点对传统的常规数据处理技术进行技术变革，形成适用于大数据收集、存储、管理、处理、分析、共享和可视化的技术。如何更好地管理和利用大数据已经成为普遍关注的话题。大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生。引言：一个人的“
2、11.11”是光棍节，一群人的“11.11”是双十一购物狂欢节。自从阿里巴巴与数万个商家、数亿的消费者一起，将“11.11”从网民戏称的光棍节，变为实实在在的全民购物狂欢，成为每一年电子商务交易的最高峰，阿里就开始了全速狂飙。2009年，只有27个品牌商家参与，双十一当天成交金额达到5200万元，天猫那会还叫淘宝商城。2013年，超过2万个品牌商家参与天猫双十一，当天成交金额达到362亿元，订单量高达1.67亿笔。这一成交额，占到了当天中国社会消费零售总额的一半以上。而2014年当所有人被震撼并津津乐道于双十一的交易规模时，很少人意识到，在经过五年双十一的历练之后，阿里巴巴的生态系统发生了令人
3、惊叹的质变。因为每一年双十一的天量成交，都是对整个供应链体系、物流配送、技术支撑、支付体系的全面考验。经受住考验并不断进化的阿里巴巴生态系统，聚合了更多的参与者，保持生态多样性的同时，也在改变着现有的商业形态与格局。技术能力之变云计算走向主流 服务全球双十一交易量爆发式增长的背后，阿里巴巴的云计算能力提供了极其重要的支撑。2013年8月，阿里云正式运营服务器规模达到5000台的“飞天”集群，成为中国第一个独立研发的大规模通用计算平台。2013年双十一当天的交易额达到362亿元，架构在阿里云计算平台的聚石塔，处理了75%的订单量，无一故障。今年，这一比例预计达到95%。同样架构在阿里云计算平台的
4、余额宝，在2013年双十一也表现抢眼，当天成功支付1679万笔，平均支付时间5秒，仅为网银支付时间的1/12。2014年7月，阿里云计算平台的开放数据处理服务(ODPS)正式开放商用。阿里云ODPS可在6小时内处理100PB数据，相当于1亿部高清电影。此前，全球掌握这种能力的公司屈指可数，如Google、亚马逊(332.57, 2.03, 0.61%)等。除此之外，阿里巴巴集团今年还大范围扩展在海外的IT基础设施。为保障海外买家和卖家的用户访问体验，阿里技术团队进行了一系列部署：今年6月新交付一个大型数据中心，用于保障海外业务；海外服务器数量翻倍，国际专线网络带宽提升10倍；海外CDN网络节点
5、和年初相比增加了一倍，欧美覆盖范围更加全面，新增韩国、印度、澳门等亚洲节点，覆盖亚洲、欧洲、非洲、南美洲、北美洲、大洋洲六大洲；目前，海外CDN节点带宽能力已经达到数百G，可以充分保障海外用户访问速度和体验。2013年11月11日凌晨，一分钟内有1370万人涌入天猫，相当于大半个北京城的人都出来逛街。其中，34万“剁手党”在这一分钟内抢到了心仪的宝贝，成交1.17亿元。今年的双十一购物狂欢节将拓展至全球范围，面对汹涌而来的流量，一旦技术保障方面“掉链子”，整个电商生态圈将遭受数以十亿计的损失。在历经五年双十一的考验之后，阿里巴巴技术团队已具备能力，将黑客攻击、局部爆发性流量增长、机房空调故障等
6、种种“不确定因素”变为可预估的风险，并将2013年2000多套技术应急方案缩减至500套以内。2014年，阿里巴巴技术团队已经为双十一的流量峰值进行了8次压力测试。基于在云计算领域长期的技术积累，阿里巴巴技术团队还在今年双十一之前，攻克了两项世界级的创新难题“服务器资源弹性部署”和“数据中心异地双活”。服务器资源弹性部署，可以应对不可预知的业务爆发。一旦有超出预期的业务热点出现，系统可自动调用其他资源使用不足的服务器，实现“分钟级无缝切换”，在不增加硬件部署的情况下应对更复杂的流量变化。“数据中心异地双活”，则可以帮助阿里巴巴应对极端的自然灾害，即使杭州的数据中心“全军覆没”，双11仍然能够顺
7、利运转。这项技术可实现跨省的两地数据中心像一个数据中心一样工作，同时支持双11的所有应用。技术专家表示，“两地数据中心的切换，能在不中断业务的情况下完成，这就像为正在飞行的飞机更换引擎，不仅不影响飞行，飞机上的乘客也不会有感觉。”而超大体量电商网站异地双活，目前全球只有阿里巴巴已完成部署，包括亚马逊在内的其他电商巨头亦未实现。云计算的概念由于云计算是由不同的企业和研究机构同步推进的技术，所以关于云计算的定义有很多，至今并没有一个公认的定义和标准。结合国际 20 位专家的定义，Ian Foster 定义云计算为一个由规模经济驱动的大型分布式计算模型，在该模型中，抽象的、虚拟化的、动态可伸缩的并可
8、管理的计算资源、存储资源、平台和服务构成了一个资源池。资源池中的资源通过互联网，按需提供给池外的用户。文献归纳的云计算定义为：云是由易于使用的虚拟资源构成的一个巨大资源池，包括硬件资源、部署平台以及相应的服务。根据不同的负载，这些资源可以动态地重新配置，以达到一个最理想的资源使用状态。资源池中的资源是按需付费的，服务提供商通过服务等级协议（Service Level Agreement，SLA）保证用户的服务质量。综合其他资料，可以将云计算归纳为：云计算以虚拟化技术为核心，虚拟化技术将共享的硬件和软件资源抽象化成一个统一的资源池，通过互联网这个载体，向用户按需地提供所需的资源。其特点在于多用户
9、共享、大数据处理与大数据存储8。云计算严格地来说并不是一种真正新的技术，而是并行计算（Parallel Computing，PC）等计算模式的进一步演进。由于云计算的主要标准和方案是由企业推进的，也可以说云计算是分布式计算模型的商业实现。何谓大数据人、机、物三元世界的高度融合引发了数据规模的爆炸式增长和数据模式的高度复杂化，世界已进入网络化的大数据（BigData）时代。以数据为中心的传统学科（如基因组学、蛋白组学，天体物理学和脑科学等）的研究产生了越来越多的数据。例如，用电子显微镜重建大脑中的突触网络，1立方毫米大脑的图像数据就超过1PB。但近年来大数据的飙升主要还是来自日常生活，特别是互联
10、网公司的服务。据著名咨询公司IDC的统计，2011年全球被创建和复制的数据总量为1.8ZB（10的21次方），其中75%来自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200PB）。Google 公司通过大规模集群和MapReduce 软件，每月处理的数据量超过400PB；百度每天大约要处理几十 PB 数据；Facebook 注册用户超过 10亿，每月上传的照片超过10亿张，每天生成300TB 以上的日志数据；淘宝网会员超过3.7 亿，在线商品超过 8.8 亿，每天交易数千万笔，产生约20TB数据。传感网和物联网的蓬勃发展是大数据的又一推动力，各个城市的视频监
11、控每时每刻都在采集巨量的流媒体数据。工业设备的监控也是大数据的重要来源。例如，劳斯莱斯公司对全世界数以万计的飞机引擎进行实时监控，每年传送PB数量级的数据5。一般意义上，大数据是指无法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。大数据的特点可以总结为4个V，即Volume（体量浩大）、Vari-ety（模态繁多）、Velocity（生成快速）和 Value（价值巨大但密度很低）。首先，数据集合的规模不断扩大，已从GB到TB再到PB级，甚至开始以EB和ZB 来计数。IDC 的研究报告称，未来 10 年全球大数据将增加50倍，管理数据仓库的服务器数量将
12、增加10倍。其次，大数据类型繁多，包括结构化数据、半结构化数据和非结构化数据。现代互联网应用呈现出非结构化数据大幅增长的特点，至2012 年末，非结构化数据占有比例将达到整个数据量的75%以上。同时，由于数据显性或隐性的网络化存在，使得数据之间的复杂关联无所不在。再次，大数据往往以数据流的形式动态、快速地产生，具有很强的时效性，用户只有把握好对数据流的掌控才能有效利用这些数据。另外，数据自身的状态与价值也往往随时空变化而发生演变，数据的涌现特征明显。最后，虽然数据的价值巨大，但是基于传统思维与技术，人们在实际环境中往往面临信息泛滥而知识匮乏的窘态，大数据的价值利用密度低。维克托尔耶舍恩伯格明确
13、指出，大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。云计算的特点和优势云计算作为分布式计算的优势：(1). 分布式系统的最大优势就是因为其具有比集中式系统更好的性能价格比，用户花少量的钱就能获得高效能计算。由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势。(2). 多数应用本
14、身就是分布式的。如工业企业应用，管理部门和现场不在同一个地方的应用。(3). 虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。(4). 高可靠性。冗余不仅是生物进化的必要条件，而且也是信息技术。现代分布式系统具有高度容错机制，控制核反应堆主要采用分布式来实现高可靠性。(5). 通用性。云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可
15、以同时支撑不同的应用运行。(6). 可扩展性。添置一台性能更高的大型机，或者添置一台性能相同的大型机的费用都比添加几台 PC 的费用高得多。(7). 高度灵活性。能够兼容不同硬件厂商的产品，兼容低配置机器和外设而获得高性能计算。云计算在存储领域的发展趋势和优势：(1). 用户不必为文件存储硬件投入任何前期的费用。(2). 主机服务提供商会维护用户文件服务器的安全和更新问题。 大数据与云计算的关系近几年来，云计算受到学术界和工业界的热捧，随后，大数据横空出世，更是炙手可热。那么，大数据和云计算之间是什么关系呢？从整体上看，大数据与云计算是相辅相成的大数据着眼于“数据”，关注实际业务，提供数据采集
16、分析挖掘，看重的是信息积淀，即数据存储能力。云计算着眼于“计算”，关注IT解决方案，提供IT基础架构，看重的是计算能力，即数据处理能力。没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。从技术上看，大数据根植于云计算云计算关键技术中的海量数据存储技术、海量数据管理技术、MapReduce编程模型，都是大数据技术的基础（如Error! Reference source not found.所示）。图 1 大数据的关键技术大数据技术与云计算有相同，也有差异（如Error! Reference source not found.所示
