大数据、云计算与移动应用

《大数据、云计算与移动应用》由会员分享，可在线阅读，更多相关《大数据、云计算与移动应用（33页珍藏版）》请在金锄头文库上搜索。

1、大数据、云计算 与移动应用,刘 鹏 专注云计算 中国云计算 中国大数据 ,第1讲 大数据现象与机遇,Big Data & Cloud Computing,2,大数据现象与挑战,3,大数据成为全球新热点,数据来源：百度搜索量统计,大数据现象,大数据产生原因,全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年 每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年 每天亚马逊上将产生 6.3 百万笔订单 每个月网民在F

2、acebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB Google 上每天需要处理24PB 的数据,在web 2.0的时代，人们从信息的被动接受者变成了主动创造者,Big Data时代到来,Web 2.0时代,新摩尔定律,全球数据总量每18个月翻番。 大数据已经成为一种自然资源 大数据不被利用就是成本,未来增长不可限量,来源：IDC数字宇宙研究报告，2011.11,据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到35ZB （35,000,000PB），为2009年（0.8ZB）的44倍,数据利用比例直降,计算速度越来越快，企

3、业却越来越笨。 今天很多企业能弄懂7%的企业数据，但这个数字很快会下降到4%，然后继续螺旋式下降。,IBM实体分析首席科学家Jeff Jonas,数据使用率提升10%的影响,预测2020年，大数据应用市场规模将达到近2600 亿美元,大数据成为全球新的经济增长点,各国政府高度重视,美国：奥巴马政府3.29宣布“Big Data Research and Development Initiative” 将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论,中国：工信部物联网十二五规划 信息处理技术作为4 项关键技术创新工程之一被提

4、出 包括海量数据存储、数据挖掘等,IT盛宴,大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合,什么是Big Data,数据量巨大 全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量,大数据的4V特征,大数据 = 海量数据 + 复杂类型的数据,海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。,大数据包括： 交易数据和交互数据集在内的所有数据集,海量交互数据： 源于Facebook、Twitte

5、r、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。,海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。,大数据的构成,大数据涉及的关键技术,需求,技术描述,关键技术,海量数据分布式处理,Hadoop 生态系统,针对大量数据进行分布式处理的系统框架,实时数据处理,Streaming Da

6、ta,流计算引擎,非结构化数据处理,文本处理技术；自然语言理解； 多媒体处理技术,文本内容分词与分析；图像、音视频分析,可视化交互界面,通过交互式可视化界面辅助用户进行分析,交互式可视化探索分析技术,智能数据分析,大规模机器学习技术,计算机模拟人类学习行为，包括特征提取、图形生成等,保护隐私数据与信息个体的对应关系等安全技术,高效存储和管理大规模数据,数据存储备份技术、数据放置和调度技术、数据溯源,存储、放置、调度大规模的数据,数据隐私保护,数据隐私防范保护措施与数据安全技术,大数据采集处理,大数据分析,存储、组织、管理,大数据的技术领域-分布式领域,大数据的技术领域-数据分析与挖掘,相关工具

7、: SAS，R，Rhive/Rhadoop, Mahout，Xlib，OpenMPI,国外运营商利用大数据应用,按流量种类的固定收费，解除用户流量后顾之忧 培养用户使用数据业务习惯，增强用户粘性 针对预付费用户群，扩大流量收入 面向智能终端用户 面向低端、高度同质化竞争市场,西班牙电信：包月流量套餐定制（根据客户访问内容和SLA要求，提供不同费率套餐）,T-Mobile：应用大数据技术，降低客户流失率。 在多个IT系统中整合了大数据应用，对客户交易和互动数据进行综合分析，更准确地预测客户流失率。通过将社交媒体数据和CRM和计费系统中的交易数据进行综合分析，T-mobile在一个季度内将客户流失

8、率降低了50%。,中移动依托大云，试点经分,中国移动：历时多年打造大云平台,集团组织技术验证：基于大云平台，以经分为切入点，利用现有数据，探索大数据技术，已在河北等三省试点 应用探索：尝试利用大数据技术识别异常话单 产品线： 分析型PaaS产品，大数据处理的一个主要产品，包括Hadoop基础平台。 基于Hadoop的大数据仓库。 并行数据挖掘工具。 搜索引擎系统，基于中国移动“大云”平台，推出面向公众的搜索业务”盘古搜索”。,联通试点流量清单查询,中国联通：以“流量清单查询”探索大数据技术,平台：英特尔至强平台及“Hadoop开发版”大数据解决方案。 功能：客户服务人员提供客户上网记录的快速查

9、询服务，或为客户本人提供高效的异常大流量上网记录自助查询服务。 上线：完成北京、黑龙江、浙江、重庆试点，预计将会在今年10月份正式发布。,建设模式：联通的大数据平台是建立在数据大集中的基础之上，“我们现在在集团公司进行统一部署，各个省分仅仅是做数据的采集，按照业务实时性将数据传送到集团公司，由集团公司统一处理。 ”,互联网公司：阿里巴巴,阿里巴巴的企业愿景是要做分享数据的第一平台。,大数据时代“将阿里集团变成一家真正意义上的数据公司” 知道“你是谁，你想要什么” 阿里巴巴集团所积淀的商业数据，支付宝、淘宝、阿里金融、B2B的数据都会成为这个巨大的数据分享平台的一部分，将会获得深度发掘和应用。,

10、马云成功预测2008 年经济危机 “2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。” 通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。,人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。大数据时代,马云：大数据赋予我们洞察未来的能力

11、,禽流感和板蓝根,数据化运营,行业分析,大数据案例：阿里金融 推动中国银行业的变革 商家小额贷款 无抵押无担保 1秒钟贷款、24小时随借随还 信用支付 无准入门槛 基于数据模型自动计算额度,2010年6月阿里巴巴小额贷款股份有限公司成立，标志着阿里巴巴电子商务+金融服务商业模式的建立,致力于为全球所有人创造便捷的网上交易渠道,阿里国际业务，协助全球小企业通过电子商务拓展海外业务，国际业务用户数2940万，企业商铺数量250万,阿里小企业业务，主要经营服务中国小企业的电子商务平台，小企业注册用户数为5480万名，企业商铺数量为840万,C2C网上购物平台，旨在建立全面完善的电子商务生态系统，拥有

12、8亿多条产品信息和5亿名注册用户,中国平台式的B2C购物网站，,中国全面的品质团购网站,提供全面商品、商家、购物优惠信息的网上购物搜索引擎,先进的分布式云计算服务开发商，电子商务数据采集、海量电子商务数据快速处理，和定制化的电子商务数据服务,2005年10月收购中国雅虎，为阿里巴巴集团的全资子公司,中国主流的第三方网上支付平台，阿里巴巴的关联公司,阿里巴巴集团七大事业群,浙江阿里巴巴小额贷款股份有限公司,重庆阿里巴巴小额贷款股份有限公司,2010年6月8日成立，股东包括阿里巴巴（70%）、复星集团（10%）、银泰百货（10%）、万向集团（10%），是国内首家面向电子商务领域小微企业融资需求的小

13、额贷款公司,专注于小微企业的融资服务提供商,2011年6月成立，为阿里巴巴第二家小额贷款公司,阿里巴巴介入金融服务领域，核心优势是其拥有的庞大的客户资源和数据，并能基于云计算平台通过对客户信息的充分分析、挖掘，实现对客户信用水平和还款能力的准确、实时把控,商品供应商 （企业和个人）,商品购买者 （企业和个人）,资金流,资金流,云计算平台,信息流,交易 信息,信息流,网络数据模型,在线视频 调查模式,交叉检验技术 (辅以第三方验证),交易 信息,发放 贷款,信息流,监控客户现金流，如出现违约，可截断客户的现金流,各渠道信息和调研获得的客户信用记录、交易状况、投诉情况,海量的客户和交易数据赋予了阿

14、里巴巴掌握客户信息及其交易行为的强大的优势,阿里小贷公司建立了多层次微贷风险预警和管理体系，实现了贷款前、中、后三个环节的紧密结合，有效规避和防范了贷款风险,贷前,贷中,贷后,根据企业电子商务经营数据和第三方认证数据，辨析企业经营状况，反应企业偿债能力,通过支付宝及阿里云平台实时监控商户的交易状况和现金流，为风险预警提供信息输入,通过互联网监控企业经营动态和行为，可能影响正常履约的行为将被预警 贷后监控和网络店铺（账号）关停机制，提高客户违约成本，有效控制贷款风险,贷前、贷中、贷后的一体化数据采集和分析,线上行为：社区活动、在线交易、增值服务、产品发布、企业基本资料,线下行为：银行流水、经营模

15、式、财务状况、家庭情况等,阿里巴巴金融凭借强大的数据支持，充分发挥成本和效率的优势，使得微贷工厂化的运营模式日趋成熟，极具发展潜力,商户,阿里小贷,提出贷款 申请,审核客户 数据,视频远程 沟通,客户资信 评估,发放贷款,收到贷款,视频远程 沟通,数据支持,网络/线上操作,2012年上半年,累积投放贷款,170万笔,9000笔,每笔贷款,7000元,日贷款,累计提供贷款的企业数,13万,260亿,单日利息 收入,累计贷款 总额,全年利息 收入,100万,3.65亿,从提出申请，到商户收到贷款，整个过程全流程系统化、无纸化，最快只需三分钟,阿里巴巴集团2011年净利润,约89%的企业客户需要融资，融资需求在50万以下的企业约占55.3%，200万以下的约占87.3%，200万以下的融资需求是传统金融的短板 小额贷款经营利润率在30-50%之间,21亿,谢 谢！,更多信息：http:/,刘 鹏 中国云计算 中国大数据 ,