《混合蛙跳算法应用与仿真研究》由会员分享，可在线阅读，更多相关《混合蛙跳算法应用与仿真研究（32页珍藏版）》请在金锄头文库上搜索。
1、大数据的概念, 计算及产业未来,潘正祥 福建工程学院 信息科学与工程学院 2015.10.23,报告提纲,互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,“大数据”的诞生： 进入21世纪，数据信息大发展，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。产生了“大数据”的概念。,特种行业：航天、航空？,大数据的数据量,地球上至今总共的数据量： 2006 年：个人用户才刚迈进TB时代； 全球一共新产生了约180EB的数据； 2
2、011 年：数字达到了1.8ZB。 据预测： 2020 年：数据总量将会增长44 倍； 达到35.2ZB（1ZB=10 亿TB）。,1PB （拍字节） = 250字节 1EB （艾字节） = 260字节 1ZB （泽字节） = 270字节,数据量巨大 2020 年：数据总量将会增长44 倍；达到35.2ZB（1ZB=10 亿TB）。,大数据的4V特征,大数据的构成,大数据 = 海量 + 复杂类型,海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。,海量交互数据： 源于Fac
3、ebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。,海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。,技术领域的挑战,1、数据库技术 传统的数据库部署不能处理数TB 级别的数据，急速膨胀的数据体量即将超越传统数据库的管理能力。 如何构建全球级的分布式数据库，可
4、以扩展到数百万的机器，数已百计的数据中心，上万亿的行数据。 经典数据库技术并没有考虑数据的多类别（variety），在设计的一开始是没有考虑非结构化数据的。 2、实时性的技术挑战： 大的数据量对目前的处理器的实时性要求； 3、数据分析技术 目前的分析技术不能适用于大数据量的分析技术；,分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 数据采集存储技术： 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等
5、 计算结果展现：云计算；标签云；关系图等,相关技术,通过大数据计算，从大数据中提取有意义的信息，是大数据应用的终极目标。,报告提纲,大数据计算面临的主要技术问题：,机器学习,分布式文件系统,海量数据存储,大规模计算,智能分析,大数据计算架构-模型,分布式并行计算系统,数据挖掘,语义搜索,大数据计算的支持技术：云计算,云计算被认为是大数据计算的最有前途的技术； 数据是资产，云为数据资产提供存储、访问和计算。 当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析。,举例：阿里巴巴,淘宝主站（2011年）： 30亿店铺、宝贝浏览 10亿
6、计的在线宝贝数 千万量级交易笔数,数据产品（2011年） ： 50G统计汇总结果 千万量级数据查询请求 平均20.8ms的响应时间,数据来源：阿里相关技术介绍ppt,举例：阿里技术架构总览,数据来源：阿里相关技术介绍ppt,举例：百度,数据来源： 2011年百度云计算总工程师林仕鼎讲座百度云计算总体介绍,数据来源： 2012.10 百度杨毅讲座百度的下一代计算系统,举例：百度技术架构,数据来源： 2011年百度云计算总工程师林仕鼎讲座百度云计算总体介绍,17,EMC Green-plum,举例： 中信银行信用卡中心,18,SAP HANA,举例： 农夫山泉,19,IBM Info-Sphere
7、,举例： IBM“数字黄河”,报告提纲,重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程，改造成智慧工程； 在安防领域，应用大数据技术，提高应急处置能力和安全防范能力； 在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门； 解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析； 政府投入将形成示范效应，大大推动大数据的发展。,政府的重视,国外，美国奥巴马政府在白宫网站发布大数据研究和发展倡议，提出“通过收集、处理庞大而复杂的数据信息，
8、从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式” ； 国内，中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效，随着智慧城市的建设，社会将步入“大数据”时代。”,数据的再利用： 由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。,大数据价值链的3大构成：数据本身、技
9、能与思维 其中三者兼具的又谷歌公司，谷歌在刚开始收集数据的时候就已经有多次使用数据的想法。比方说，它的街景采集车手机全球定位系统数据不光是为了创建谷歌地图，也是为了制成全自动汽车以及谷歌眼镜等与实景交汇的产品。,大数据时代,传统行业最终都会转变为大数据行业，无论是金融服务也、医药还是制造业。,应用企业的重视,23,应用可能性,电信,政府（公共事业）,交通,金融,医疗,教育,能源（电力/石油）,纵轴契合度： 表示该用户的IT应用特点与大数据特性的契合程度； 横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性； 注： 该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值
10、,High,Mid,Low,Low,Mid,High,优先关注行业用户,应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。,值得关注行业用户 应有特点与大数据的契合度及应用可能性综合较高,适当关注行业用户 两个维度暂时都不具备优势，可适当给予关注,互联网（电子商务）,契合度,流通,零售,制造,产业分布,24,互联网行业拥抱大数据的关键因素,互联网行业对数据实时分析要求较高，例如广告监测、B2C业务，往往要求在数秒内返回上亿行数据的分析，从而达到不影响用户体验和快速准确营销的目的。 目前互联网企业面对大数据，会普遍感觉到实时分析能力差、海量数据处理效率低、缺少分析方法、分析
11、软件能力差等问题。,互联网行业大数据分析面临的主要问题,互联网大数据技术的应用，会首先带动社会化媒体、电子商务的快速发展，其他的互联网分支也会紧追其后，整个行业在大数据的推动下将会蓬勃发展。,互联网行业,25,医疗行业产生的数据量主要来自于PACS影像、B超、病理分析等业务所产生的非结构化数据。人体不同部位、不同专科影像的数据文件大小不一，PACS网络存储和传输要采取不同策略。面对大数据，医疗行业遇到前所未有的挑战和机遇。 医疗行业大数据应用场景非常多，右图仅以临床操作和研发为例，展示医疗行业大数据应用场景。 对于公共卫生部门，可以通过过覆盖全国的患者电子病历数据库，快速检测传染病，进行全面的
12、疫情监测，并通过集成疾病监测和响应程序，快速进行响应。,医疗行业,26,能源行业,能源勘探开发数据的类型众多，不同类型数据包含的信息各具特点，综合各种数据所包含的信息才能得出地下真实的地质状况。,能源行业面临的大数据问题,能源行业企业对大数据产品和解决方案的需求集中体现在：可扩展存储、高带宽、可处理不同格式数据的分析方案。,27,1,2011年-2016年中国大数据市场规模,2,2012年各行业大数据市场规模,计世资讯预测，2012年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。 由于各个行业都存在大数据应用需求，潜在市场空间非常可观。,计世资讯认为，2011年是中
13、国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。 计世资讯预测，2012年中国大数据市场规模将达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。,企业大数据应用需求分析,28,1,3,各行业企业对大数据的关注程度,目前企业的数据系统架构存在问题,2,目前企业数据分析处理面临的问题,29,2,1,互联网行业大数据主要应用在社交和网购方面,结合位置数据、消费数据进行实时营销信息推送是电信行业大数据应用主要场景,3,金融行业大数据应用场景主要集中在投资方面,4,制造行业具有多环节、多地域特色，各个环节的优化是制造行业最关注的大数据应用场景,30,1. 大数据对当前数据库技术和计算技术提出技术挑战； 2. 大数据计算与分析当前需求紧迫，产业未来前景广阔； 3. 云计算技术是解决大数据计算的最有前途的技术； 4. 中国的大数据产业前景广阔，涉及到各个行业，有效解决大数据计算的问题，对于拓展行业应用具有重要意义。,谢谢各位专家！,知识回顾Knowledge Review,
