赛迪顾问-大数据生命周期全景与产业发展IADP模型研究

《赛迪顾问-大数据生命周期全景与产业发展IADP模型研究》由会员分享，可在线阅读，更多相关《赛迪顾问-大数据生命周期全景与产业发展IADP模型研究（18页珍藏版）》请在金锄头文库上搜索。

1、本期主题大数据产业链全景与产业发展 IADP 模型研究一、大数据产业链全景概览（一）大数据发展背景2012年3月，美国奥巴马政府启动 “大数据研究和发展计划” ，投入2亿多美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论。此举引发了世界各国政府对大数据的高度关注。那么， “大数据”究竟是IT 界又一概念炒作的噱头，还是产业发展的必然趋势？“大数据”是一种单纯的技术形态，还是人类社会全面进步的里程碑？事实上，大数据是数据开放和流动、IT技术进步和应用发展的必然结果。早在上个世纪六十年代，美国白宫预算局就提出了当时堪称革命性的创新计划成立一个

2、被称为“中央数据银行”的统一大型数据库，把政府部门所有的数据库连接、集中、整合起来，提高数据的准确性和一致性；八十年代，美国就有人提出了“大数据”概念，企业界、学术界不断对此进行探讨；1995年麻省理工学院教授尼葛洛庞帝出版了数字化生存 ，率先提出“后信息时代”的概念，指出海量数据正在流动、时空障碍将被打破，个人将在后信息时代获得更大的解放；自然杂志在2008 年9 月推出了名为 “大数据”的封面专栏，讲述了数据在数学、物理、生物、工程及社会经济等多学科扮演的愈加重要的角色；2009年，奥巴马就任美国总统，任命了美国历史上第一位首席信息官和首席技术官，并建立了统一的数据开放门户网站Data.g

3、ov ，全面开放政府拥有的公共数据，鼓励更多的创新型应用，提高政府的效率和效能；2011年，麦肯锡出版了大数据：创新、竞争和生产力的下一个新领域 ，产学研界对“大数据”的关注达到一个新的高度。图 1 大数据发展历程201 年 ， 全 球 数 据 量 跨 入 ZB 时 代IBM、 SAP、 EMC等 众 多 厂 商 和 机 构 发 布 “大 数 据 ”相 关 研 究 ， 市 场 进 入 理 念 推 广 阶 段 ， 商 业 模 式 尚 不 成 熟201年 3月 29日 ， 美 国 奥 巴 马 政 府 颁 布 大 数 据 的 研 究 和 发 展 计 划 201 年 全 球 数 据 量 已 经 达 到

4、 .8 ZB20 年 ， 全 球 数 据 量 预 计 达 到 惊 人 的 35.2ZB！生 态 环 境 完 善 ； 行 业 应 用 案 例 增 多 ； 用 户 认 可 程 度 高 ；基 于 大 数 据 应 用 的 业 务 创 新 加 快 ； 数 据 资 产 化 进 程 加 快 。5年 大 数 据 解 决 方 案 成 熟 ； 大 数 据 应 用 渗 透 社 会 各 行 业 ；数 据 驱 动 决 策 ； 信 息 社 会 智 能 化 程 度 大 幅 提 升 。16-年201年数据来源：赛迪顾问整理全球的数据总量正呈指数增长，过去三年间产生的数据量超过以往总和。2011年全球被创建和被复制的数据总量达

5、1.8ZB；预计2020 年全球电子设备存储的数据将增至 35.2ZB。大数据已经成为一种社会现象：它既是对既往IT技术发展至今的高度抽象和概况，同时抓住了IT 技术服务于人、数据蕴藏价值的本质。大数据之“大” ，不仅仅在于其容量之大虽然数据容量的爆炸的确给数据的采集、存储、维护、共享带来了具有研究意义的现象和挑战，但大数据之“大”更多的意义在于：人类可以处理、分析并使用的数据在大量增加，通过这些数据的处理、整合和分析，人类可以发现新知识、创造新价值，带来“大知识” 、“大科学” 、 “大利润”和“大发展” ，逐渐走向大众创新的“大社会”时代。图2 大数据的三维增长特性 数 据 的三 维 增长

6、速 度Velocity存 储 量Volume类 型Variety数据来源：赛迪顾问整理（二）大数据产业链全景概览因循数据的流动性和开放性，目前中国已初步形成了从数据产生到应用、继而产生新数据的环形产业链。从数据产生到应用，参与企业逐渐增多，数据价值逐级放大。图 3 大数据产业链数据来源：赛迪顾问 2012，111、数据产生和采集随着近年来社会各行业信息化发展的日臻成熟、社会化网络的兴起，以及云计算、移动互联网和物联网等新一代信息技术的广泛应用，数据内容、数据结构和数据采集手段变得日益多元。数据按其内容可大致划分为社会舆情数据、业务数据和环境资源数据这三类数据；三者之间存在一定的交叉和重叠。数据

7、按其产生和采集手段可划分为IT方式和非IT 方式。通过IT 手段生产和采集的主要有三种：交易数据、交互数据与传感数据。其中，交易数据来自于企业ERP系统、各种POS终端、以及电子支付系统等业务系统；交互数据主要来自于Web2.0技术的各类网络应用，应用硬件载体除传统网络终端，更多则是智能手机、平板电脑、车载终端等移动设备；传感数据则来自于各种物联网的“感知层”设备，如GPS 设备、RFID设备、视频监控设备等。图 4 数据产生来源和采集手段数据来源：赛迪顾问 2012，112、数据传输从理论上讲，数据在流转过程中的任何阶段都存在传输问题。目前数据传输主要通过通讯与网络传输或者光传输来实现。大数

8、据时代对数据传输软硬件技术和设备都提出了更高的要求：随时随地、高速、稳定、安全地传输各种大小的结构化数据或非结构化数据。如交通应急指挥就是体现以上要求的典型应用。图 5 数据传输技术和途径数 据 产 生 数 据 采 集 非 IT手 段 产 生 和 采 集人 口 普 查经 济 普 查问 卷 调 查现 场 采 访IT手 段 产 生 和 采 集交 易 数 据 交 互 数 据 传 感 数 据企 业 ERP系 统OS终 端电 子 支 付社 交 网 络门 户 网 站搜 索 引 擎Web2.0智 能 手 机平 板 电 脑车 载 终 端云 电 视传 感 器RFID二 维 码GPS/北 斗传 动 器视 频 监

9、控 设 备数 据 传 输光 传 输 通 讯 与 网 络 传 输光 纤 光 缆光 器 件光 接 入 设 备关 传 输 设 备2G/3/4NFCZigbeBluTthWiF/APIM2数据来源：赛迪顾问 2012，113、数据存储随着数据量急剧增加，许多 IT 厂商致力于研究存储方案，加速了存储技术的发展。并且非结构化数据增长速度远超过结构化数据；据预测，到 2020 年全球将有超过 80%的数据为非结构化数据。用户面临的问题是：如何安全有效存储这些数据？除了新增的数据量，如何做好既有数据的保护？多数用户都会进行数据备份，无形中数据量增长了数倍，那么数据容量的增长给使用者带来了非常大的压力。那么如

10、何提高存储空间的使用效率？如何降低需要存储的数据量？这些都是大数据时代用户时时要考虑的问题。应对存储容量的资源优化管理技术会成为关注热点，如重复数据删除（适用于结构化数据） 、自动精简配置和分层存储等技术，都是提高存储效率最重要、最有效的技术手段。如果不采用虚拟化技术，存储利用率只有 20%-30%；通过使用这些技术，利用率将提高 80%，可利用容量将增加数倍。结合重复删除技术，备份数据量和带宽资源需求可以减少 90%以上。此外，云存储作为非常有效的资源补充，能够有效提高使用者的 IT 资源利用率，将会被越来越多的企业级和个人消费者所采用。图 6 数据存储的软硬件基础设施数 据 存 储云 基

11、础 设 施元 器 件 数 据 中 心 设 备 机 房 附 属 设 备芯 片面 板服 务 器存 储网 络 设 备集 装 箱 数 据 中心 监 控机 柜空 调UPS云 计 算 中 心（ 资 源 池 ） 云 基 础 软 件操 作 系 统 中 间 件 信 息 安 全 存 储 管 理数 据 库 虚 拟 化 网 络 管 理WindowsLiuxUniOthers消 息 中 间 件交 易 中 间 件应 用 服 务 器集 成 中 间 件门 户 中 间 件行 业 应 用 平台 中 间 件 安 全 加 密杀 毒入 侵 检 测生 物 认 证 DASNOracleDB2MysqlSlervInfomixAces桌 面

12、 虚 拟 化网 络 虚 拟 化存 储 虚 拟 化服 务 器 虚 拟化 网 管 系 统应 用 性 能 管 理桌 面 管 理远 程 监 控IT资 产 管 理安 全 管 理数据来源：赛迪顾问 2012，114、数据处理数据处理是目前整个大数据产业链的薄弱环节，尤其是数据质量问题，更是其中的软肋。大数据蕴藏的价值虽然巨大，价值密度却很低，往往需要对海量的数据进行挖掘分析才能得到真正有用的信息，从而形成用户价值。但在数据挖掘分析之前，必须进行数据处理，其目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取出对于某些特定的人们来说是有价值、有意义的数据；包括数据清洗，即过滤掉不 完 整 的 数 据 、

13、错 误 的 数 据 、重 复 的数据等不符合要求的数据，然后进行数据装载、查询、展现等。在这一过程中，如果数据源质量不佳或者代码不严谨，都会导致数据失真，用户看到的错误信息将可能导致分析出错误的决策结论。用户拥有的数据质量与其业务绩效之间存在着直接联系，高质量的数据可以使其保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量控制技术，企业在任何时候都可以信任满足所有需求的所有数据。为了充分实现数据资产的业务价值，企业往往通过一个数据整合/集成平台来进行数据质量控制，找出并修正隐藏的数据瑕疵，随时随地交付及时、可信的各种类型数据。图 7 数据处理软件和技术数 据 处 理应 用 开 发

14、工 具查 询 和 报 表 工 具数 据 转 换 工 具数 据 质 量数 据 整 合 /集 成数据来源：赛迪顾问 2012，115、数据分析数据分析是大数据产业链中最有“含金量”的环节。大数据时代，理解数据所代表的内容成为一项挑战。由于事务型数据和决策支持型数据的处理性能不同，需将将决策支持型数据处理从事务型数据处理中分离出来，再从事务型数据库中导入数据仓库，继而采用 OLAP（联机分析处理）工具、数据挖掘工具等进行分析、智能决策，提高决策的科学性和水平，完善各种管理流程，增强综合竞争力的智慧和能力。大数据时代，包括政府在内的各行业用户对数据分析功能的需求更加旺盛，同时对数据分析的广度和速度都有

15、更高要求，促进 IT 厂商加快了对于数据分析技术的研发创新。一方面，大数据分析不再局限于结构化的历史数据，而更倾向于分析来自社交网络、RFID 传感器等的非结构化数据，促进了对非结构化数据的分析技术创新。另一方面，激烈的市场竞争促使行业用户对于数据分析的速度更加重视，促进了大数据解决方案厂商加大对数据的快速、实时分析、智能决策技术的研发投入。通常意义上的数据挖掘、分析主要集中于公共服务和商业范围，数据分析的另一广阔领域则是工业领域。很多工业软件都具有强大的数据分析功能，如研发设计类的 CAX/PLM软件、自动控制类软件等。图 8 数据分析软件和技术数 据 分 析数 据 挖 掘数 据 集 市OL

16、AP(联 机 分 析 处 理 )服 务 器数 据 仓 库商 务 智 能 (BI)嵌 入 式 软 件模 式 识 别CAX/PLM自 动 控 制 软 件搜 索 引 擎内 容 /知 识 管 理人 工 智 能 （ AI）数 据 可 视 化数据来源：赛迪顾问 2012，116、数据发布、展示和应用大数据具有广泛的应用需求，在政府、行业、个人三个层面呈现出不同的应用特征：政府应用大数据，能够整合资源、提升监管水平、建设透明政府；行业应用大数据，能够科学决策、提高业务敏捷度、获取商业价值；个人应用大数据，能够提高生活质量、实现个人价值。图 9 数据发布、展示和应用Comment B1: 数 据 发 布 &展示 应 用 政 府行 业政 务公 共 安 全社 保 医 疗舆 情 监 测国 土 资 源 管 理气 象 地 质 灾 害 监 测金 融电 信零 售交 通互 联 网建 筑 楼 宇制 造 业智 能 X行 业个 人位 置 导 航通 信 软 件