《2019年大数据行业挑战及发展趋势》由会员分享，可在线阅读，更多相关《2019年大数据行业挑战及发展趋势（42页珍藏版）》请在金锄头文库上搜索。
1、2019年大数据行业挑战及发展趋势分析2019年7月目录1.大数据行业挑战51.1数据不充分不均衡，大数据产业基础不牢51.2技术难以满足业务需求51.3行业发展良莠不齐51.4信息孤岛严重且数据质量低61.5资源共享难，隐私问题大61.6大数据平台监管不足，数据安全问题频发71.7竞争不规范，影响产业发展81.8缺乏专业数据人才81.9数据开放程度较低101.10安全风险日益突出101.11技术应用创新滞后111.12数据治理法律规范尚不完善112.大数据行业发展趋势分析132.1与云计算、人工智能等前沿创新技术深度融合132.2数据隐私标准将出台132.3针对制造业的大数据解决方案不断升级
2、，助力智能制造142.4成为重要战略资源142.5分析方法发生变革142.6网络安全问题凸显152.7以数据为中心的解决方案与应用的兴起152.8政策影响趋势162.9技术影响趋势162.10人才影响趋势162.11资本影响趋势163.大数据行业市场分析183.1大数据产业规模加速增长183.2我国大数据市场产值达到4700亿元，对数字经济贡献大193.3数据需求快速增长194.大数据行业市场竞争格局244.1市场竞争结构244.2市场竞争区域分布244.3竞争态势265.大数据行业政策及环境分析275.1中国大数据产业政策紧密出台，行业应用成为重点275.2大数据产业政策环境分析286.大数
3、据行业发展前景326.1大数据基础设施建设持续增长326.2分析领域快速发展326.3与云计算密不可分326.4中国占据重要市场326.5数据分析共享将成为主流346.6安全与隐私更受关注346.7应用层级爆发346.8大数据分析在汽车领域的应用356.9大数据场景化应用助力大数据应用市场规模发展升级366.10大数据开放共享进度加快376.11政府大数据深入应用376.12大数据相关立法加快386.13统筹规划大数据发展386.14加快信息基础设施建设386.15保障大数据端到端安全396.16强化大数据互联互通396.17加强大数据平台建设406.18繁荣大数据产业生态407.大数据行业投
4、资分析411. 大数据行业挑战虽然我国大数据产业快速发展，但是仍存在行业发展良莠不齐、数据开放程度较低、安全风险日益突出、技术应用创新滞后等四大挑战。1.1 数据不充分不均衡，大数据产业基础不牢近年来，我国大数据技术投入不断增加，大数据发展蒸蒸日上，以互联网业、金融业和电信业为代表的大数据发展相对完备，数字化程度较高，数据储备量巨大，然而数据发展不平衡不充分的问题依然突出。根据2017中国地方政府数据开放平台报告，全国19个地方政府数据开放平台中1/4的数据机器可读性较差，尤其在公共服务、教育、就业等领域数字基础设施建设不足，数字化程度亟待提升。1.2 技术难以满足业务需求大数据行业发展至今，
5、技术与业务之间依然存在巨大着鸿沟。许多企业部门没有清晰的大数据需求，加上我国现在的大数据实际技术，人们鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。1.3 行业发展良莠不齐我国大数据仍处于起步发展阶段，行业标准和管理机制尚未成熟，在“万众创新，大众创业”的大环境下，大量的大数据企业不断涌现，存在很多企业借大数据概念热潮投机倒把，行业发展良莠不齐; 而且企业在创新、创业过程，由于缺乏对大数据产业链的认识，出现许多跟风扎堆的情况，没有有效发挥自身优势，造成巨大的资源浪费。往往一窝蜂跟去的时候就会发现全是坑，而且“此去华山一条道”，满满的全是竞争对手。盲目的追逐投资热点，极大降低了
6、资本对大数据行业发展的正向推动力。目前，监管层缺乏对大数据企业的识别评价的标准和规范，很难对大数据企业和机构进行有效的监管以及正确引导，为大数据发展打造一个良性的生态环境就比较困难。1.4 信息孤岛严重且数据质量低企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同部门的数据技术也有可能不一样，这导致企业内部自己的数据都没法打通。形成了数据孤岛，导致大数据的价值非常难挖掘。而且很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。再加上因为没有应用场景，
7、删除很多有价值的历史数据，导致企业的数据的可用性差，数据质量差，数据不准确。1.5 资源共享难，隐私问题大 政府部门是社会信息的主要控制者，其信息又分别被不同部门和区域控制，而不同部门和区域间的数据标准各异，政府内部本身整合各部门的数据就已经是一件很头大的事情，更不要提大规模的数据开放。同时数据开放面临一个严重问题就是隐私问题，脱敏远远不够，隐私问题是一个无底洞。数据安全和隐私保护是大数据产业发展的世界性难题，这主要体现在三个方面：其一，数据的海量存储增加了数据安防的难度，可能造成大量数据损坏或丢失，造成难以想象的后果；其二，在大数据时代，数据的多元性和复杂性要求人们形成更强的安全意识，但现实
8、中不论企业还是个人的安全意识还没有从传统的非信息时代转变过来，存在巨大潜在风险；其三，网络攻击带来了数据安全风险，随着大数据在政府、金融、公共事业等领域的广泛运用，数据泄露带来的损失远远超出行业范畴，而是全局性的国家安全问题。2012年中国的数据存储量达到64EB 其中55%的数据需要一定程度的保护，然而目前只有不到一半的数据得到保护。1.6 大数据平台监管不足，数据安全问题频发近年来，从事大数据采集、分析和应用的企业如雨后春笋，各类大数据平台也日益增多。然而，由于缺乏统一的监管标准和引导，对于数据使用的权利和义务尚未明确，各类大数据平台的建设者和使用者鱼龙混杂，数据安全常常难以保障。据云安全
9、联盟发布的12大安全威胁中，“数据泄露”高居榜首，国际某著名公司数据泄露门事件涉及10亿多用户账号被盗，给我们敲响了警钟。未来，伴随数字中国、智慧社会的推进，数据安全将不仅仅关系到企业、个人的隐私安全，甚至会影响社会安定、国家安全，所以亟待加强对大数据平台的安全管控。1.7 竞争不规范，影响产业发展大数据产业由数据传输、存储、计算和应用等多个环节构成，参与主体众多。但是在市场发展过程中过度竞争、无序竞争时有发生，尤其在以数据传输、存储为主的基础设施领域，低价甚至 0元中标现象屡见不鲜。大数据产业不同于传统的互联网业，不能照搬所谓的“免费模式”。长此以往，不仅会损害对用户的服务质量，还将使得专注
10、提供优质产品和服务的企业被淘汰，造成“劣币驱逐良币”的恶劣影响。此外，无序竞争还会进一步导致大数据基础设施的建设缺乏统筹规划，一哄而上，最终引发资源大量浪费。1.8 缺乏专业数据人才由于人才缺乏、大数据咨询服务还没有发展起来等原因，用户很难对大数据项目有全面的认识，容易受到厂商的左右，导致建设内容的盲目;由于缺乏对产业的整体认识和大数据企业评价标准、方法，所以在大数据服务商选择上也存在一定的盲目性。近年来，我国大数据产业发展进入爆发期，由于成熟的人才培训体系尚未建立，直接导致人才短缺的问题日益突出。“我们面临的最严重的问题就是应用场景和人才的问题，应用场景的问题是需要时间，人才问题是我这么多年
11、来碰到的最严峻的问题。”鄂维南说。人才不足限制了大数据产业创新发展的成效。清华大学计算机系教授武永卫透露的数据显示，未来3至5年，中国需要180万数据人才，截至目前，中国大数据从业人员只有约30万人。LinkedIn(领英)发布的2016年中国互联网最热职位人才报告则显示，数据分析是当下中国互联网行业需求最旺盛的6类人才职位之一。同时，大数据行业选才的标准也不断变化。初期，大数据人才的需求主要集中在ETL研发、系统架构开发、数据仓库研究等偏硬件领域，以IT、计算机背景的人才居多。随着大数据往各垂直领域的延伸发展，对统计学、数学专业的人才，主要从事数据分析、数据挖掘、人工智能等偏软件领域的需求加
12、大。在高端人才稀缺的现实情况下，企业多选择从海外和传统行业挖掘跨界人才，但仍然无法满足国内市场的大量需求。针对大数据人才供应不足的现象，各种培训机构和各大高校也开始强化大数据人才的培养。但培养大数据人才需要时间，在短期内对于大数据领域的高端人才仍然会呈现出供不应求的现象。值得注意的是，今年3月份，教育部公布了第二批获准开设“数据科学与大数据技术”的高校名单，加上第一批获批的北京大学、对外经济贸易大学、中南大学，一共35所高校获批开设该专业。今年开始，部分院校将招收第一届大数据专业本科生。对于大数据人才建设，潘文表示，要建立适应大数据发展需求的人才培养和评价机制，并建立健全多层次、多类型的大数据
13、人才培养体系。同时，还要完善配套措施，培养大数据领域创新型领军人才，吸引海外大数据高层次人才来华就业、创业。1.9 数据开放程度较低数据开放共享是促进大数据产业发展的重要举措，我国政府部门掌握着全体社会80%的信息资源，但这些信息资源由于部门或区域利益分别被不同的部门控制，且不同部门的数据标准不一致，导致信息流的上游环节处于封闭状态，不能有效地释放和共享，数据源的欠缺直接影响大数据分析和处理的需求，导致大数据应用缺乏价值;1.10 安全风险日益突出随着云计算、物联网和移动互联网等新一代信息技术的飞速发展，大数据应用规模日趋扩大，数据及其应用皆呈指数级增长态势，当企业用数据挖掘和数据分析获取商业
14、价值的时候，黑客也可以利用大数据分析向企业发起攻击，同时社交网站的隐私数据也可能被不法商家利用等等，这都给数据安全带来了巨大的挑战;1.11 技术应用创新滞后我国大数据产业虽然与国际大数据发展几近步伐相同，但是仍然存在技术及应用滞后的差距，在大数据相关的数据库及数据挖掘等技术领域，处于支配地位的领军企业均为国外企业。市场上，由于国内大数据企业技术上的不足，用户更加青睐IBM、甲骨文、EMC、SAP 等国外IT企业，国内企业市场占有率仅5%左右。1.12 数据治理法律规范尚不完善目前我国对政府部门、企业及其他组织保障数据安全的主体责任、具体要求缺乏系统性的法律认定。同时，我国尚未制定专门的个人信
15、息保护法。此外，我国现有法律对当前日益繁荣的数字经济领域中数据共享、交易相关问题缺少明确规定，数据所有权、数据资产保护等法律问题的内涵和外延仍处于理论探索阶段，滞后于当前数据驱动型经济发展的法律保障需求。2. 大数据行业发展趋势分析2.1 与云计算、人工智能等前沿创新技术深度融合大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供了新的商业价值。总体而言，云计算、物联网、移动互联网等新兴计算形态，既是产生大数据的地方，也是需要大数据分析方法的领域。大数据、云计算、人工智能等前沿技术的产生和发展均来自社会生产方式的进步和信息技术产业的发展。而前沿技术的彼此融合将能实现超大规模计算、智能化自动化和海量数据的分析，在短时间内完成复杂度较高、精密度较高的信息处理。比如阿里巴巴的电子商务交易平台能在双 11 当天完成每秒钟 17.5 万笔订单交易和每秒钟 12 万笔的订单支付，主要归功于融合了云计算和大数据的“飞天平台”。百度大脑也结
