2018年大数据行业人才报告

《2018年大数据行业人才报告》由会员分享，可在线阅读，更多相关《2018年大数据行业人才报告（62页珍藏版）》请在金锄头文库上搜索。

1、 前 言 随着大数据、人工智能、区块链等前沿技术的迅速普及，企业越来越重视前沿技术给企业带来的非凡 的竞争优势。根据全球领先人才社区 LinkedIn 的全球 AI 领域人才报告，转型技术驱动的企业之间的 竞争将最终升级为对核心的人才的竞争（见图 1）。根据著名咨询公司美世的数据显示，大数据/人工智能 /区块链等先进行业的核心人才的薪资水平远远高于传统 IT 或咨询分析部门的同等级专业人才水平（见图 2）。企业在日益重视核心人才的引入的同时，也面临着巨大的成本压力。外部高科技人才落地给企业带来 巨大竞争力的同时，也意味着风险海归人才难以适应国内的商业环境和企业文化等等企业技术人 员把新兴技术看

2、作可能在未来对他们的就业产生最大影响的威胁等。目前在实现利益和规避风险方面，大 多数企业仍然做得不足，企业自主的人才教育成为了当前企业培养自己的前沿技术核心团队的重要方法。 图 1 跨行业竞争 人才的竞争 （资料来源：美世 2017 全球人才趋势报告） 抛开数字化经营，企业就像是在黑暗中对别人微笑。只有自己知道自己在做什么，但是 别人不知道。 0%10%20%30%40%50%60%70%80%90%100% 自动化 消费品 金融服务 能源/煤矿 健康 高科技 生命科学 物流 在人才竞争力方面有显著提高人才竞争力方面有所提高没有人才竞争力的增长 各行业人才竞争趋势 图 2 传统应用开发、传统数

3、据分析与算法工程师的年薪对比。 *号代表调研数据缺失，后引入专家评论预估数据。 （数据来源：美世咨询 2017 年互联网行业薪酬调研数据） 在当今社会，随着数据行业的变化，更多的机构开始重视海量数据背后蕴藏的无限“财富”，将数据 资源作为一种基础性或战略性资源。在国家层面，许多国家将数据资源的开发提升到了战略高度，纷纷出 台大数据战略。但是依据 TalkingData University 的访谈，所面向的公司在计划向数据驱动企业转型的过 程中，专业数据人才教育的投资比例远远小于对于基础设施和数据源的投资；95%的企业都投入了较大的 资源在基础设施、平台和工具、数据源以及算法优化（如下图表 3

4、 所示）。而业内认为，一个好的公司应 至少在专业数据人才上的投入要与其他方面的投入等同，甚至高于其他方面的投入。 图 3 相比于其他方面企业在专业数据人才上投入过少 (资料来源：TalkingData University) 甚至早在 2015 年 CSDN 的一份报告中就指出，人才的缺乏已经成为制约公司实现重大的数据相关战 I1I2I3I4I5 传统应用开发182220242605319020456009703600 传统数据分析106400156300245153417718600000 算法工程师214800261140387194573360850600 182220 242605 3

5、19020 456009 703600 106400 156300 245153 417718 * 214800 261140 387194 573360 850600 2016年年薪的中位数 职业等级 传统应用开发传统数据分析算法工程师 略的首要因素（见图 4）。 图 4 人才的缺乏已经成为已经成为掣肘公司重大的数据相关战略的首要因素 （来源：CSDN：2015 年中国软件开发者白皮书） 现有企业对于人员的能力需求中，数据分析能力排在前列：很多客户都需要能够深入了解他们的业务 需求并可以运用数据解决商业问题的人才（见图 5）；同时，数据技术和服务类企业需要能长期创造客户 价值的人才以增加客户

6、对产品的粘性，降低客户对服务的依赖以提高投入产出比；同样的，专业数据人才 需要深耕某一商业情境，建立清晰的职业发展路径，保障成长资源的到位。培养数据人才成为大势所趋： 公司如果想要培养可以应对不断变化工作状况的高效能专业员工队伍，则需要实战训练现有雇员，让他们 得到专业化技能的提升；同时让员工们对于现有数据市场进行全新的认知，培养和鼓励员工关于数据的新 思维。 45% 43% 41% 41% 37% 31% 29% 26% 21% 20% 创新 数据 虚拟 全球 数字 创业 理解 包容 销售 管理 企业对于雇员的能力需求 43% 41% 40% 37% 36% 35% 35% 35% 35%

7、30% 数据分析能力 创新性思维 全球性思维 虚拟协作能力 销售 包容的领导 创业型思维 数字化领导 社交网络的理解力 管理能力的变换 企业对于HR的能力需求 图 5 企业对雇员，及人力资源管理者的各项能力要求 （资料来源：美世 2017 全球高科技人才趋势报告） 图 6 企业数字化进程 (资料来源：美世 2017 全球高科技人才趋势报告) 从美世2017年高科技行业报告的企业数字化进程调查结果来看（见图 6），自认为已实现数字化的企 业不超过10%，而已经踏上数字化之路的企业倾向于优先关注外部竞争力，其次关注内部的员工培养。本 报告旨在需要让企业认识到提高企业数据能力的重要性，提升企业对于专

8、业数据人才和数据教育的关注程 度。 本报告由TalkingData University （腾云大学）和Mercer China（美世中国）联合撰写，旨在分析目 前专业数据人才教育行业的现状，为数据教育行业的参与者和监管者提出建议，同时达到促进数据人才发 展、指导传统企业构建数据团队，从而驱动企业数字化转型的目标。 目 录 前 言 第一部分 . 1 专业数据人才教育行业概述 . 1 1.1 专业数据人才分类 . 1 1.2 专业数据人才特点及其教育范式 . 5 1.3 什么是专业数据人才教育 . 5 第二部分 . 7 专业数据人才教育行业的历史沿革 7 2.1 专业数据人才教育行业的兴起和溯源

9、 . 7 2.2 中国专业数据人才教育行业的发展 . 8 2.3 数据行业和专业数据人才教育行业的关系 9 第三部分 . 12 专业数据人才教育行业现状 . 12 3.1 宏观环境分析 12 3.2 市场规模 . 16 3.3 生态图谱产业地图 17 3.4 数据教育行业面临的挑战 . 23 第四部分 . 26 专业数据人才教育行业发展趋势预测 . 26 4.1 数据人才需求继续扩大，尤其以传统行业需求增加为主要方向 26 4.2 核心人才缺口由数据分析师向数据科学家转变 . 27 4.3 高端人才短期和中期还是以海归人才为主，初级人才发展迅速 . 27 4.4 大数据行业发展飞快，校企合作颠

10、覆教育分工. 27 4.5 专业数据人才教育行业竞争加剧，行业分化，等待平台 . 28 Contents 第五部分 . 29 持续保持专业数据行业的领先地位 29 5.1 吸引和留住未来人才 . 29 5.2 培养未来人才并做好准备 . 32 第六部分 . 34 持续保持专业数据行业的领先地位 34 6.1 行业参与者发展策略和建议 . 34 6.2 政府部门的政策建议 34 附录：部分专业数据人才教育行业参与者分析 . 36 1 第一部分 专业数据人才教育行业概述 1.1 专业数据人才分类 专业数据人才是从事数据业务的核心技术人才。依据数据行业的多年实践经验，TalkingData 将专业

11、数据人才分为四类：数据科学家、数据工程师、数据分析师和数据产品经理。 1.1.1 数据科学家 数据科学家是综合运用数据科学领域知识对数据进行采集、处理、挖掘、建模等操作以形成洞察并最 终解决问题的专业型人才（见图 7）。数据科学家致力于用数据产生实际的价值。 图 7 数据科学家的能力组合 尽管市场上现有数据科学家往往具有不同的教育背景和工作经验背景，但是在专业角度上，他们一般 需要如上图所示四个方面有能力： 2 业务领域：业务领域方面的知识和能力是必备的。数据科学家要对问题所在领域的知识有充分的掌握 和理解， ， 例如接触金融数据项目， 就需要理解金融行业的趋势和业务模型， 能够进行专业化的数

12、据分析。 数据科学家对业务领域的了解和知识储备是提升数据价值的关键。 机器学习：机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理 论等多门学科。这些学科都可以用来帮助数据科学家梳理业务领域中遇到的各种数据问题，进行建模并得 出指标和预测值来辅助业务。 工程能力：工程能力代表的是数据科学家的动手能力，影响数据科学家的工作效率和产出质量。 沟通能力：沟通能力可以帮助数据科学家发现并解决问题。数据科学家的沟通能力应该能够将数据的 价值以通俗易懂的方式表达出来，以确保数据发挥真正的价值。随着业务领域的深入，数据科学家应该能 经常发现和提出新的洞察和建议，以帮助企业实现其目

13、标。 除了上述四点能力外，数据科学家应该具备的其他素质包括： 根据需要自定义方法并解决具体的问题，以便最大限度地交付最优化的成果（包括编写新的算法和修 改现有算法的能力）； 访问和查询多个不同的数据库和数据源（例如，RDBMS、NoSQL、NewSQL 等），以及将数据集成 到主要分析驱动的数据源里（例如，OLAP、数据仓库、数据湖等）； 查找并选择最佳的数据源和数据特征（变量），包括根据需要构建新的特征指标（功能设计）； 了解统计知识，编程和封装可供选择的算法库，并选择最优； 保证数据具有很高的质量，并且是以最佳的形式和条件呈现，从而得出准确、可靠的结果；避免处理 与问题无关的垃圾数据； 选

14、择并根据需要实施最佳工具、算法、框架、语言和技术，最大限度地在大规模数据下得出成果；选 择正确的性能指标，并最大限度地提高应用性能；发现如何利用数据实现自动化操作；从事跨职能工 作，并与公司各部门和团体高效协作；从失败中吸取经验，从而降低潜在风险和经济损失；了解产品 （或服务）的客户和/或用户等等。 3 1.1.2 数据工程师 数据项目一般是一个工程项目，负责工程部分的实施人员就是数据工程师。数据工程师负责搭建架构 和实现数据工程所需的技术平台和工具（包括数据连接器、数据存储和计算引擎、数据可视化能力、工作 流引擎等），保证稳定可靠的数据处理，为数据架构师、数据科学家和数据分析师的工作提供支持

15、。 数据工程师需要具备的能力包括但不限于如下： 技术能力：包括编程能力、架构设计能力、工程能力等； 业务能力：主要是对于业务的理解能力； 实战能力：包括数据意识、结果导向和文档撰写能力； 团队协作能力：包括学习辅导、沟通、合作以及影响力。 目前，市场上的数据工程师一般来自团队现有的人员，但是需要扩展数据技术相关的能力。数据工程 师的主要职责是维护数据仓库和开发对应的服务。数据工程师在职位上贡献最多的是数据的抽取、转换和 上载 (Extraction、Transformation、Load， ETL)，将所需的数据从不同来源不同格式的数据源中提取出 来，转换类型以便使用，然后归档入数据仓库。通常

16、，数据工程师需要有一定的计算机科学技术背景，需 要能够编程和维护数据仓库以及保证服务正常进行。 1.1.3 数据分析师 数据分析师负责将数据中的价值提取、分析并解读出来以指导行动。数据分析师和数据科学家从名字 来看十分容易混淆。那么两者之间的区别在哪里呢？ 首先，两者使用的工具通常是不同的。数据分析师进行商业智能和分析使用的工具：Microsoft Excel （进行可视化，数据透视表等）的 Tableau、SAS、SAP 和 Qlik。数据分析师考虑的首要因素是快捷地从 中间解读结果并验证设想，得出结论；而数据科学家则比较侧重算法选型、模型稳定以及大数据情境下运 算的实现。 其次， 数据分析师有时会进行数据挖掘和建模工作， 倾向于使用数据可视化工具， 如 IBM SPSS、 Rapid Miner、 SAS 和 KNIME。 相比较下， 数据科学家在执行相同的任务时， 偏向于编程类的库， 如 R 或者 Python 中相关的库。 总结来看数据分析师通常只针对于公司高层提出的问题和目