大数据技术与应用专业建设

《大数据技术与应用专业建设》由会员分享，可在线阅读，更多相关《大数据技术与应用专业建设（27页珍藏版）》请在金锄头文库上搜索。

1、大数据技术与应用专业建设调研报告自党的十八大以来，我国提出了实施国家大数据战略的重大决策。国务院 和相关部门先后印发了促进大数据发展行动纲要、大数据产业发展规划 （20162020年）等指导性文件。各部门、各地方髙度重视，据不完全统计， 我国已有20多个省级地方和10余个部委出台了本地区、本行业大数据发展规 划，我国大数据发展已经正式驶入快车道。2015年9月5日经李克强总理签批，国务院印发促进大数据发展行动纲 要（以下简称纲要），系统指导我国大数据发展的国家顶层设计和总体部署 大数据发展工作。纲要提出从政府大数据、新兴产业大数据、安全保障体系 三个方面着手推进大数据领域十大工程建设，将我国大

2、数据发展推向了另一个 制髙点。职业教育服务经济与社会发展，必须紧跟产业发展步伐，随着经济增长方 式转变而“动”，跟着产业结构调整升级而“走”，围着企业技能型人才需求 而“转”，适应市场的需求而“变”。在大数据技术飞速发展的今天，职业教 育必须紧跟大数据产业发展步伐。为了更好地了解相关行业企业对大数据人才 的需求，促进大数据技术与应用专业教学及专业建设，大数据技术与应用专业 教学资源库建设团队在国内外针对大数据在行业企业的需求开展了调研。一、调研目的1、了解大数据行业企业对大数据技术与应用专业人才的需求倾向、人才需 求规格预测、就业预测、人才的市场定位等；2、了解大数据行业企业对大数据技术与应用

3、专业人才培养模式、培养目标 的意见，以及对专业知识、岗位分工、职业技能等的要求；3、了解往届相关专业毕业生在工作单位的表现及用人单位对往届毕业生的 工作、岗位能力评价；4、与相关企业建立校企合作模式，促进教学与社会实践的联系，为大数据 技术与应用专业教学资源库的专业建设、课程体系建设及培养模式寻找更完善 的发展方向。二、调研方式1. 问卷调查：印制问卷涵寄或面交，请企业相关人员作答。2. 实地调研：教师到企业和用人单位实地调研。3. 座谈调研：邀请用人单位的技术人员、管理人员到系里开展座谈交流。4. 网上调查：到网上搜索有关人才需求、课程设计、教学计划等信息。三、国内外大数据发展现状（一）大数

4、据产业呈现爆炸式增长由 IDC 和 EMC 联合发布的紅he Digital Universe of Opportunities ： Rich Data and the Increasing Value of Int erne t of Things研究报告中指出， 2011年全球数据总量已达到1.8ZB,并将以每两年翻一番的速度增长，到2020 年，全球数据量将达到40ZB，均摊到每个人身上达到5200GB以上。S3中国大数据市场现模及增速flft位:値芜）市场规摸一増速数据乘源：中国信息運信研究院图2-12014-2020年中国大数据市场规模及增速在“2017年世界电信和信息化社会日大会”

5、上，工信部总工程师张峰指出, 我国的数据总量正在以年均50%的速度持续增长，预计到2020年，我国数据总 量在全球占比将达到21%。美国市场研究公司IDC发布的报告称，全球大数据技 术和服务市场将在未来几年保持31.7%的年复合增长率，2016年总规模达到238 亿美元。（二）大数据产业应用需求扩张调查样本企业行业分布金融保险.10.JD%化娱乐,6.30%能源制造蔽游-3.36%:互联网电信,5. S0%3.6S：物硫雪售文化娱乐大数据产业应用包括了政府/公共事业、物流零售、文化娱乐、能源/制造、 金融/保险、旅游、IT互联网电信等行业，可以看出大数据已经受到广泛的行业 关注。金融俣险旅游

6、H联网电信苴他图2-2大数据在中国的行业分布参与大数据调查的行业中，来自能源/制造行业的最多，比例达44.9%，其 次是政府与公共事业部，比例为17%,第三则是金融与保险行业，为10.3%。接 下来，分别是物流零售（8.7%）、文化娱乐（6.3%）、IT/互联网/电信（5.8%）、 旅游（3.36%）。与数据规模的调查数据相对比，我们发现50TB以上的数据容量 主要分布在能源/制造（47.8%）、金融/保险（20.5%）与政府/公共事业（15.9%）。从各个行业对大数据调研的参与程度其实已经可以反映出各行业对大数据 的关注程度，能源/制造行业对于市场行情的数据更为敏感，历史的商品行情对 于未来

7、的产品设计、风险评估以及市场导向都有较强的参考意义。而随着政府 与公共事业的服务意识的强加与转变，以及更智慧的执政与管理理念的带动， 对于数据的管理与分析的需求也在日益加强。在金融与保险行业，则是传统的 数据量大户，而在新时代更好更快的发现客户金融习惯，将是金融与保险行业 未来竞争必须要做的事情。其次，物流零售的数据价值也在日益显现，成为排 名第四的参与调查的行业，而新兴的，数据积累（尤其是非结构化数据）历史 尚浅的文化娱乐、IT/互联网/电信行业则分列第五和第六。看来大数据已经成 为众多行业关注和探讨的话题，其影响力已经覆盖了从传统的制造行业到新型 的文化娱乐、IT、互联网行业。（三）人才供

8、不应求美国人才招聘市场的数据分析领先者WANTED Analytics和Forbes对来自 150个国家的10亿个岗位信息进行了统计，基于“数据分析”“数据采集” “数 据挖掘”和“数据结构”四项技能的大数据专业人才市场需求分析，在对过去 12个月美国就业市场“大数据”相关岗位的分析中发现：需要“大数据”技能 的岗位空缺呈现髙速增长。麦肯锡全球研究所（MGI）和麦肯锡商业技术办公室在对医疗、公共、零售、 制造业和个人定位等五个领域内详细研究了大数据发展趋势后发布的研究报告预测：由于大数据的引入，会造成信息分析人才的缺乏，预计到2018年，仅美 国就需要1419万信息分析专业人才以及150万懂得

9、大数据的管理人员和分析 师。大数据不仅提髙了产业价值，还能够大幅度的拉动就业。随着各大公司纷纷上马大数据业务，对大数据人才的需要，市场上正处于 十分旺盛的阶段。据Gartner预测，全球将新增440万个与大数据相关的工作 岗位。大数据的发展也会催生出一些新职业如大数据分析师、首席数据官等， 然而人才供给的缺乏正是大数据发展面临的一个瓶颈。目前企业发展大数据已 步入初级阶段，不论是拓展大数据业务的百度、阿里、奇虎360等互联网公司, 还是专业提供数据服务的大数据服务商，对专业的大数据人才均有较髙的需求 量。而今年，这一“人才荒”的情况正在愈演愈烈，从一定程度上说，人才匮16454200乏已经成为

10、制约大数据应用产业发展的重要因素。岗悅需求求职数量缺口数量： 430万全年供求比:1:6.4图2-3大数据人才市场需求分析（四）大数据技术与应用专业系统化课程资源匮乏就目前来看，在互联网上已经拥有了较多的单体资源，例如Java程序设计、MapReduce程序设计、Hadoop体系框架等课程资源非常丰富，但是缺少资源的 系统性，很多学习者不知如何去养成职业岗位能力要求。从目前来看，建设一 个大数据技术与应用领域的优质资源库，同时为学习者提出科学合理的学习建 议，是非常有必要的。四、典型工作岗位及能力分析由于我国大数据产品正处于起步阶段，市场对技能型、操作性的人才需求 相对较髙，从统计数据上看，大

11、数据行业求职者学历与招聘需求出现错位，主 要表现为大专的招聘需求髙于求职者占比，而硕士以上的需求则正好相反。目前，大数据相关工作按照专业范围和工作特点大致可分为如下1）、数据处理类：该类职位要求对数据存储方式和数据存储结构有一定的理解，了解数据的 定义，并且可以通过多种采集方式获取原始数据，按特定要求处理数据。该职 位应了解基本的统计学方法，能应用统计学的工具，同时掌握大数据平台的相 关操作技术，能将数据处理方法通过大数据平台实现。对于企业来讲，这部分人群在工作中对专业的熟练程度要求也是非常髙的, 例如能熟练做出因子分析，聚类等基础技术处理，包括类似的各类数据统计处 理技术。完成业务中数据的前

12、期预处理和处理基础工作，提供髙质量的数据供 数据分析和解读。2）、大数据运维类：该类职位要求具备大规模服务器集群的运维能力，同时具备大型数据库运 维能力。服务器运维包括维护并确保服务器的可用性，不断优化系统架构、提 升部署效率和优化资源利用率等。数据库运维包括具备软件安装、配置优化、 数据恢复和迁移、数据库故障排除、预防性巡检等一系列能力。运维工程师面对的最大挑战是大规模服务器集群的管理问题，如何管理好 几十万台服务器上的服务，同时保障服务的髙可用性，是运维工程师面临的最 大难题。因此，作为运维类工作，特别是大数据级的运维工作，职位要求应该 具备扎实的基础知识。包括掌握如Java/Python

13、等至少2种编程语言、熟练掌 握常用的算法并能灵活运用、熟悉网络基础知识、深入理解Linux操作系统等。同时，在大数据环境下，还应该掌握熟悉分布式计算或者存储系统。3）、大数据技术支持类：大数据技术支持类包括售前技术支持和售后技术支持。售前技术支持能够 在大数据应用系统实施前遇到无法解决的问题时提供技术支持；售后技术支持 能够在大数据应用系统部署完成后，为客户提供售后服务，帮助工程师诊断并 解决大数据应用系统使用过程中出现的问题。该类职位需要掌握大规模服务器集群知识，以及大数据相关基础。具体包 括掌握至少1门编程语言、掌握Linux操作系统、掌握分布式计算和存储系统 等。同时技术支持需要面对客户

14、，应具备一定的沟通和团队协作能力。校企专家通过对上述典型工作岗位的能力要求分析研讨，形成大数据技术 与应用专业岗位职业能力分析表。表3-4大数据技术与应用主要工作任务描述典 型 工 作 任 务能力要求知识要求技能要求课程大 数 据 平 台 运 维通过系统监 控、集群配 置等技术手 段，保证大 数据平台能 够长期稳定 的支撑企业 大数据业务 的工作能力1、掌握计算机基础知识；2、掌握网络基础知识、 中小型局域网组建和运 维技术；3、掌握服务器及存储基 础知识，4、掌握主流操作系统（如Linux、 Windows）5、掌握主流数据库基础 技术（如 oracle、MySQL、 NoSql 等）6、掌

15、握脚本编写方法（如 shell、Python 等）1、能够配置和管 理网络设备，完 成网络搭建2、能够配置和管 理服务器和存 储，完成相关设 备的维护3、能够完成操作 系统的安装和配 置4、能够完成大数 据平台的日常维 护数据处理技 术（Python） 数据库基础 Linux操作 系统 大数据概论 网络技术 大数据平台 构建 大数据安全 管理 Hadoop综合 实训 云计算与虚 拟化Spark综合7、掌握Hadoop/Spark 相 关组件的基础理论知识 及运维工具的使用；8、掌握 HDFS、Hbase、 hive、yarn等组件的基本 操作5、能够使用工具 完成大数据平台 的软硬件平台运 行状态监控6、能够完成大数 据平台的故障应 急处理实训数据预处理通过数据抽 取、整理、 传输、加载、 校验等技术 手段，结合 工具，保证 高效的为大 数据分析提 供高质量的 数据资源的 工作能力1、掌握计算机基础知识；2、掌握主流数据库基础 技术（如 Oracle、MySQL、 NoSql 等）3、掌握shell脚本编程， 熟悉Java、Python等开 发语言4、掌握Hadoop/Spark 相 关组件的基础理论知识 及运维工具的使用；1、能够使用工具 从数据源抽