大数据工程师职业发展以及薪酬一览

《大数据工程师职业发展以及薪酬一览》由会员分享，可在线阅读，更多相关《大数据工程师职业发展以及薪酬一览（8页珍藏版）》请在金锄头文库上搜索。

1、大数据工程师职业发展以及薪酬一览大数据工程师职业发展以及薪酬一览 大数据是眼下非常时髦的技术名词， 与此同时自然也催生出了一些与大数据 处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。 这群人在国外被叫做数据科学家(Data Scientist)，这个头衔最早由 D.J.Pati 和 Jeff Hammerbacher 于 2008 年提出，他们后来分别成为了领英 (LinkedIn)和 Facebook 数据科学团队的负责人。而数据科学家这个职位目前也 已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创 造价值。 不过在国内，大数据的应用才刚刚萌芽，人才市场还不

2、那么成熟， “你很难 期望有一个全才来完成整个链条上的所有环节。 更多公司会根据自己已有的资源 和短板，招聘能和现有团队互补的人才。 ”领英(LinkedIn)中国商务分析及战略 总监王昱尧对记者说。 于是每家公司对大数据工作的要求不尽相同： 有的强调数据库编程、有的突 出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希 望能找到懂得产品和市场的应用型人才。正因为如此，很多公司会针对自己的业 务类型和团队分工，给这群与大数据打交道的人一些新的头衔和定义：数据挖掘 工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现 的 Title，我们将其统称为“大数据工

3、程师” 。 王尧认为，在一个成熟的数据驱动型公司， “大数据工程师”往往是一个团 队，它意味着从数据的收集、整理展现、分析和商业洞察、以至于市场转化的全 过程。这个团队中可能包括数据工程师、分析师、产品专员、市场专员和商业决 策者等角色， 共同完成从原始数据到商业价值的转换概括来讲，这是一个支持 企业做出商业决策、发掘商业模式的重要群体。 由于国内的大数据工作还处在一个有待开发的阶段， 因此能从其中挖掘出多 少价值完全取决于工程师的个人能力。 已经身处这个行业的专家给出了一些人才 需求的大体框架，包括要有计算机编码能力、数学及统计学相关背景，当然如果 能对一些特定领域或行业有比较深入的了解，

4、对于其快速判断并抓准关键因素则 更有帮助。 虽然对于一些大公司来说， 拥有硕博学历的公司人是比较好的选择，不过阿 里巴巴集团研究员薛贵荣强调，学历并不是最主要的因素，能有大规模处理数据 的经验并且有喜欢在数据海洋中寻宝的好奇心会更适合这个工作。 除此之外， 一个优秀的大数据工程师要具备一定的逻辑分析能力，并能迅速 定位某个商业问题的关键属性和决定因素。 “他得知道什么是相关的，哪个是重 要的， 使用什么样的数据是最有价值的， 如何快速找到每个业务最核心的需求。 ” 联合国百度大数据联合实验室数据科学家沈志勇说。 学习能力能帮助大数据工程 师快速适应不同的项目，并在短时间内成为这个领域的数据专家

5、;沟通能力则能 让他们的工作开展地更顺利，因为大数据工程师的工作主要分为两种方式：由市 场部驱动和由数据分析部门驱动，前者需要常常向产品经理了解开发需求，后者 则需要找运营部了解数据模型实际转化的情况。 你可以将以上这些要求看做是成为大数据工程师的努力方向， 因为根据万宝 瑞华管理合伙人颜莉萍的观察， 这是一个很大的人才缺口。目前国内的大数据应 用多集中在互联网领域， 有超过 56%的企业在筹备发展大数据研究，“未来 5 年， 94%的公司都会需要数据科学家。 ” 颜莉萍说。因此她也建议一些原本从事与数据 工作相关的公司人可以考虑转型。 本文采访了 BAT 这 3 家国内互联网公司，以及相关领

6、域的人力资源专家，他 们从职场角度为我们解读如何成为大数据工程师以及这类岗位的职场现状。 A 大数据工程师做什么? 用阿里巴巴集团研究员薛贵荣的话来说，大数据工程师就是一群“玩数据” 的人，玩出数据的商业价值，让数据变成生产力。大数据和传统数据的最大区别 在于， 它是在线的、 实时的， 规模海量且形式不规整， 无章法可循， 因此 “会玩” 这些数据的人就很重要。 沈志勇认为如果把大数据想象成一座不停累积的矿山， 那么大数据工程师的 工作就是， “第一步，定位并抽取信息所在的数据集，相当于探矿和采矿。第二 步，把它变成直接可以做判断的信息，相当于冶炼。最后是应用，把数据可视化 等。 ” 因此分析

7、历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最 重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。 找出过去事件的特征 大数据工程师一个很重要的工作， 就是通过分析数据来找出过去事件的特征。 比如， 腾讯的数据团队正在搭建一个数据仓库， 把公司所有网络平台上数量庞大、 不规整的数据信息进行梳理，总结出可供查询的特征，来支持公司各类业务对数 据的需求，包括广告投放、游戏开发、社交网络等。 找出过去事件的特征， 最大的作用是可以帮助企业更好地认识消费者。通过 分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。 “你可以知道 他是什么样的人、他的年纪、兴趣爱好，

8、是不是互联网付费用户、喜欢玩什么类 型的游戏，平常喜欢在网上做什么事情。 ”腾讯云计算有限公司北京研发中心总 经理郑立峰对第一财经周刊说。下一步到了业务层面，就可以针对各类人群 推荐相关服务，比如手游，或是基于不同特征和需求衍生出新的业务模式，比如 微信的电影票业务。 预测未来可能发生的事情 通过引入关键因素， 大数据工程师可以预测未来的消费趋势。在阿里妈妈的 营销平台上，工程师正试图通过引入气象数据来帮助淘宝卖家做生意。 “比如今 年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣 等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系，找到 与之相关的品类，提

9、前警示卖家周转库存。 ”薛贵荣说。 在百度，沈志勇支持“百度预测”部分产品的模型研发，试图用大数据为更 广泛的人群服务。已经上线的包括世界杯预测、高考预测、景点预测等。以百度 景点预测为例， 大数据工程师需要收集所有可能影响一段时间内景点人流量的关 键因素进行预测， 并为全国各个景点未来的拥挤度分级在接下来的若干天时间 里，它究竟是畅通、拥挤，还是一般拥挤? 找出最优化的结果 根据不同企业的业务性质， 大数据工程师可以通过数据分析来达到不同的目 的。 以腾讯来说， 郑立峰认为能反映大数据工程师工作的最简单直接的例子就是 选项测试(AB Test)， 即帮助产品经理在 A、 B 两个备选方案中做

10、出选择。 在过去， 决策者只能依据经验进行判断， 但如今大数据工程师可以通过大范围地实时测试 比如， 在社交网络产品的例子中， 让一半用户看到 A 界面， 另一半使用 B 界面， 观察统计一段时间内的点击率和转化率，以此帮助市场部做出最终选择。 作为电商的阿里巴巴， 则希望通过大数据锁定精准的人群，帮助卖家做更好 的营销。 “我们更期待的是你能找到这样一批人，比起现有的用户，这些人对产 品更感兴趣。 ”薛贵荣说。一个淘宝的实例是，某人参卖家原来推广的目标人群 是产妇， 但工程师通过挖掘数据之间的关联性后发现，针对孕妇群体投放的营销 转化率更高。 B 需要具备的能力 数学及统计学相关的背景 就我

11、们采访过的 BAT 三家互联网大公司来说， 对于大数据工程师的要求都是 希望是统计学和数学背景的硕士或博士学历。沈志勇认为，缺乏理论背景的数据 工作者，更容易进入一个技能上的危险区域(Danger Zone)一堆数字，按照不 同的数据模型和算法总能捯饬出一些结果来，但如果你不知道那代表什么，就并 不是真正有意义的结果，并且那样的结果还容易误导你。 “只有具备一定的理论 知识，才能理解模型、复用模型甚至创新模型，来解决实际问题。 ”沈志勇说。 计算机编码能力 实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要 素。 “因为许多数据的价值来自于挖掘的过程，你必须亲自动手才能发现金子的

12、 价值。 ”郑立峰说。 举例来说，现在人们在社交网络上所产生的许多记录都是非结构化的数据， 如何从这些毫无头绪的文字、语音、 图像甚至视频中攫取有意义的信息就需要大 数据工程师亲自挖掘。 即使在某些团队中， 大数据工程师的职责以商业分析为主， 但也要熟悉计算机处理大数据的方式。 对特定应用领域或行业的知识 在颜莉萍看来，大数据工程师这个角色很重要的一点是，不能脱离市场，因 为大数据只有和特定领域的应用结合起来才能产生价值。 所以，在某个或多个垂 直行业的经历能为应聘者积累对行业的认知， 对于之后成为大数据工程师有很大 帮助，因此这也是应聘这个岗位时较有说服力的加分项。 “他不能只是懂得数据，还

13、要有商业头脑，不论对零售、医药、游戏还是旅 游等行业， 能就其中某些领域有一定的理解， 最好还是与公司的业务方向一致的， ” 就此薛贵荣还打了个比方， “过去我们说一些奢侈品店员势利，看人一眼就知道 买得起买不起，但这群人恰恰是有敏锐度的，我们认为他们是这个行业的专家。 又比如对医疗行业了解的人，他在考虑医疗保险业务时，不仅会和人们医院看病 的记录相关，也会考虑饮食数据，这些都是基于对该领域的了解。 ” C 大数据工程师的职业发展 如何成为大数据工程师 由于目前大数据人才匮乏， 对于公司来说， 很难招聘到合适的人才既要有 高学历，同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。 2

14、014 年 8 月，阿里巴巴举办了一个大数据竞赛，把天猫平台上的数据拿出 来，去除敏感问题后，放到云计算平台上交予 7000 多支队伍进行比赛，比赛分 为内部赛和外部赛。 “通过这个方式来激励内部员工，同时也发现外部人才，让 各行业的大数据工程师涌现出来。 ” 颜莉萍建议，目前长期从事数据库管理、挖掘、编程工作的人，包括传统的 量化分析师、Hadoop 方面的工程师，以及任何在工作中需要通过数据来进行判 断决策的管理者，比如某些领域的运营经理等，都可以尝试该职位，而各个领域 的达人只要学会运用数据，也可以成为大数据工程师。 薪酬待遇 作为 IT 类职业中的 “大熊猫” ， 大数据工程师的收入待

15、遇可以说达到了同类 的顶级。根据颜莉萍的观察，国内IT、通讯、行业招聘中，有10%都是和大数据 相关的，且比例还在上升。颜莉萍表示， “大数据时代的到来很突然，在国内发 展势头激进，而人才却非常有限，现在完全是供不应求的状况。 ”在美国，大数 据工程师平均每年薪酬高达 17.5 万美元， 而据了解， 在国内顶尖互联网类公司， 同一个级别大数据工程师的薪酬可能要比其他职位高 20%至 30%，且颇受企业重 视。 职业发展路径 由于大数据人才数量较少， 因此大多数公司的数据部门一般都是扁平化的层 级模式，大致分为数据分析师、资深研究员、部门总监3 个级别。大公司可能按 照应用领域的维度来划分不同团

16、队，而在小公司则需要身兼数职。有些特别强调 大数据战略的互联网公司则会另设最高职位如阿里巴巴的首席数据官。 “这个 职位的大部分人会往研究方向发展，成为重要数据战略人才。 ”颜莉萍说。另一 方面，大数据工程师对商业和产品的理解，并不亚于业务部门员工，因此也可转 向产品部或市场部，乃至上升为公司的高级管理层。 在了解以上信息之后， 你应该对大数据工程师工作内容和职业规划有一定的 了解，那么小编为你推荐大数据相关职业的薪酬具体是多少？ 大数据人才市场薪酬报告(2015 一季度) 2015 年 3 月,白宫经任命 DJ Patil 作为全国第一个首席数据科学家。这位 前 PayPal 和 eBay 的执行官， 来到白宫之后有了新的任务：帮助美国政府最大限 度的进行他们对大数据的投资，并围绕政府机构如何更好使用大数据给出建议。 美国政府正在用实际行动告诉大家， 政府的工作已经不再是你印象中的那样 了。过去的政府里，计算机还只是一个简单的办公工具，甚至被简单的当成笔和 纸的替代品。但是今天，政府们却已经能迅速意识到他们需要新的领导，带领大 家充分利用起他们的数据。 还有很多你没有注意到的细节来验