2024年大数据开发工程师岗位要求15篇 目录 高级大数据开发工程师职位描述与岗位职责任职要求 职位描述： 岗位职责： 1. 基于公司大数据产品进行数据开发，包括数据的采集，清洗，预处理，存储，建模，分析挖掘等 2. 根据业务用户需要分析数据，提供数据支持 3. 参与公司大数据产品的运维和监控，保障数据质量和服务稳定性 任职要求： 1. 具备本科以上学历， 计算机， 软件以及相关专业， 5年以上大数据开发经验 2. 熟悉数据仓库维度建模， 并能根据客户需求进行数据开发， 向模型更新数据 3. 使用过至少一种以上的etl工具 4. 熟练掌握java， 对hadoop相关的技术和组件(hdfs， mr， hbase， hive， spark， storm， kafka等）有全面深入了解 5. 熟练掌握shell或者python中的一种 6. 具备spark开发经验者优先 7. 具备实时计算(kafka+storm/spark streaming) 经验者优先 8. 具备数据分析和数据挖掘方面经验者优先 大数据开发工程师岗位职责职位要求 职责描述： 岗位职责： 1、运用大数据分析工具和技术解决风险管理业务中遇到的实际问题与需求，如风险评估、成长评价等，包括对模型进行设计、开发、验证、测试、部署及监控、优化。
2、基于海量用户数据和特征，进行数据质量检查、特征加工、数据清洗等，建立数据挖掘模型 3、评估数据源的质量和价值，能结合业务需求和场景，从各种数据维度中挖掘数据价值，并设计不同的模型，应用于不同的业务场景中 职位要求： 1. 计算机、统计学相关背景，熟悉常用各类机器学习算法的原理（如逻辑回归、决策树、svm、神经网络、随机森林、深度学习等）； 2.熟练使用sas、r、python等至少一种分析工具； 3.熟悉大数据分析平台和工具，如hive，hadoop， spark等优先； 4.有较强的逻辑思维能力、优秀的沟通表达能力及团队合作能力 岗位要求： 学历要求：本科 语言要求：不限 年龄要求：不限 工作年限：5-7年经验 大数据开发工程师（杭州）职位描述与岗位职责任职要求 职位描述： 岗位职责： 1.参与大数据精准学平台设计与研发，在大数据采集、存储、分析及应用领域都会有所涉及 2.参与需求分析、系统架构设计、并完成需求设计相应文档的编写 3.参与核心代码实现、系统性能优化。
4.保质保量地完成项目组分配的开发任务 5.协助项目经理进行技术支持工作，共同解决产品研发过程遇到的技术难题 任职要求： 1. 具备3年及以上大数据系统开发经验，计算机相关专业本科及以上学历； 2. 有实时流处理经验，掌握flink、storm等实时处理框架； 3. 熟悉并会使用spark mllib、机器学习、自然语言处理等相关技术和算法； 4. 具有hadoop/spark，以及kafka、flume、hbase、hive、zookeeper等大数据生态圈实际开发经验深入了解hadoop/spark生态圈产品的工作原理及应用场景； 5. 具备较强的数据分析，问题分析，逻辑思维能力，良好的沟通，团队协作能力 大数据开发工程师（p7-p8)3职位描述与岗位职责任职要求 职位描述： 岗位职责： 分布式大数据系统开发、计算性能调优、 高性能服务框架设计与开发； 参与项目的架构设计、评审、技术攻坚及优化； 参与系统文档的撰写、维护 任职要求： 本科以上学历，计算机或相关专业； 3年以上linux后台开发经验，有大规模系统开发经验； 精通http、tcp/ip协议，网络编程； 熟悉linux操作系统原理，常用工具； 熟悉常用大数据开源组件； 有高并发、大容量后台服务系统设计经验； 具有良好的学习能力、沟通能力、团队合作意识； 强烈的责任心与主动性，对所负责工作有owner意识，并能自我驱动成长； 对hadoop、flink、spark、lucene等开源项目有大规模应用经验，contributor或者committer优先。
大数据开发工程师-spark职位描述与岗位职责任职要求 职位描述： 岗位职责： 1. 参与公司大数据产品规划，大数据处理分析平台的设计; 2. 负责数据分析、加工、清理、处理程序的开发; 3. 负责数据相关平台的搭建、维护和优化 4. 负责基于hadoop/spark/hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发； 职位要求： 1. 熟悉java和scala语言、熟悉常用设计模式、具有代码重构意识; 2. 熟练使用hadoop、hbase、kafka、hive、spark、presto，熟悉底层框架和实现原理； 3. 使用spark streaming和spark sql进行数据处理， 并具有spark sql优化经验; 4. 熟悉mysql数据库性能优化方法， 了解常见no-sql数据库; 5. 有大规模hbase集群运维经验或对hbase存储原理熟悉者优先； 6. 有数据挖掘、数据分析、机器学习研发实践经验者优先 有机会接触千亿级海量数据的离线和实时的数据处理，涉及java，spark，hive，spark streaming，hbase，elasticsearch，flink等大数据的前沿技术和多云的统一架构。
大数据开发工程师（数据分析、信息安全、前端开发、数据对接）职位描述与岗位职责任职要求 职位描述： 数据分析工程师： 岗位职责： 1、负责结构化数据和文本的数据处理、建模、分析等工作，如：数据清洗、中文分词、情感分析、文本分类等； 2、负责数据需求的收集、整理和分析，配合其他同事完成结构化数据和文本的需求分析； 3、负责分析结果的可视化展现； 4、负责核心算法的设计与优化 任职要求： 1、全日制本科毕业； 2、计算机或数学或软件类或统计相关专业； 3、熟悉数据挖掘和文本挖掘的理论基础，掌握统计模型、机器学习相关原理； 4、熟悉r/python/java等编程语言，熟悉常用数据结构和算法，熟悉正则表达式的使用 web前端开发工程师： 岗位职责： 1、负责前端框架设计及组件库开发、前端开发工作统筹； 2、与后端工程师紧密配合，高效率、高质量地完成页面展现研发工作； 3、负责对产品页面性能的优化和维护； 4、负责数据可视化图表显示 任职要求： 1、本科及以上学历，专业不限。
3年以上前端开发经验； 2、精通html5/css3、xhtml/xml，熟悉页面架构和布局，对表现与数据分离、web语义化等有深刻理解； 3、在多浏览器兼容性问题及css/javascript性能优化方面有一定的经验； 4、熟练掌握至少一种前端框架及工具、库如jquery、angular、webpack； 5、有echars、highcahrts、d3js等数据可视化框架开发经验优先 信息安全架构工程师： 岗位职责： 1、 规划车联网安全架构，不断完善车联网产品的安全规范和要求，跟进、解决存在的安全隐患； 2、 对上线前的软件或者车上产品进行安全方面验证及测试； 3、 跟进最新漏洞的研究工作，理解漏洞的原理，编制漏洞研究报告和防范措施； 4、 负责行业/国家车联网汽车网络安全部分的技术及标准规范的研究工作 任职要求： 1、本科以上学历，信息安全，计算机，通信等相关专业； 2、 拥有网络安全专业技能，熟悉车载网络架构，模块及协议； 3、 熟悉常见网络/车辆安全漏洞，掌握漏洞原理以及解决方案具备独立开展渗透工作的能力； 4、 熟悉常见黑客攻击手法，具备对黑客行为的入侵检测能力； 5、 精通安全测试框架，理解网络，应用，数据等不同层面的安全。
数据对接工程师： 岗位职责： 1、负责内部系统的对接工作； 2、第三方平台的数据对接及程序维护； 3、负责各车型的数据采集要求整理及规划； 4、熟悉数据结构和常用算法，有良好的代码规范，能对接入数据/系统提出优化方案 任职要求： 1、 本科以上学历，信息化项目，计算机，无线传输等相关专业； 2、拥有信息化相关技能，熟悉系统间的交互对接流程； 3、熟悉数据库的管理及查询、同步工作； 4、熟悉信息对接的方式，能用api、视图等进行对接工作 java大数据开发工程师职位描述与岗位职责任职要求 职位描述： 职责描述： 1. 精通java开发、熟悉restful和maven，精通主流java web开发框架spring、spring boot、spring data jpa、logback、mybatis； 2.熟悉对常用关系型数据库和hdfs、hive，kafka、storm等读写操作，性能优化; 3. 具备系统架构设计能力，具备较强的java程序调优能力及数据库设计和sql调优能力，具备良好的沟通能力； 4. 熟悉多线程编程、熟悉junit单元测试； 阿里健康-合资公司-大数据开发工程师职位描述与岗位职责任职要求 职位描述： 岗位职责： 1、负责公司数据平台项目的etl设计、实现以及优化。
2、负责etl流程优化，关键问题解决； 3、研究医院信息化数据，负责数据建模、数据存储设计； 4、使用etl技术对医院信息系统数据进行提取、清洗、转换和整合； 5、负责基于hadoop/spark生态的大数据离线/实时处理平台开发; 6、负责基于阿里云的maxcompute的大数据离线处理平台开发; 7、负责数据源调研、入库、开发的全流程工作，并保证数据质量； 岗位要求： 1、有2年以上医疗行业数据建模经验；了解数据建模方法论，并且在项目中实践甚至优化扩展；有大型项目建模经验优先；对数据模型有独到理解； 2、熟悉大数据平台，了解hadoop、hive、hbase，有大型数据中心运维经验或实施经验者优先； 3、2年以上医院业务信息化实施开发经历优先 ；有his、emr开发经验优先； 4、有数据仓库etl经。