大数据开发工程师职责3篇【完整版】

大数据开发工程师的职责1　　职责：　　1.结合项目或产品涉及的具体业务场景，对数据进行清洗、计算与加工;　　2.思路清晰，可快速响应数据处理的需求，评估并给出合理的解决方案，并采用合理的方式处理需求下面是小编为大家整理的大数据开发工程师职责3篇【完整版】,供大家参考。

大数据开发工程师的职责1

　　职责：

　　1.结合项目或产品涉及的具体业务场景，对数据进行清洗、计算与加工;

　　2.思路清晰，可快速响应数据处理的需求，评估并给出合理的解决方案，并采用合理的方式处理需求;

　　3.积极主动，能够与团队成员进行有效沟通，并完成数据处理结果的核对与对接;

　　4.完成上级交办的工作或任务。

　　岗位要求

　　1.计算机相关专业大专以上学历;

　　2.2年以上大数据产品或项目开发经验，精通Hadoop生态圈，熟练使用Spark，HBase、Hive、Kafka、Redis等;

　　3.精通SQL，熟练使用HSQL实现复杂数据处理逻辑，并具备数据处理调优的能力;

　　4.熟悉Linux开发环境，熟悉Linux的shell命令。

　　5.具有良好的逻辑思维能力和严谨的程序开发思想，具备独立问题排查与处理的能力;

　　6.良好的.团队精神和合作意识，强烈的责任心，对工作有激情，良好的沟通能力，能吃苦耐劳;

　　7.有大数据项目或产品背景者优先;

　　8.有使用Spark SQL进行数据处理，并具有Spark SQL优化经验者优先。

　　9.有Python或者Shell脚本开发经验优先

大数据开发工程师的职责2

　　职责：

　　1、负责完成业务和产品的对接，支持业务需求研发;

　　2、负责完成产品的迭代升级以及底层架构的升级研发;

　　3、完成团队安排的其他相关日常工作任职要求;

　　4、负责产品的实时业务和离线业务的研发;

　　5、支持开源大数据技术在数据系统中的使用，修复、优化增强大数据技术;

　　岗位要求：

　　1、具有分布式系统架构开发能力，熟练使用storm、spark hbase者优先。

　　2、能够使用实时计算*台，进行实时业务数据的研发。

　　3、能够基于已有*台进行离线业务的开发。

　　4、有大数据应用产品研发经验，具有数据决策产品研发经验者优先。

大数据开发工程师的职责3

　　职责：

　　1、负责数据中心和大数据处理*台的搭建

　　2、在线和离线海量数据分析*台的开发;

　　3、研究大数据前沿技术，提升系统的运维效率;

　　4、参与大数据的采集、存储、处理，分析等开发

　　5、参与数据挖掘算法的设计、对海量数据进行挖掘分析和发掘数据价值及算法学习及实现

　　【任职要求】：

　　1、计算机或相关专业本科学历及以上，2年工作经验以上

　　2、熟悉Java/Scala等至少一门语言，能对分布式常用技术进行合理应用，解决实际架构问题

　　3、熟练使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume等大数据开发组件

　　4、熟悉整个大数据的完整处理流程，包括数据的采集、清洗、存储、分析和可视化及报表开发;

　　5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;

　　6. 具有优秀的学习能力、独立分析和解决问题能力，良好的团队合作精神。

　　7. 有BI开发经验的优化考虑。

推荐访问:职责 工程师 数据 大数据开发工程师职责3篇 大数据开发工程师的职责1 大数据开发工程师岗位职责 大数据开发工程师主要做什么 大数据开发工程师岗位要求