数据工程师岗位岗位职责

数据工程师岗位岗位职责

更新时间：2024-08-02 14:47:53

相关推荐

数据工程师岗位岗位职责

　　在不断进步的时代，需要使用岗位职责的场合越来越多，制定岗位职责有助于提高内部竞争活力，提高工作效率。那么你真正懂得怎么制定岗位职责吗？以下是小编收集整理的数据工程师岗位岗位职责，希望对大家有所帮助。

数据工程师岗位岗位职责1

　　职责：

　　1、对通信和金融业务数据进行分析和挖掘，满足研发和运营等部门的'业务需求和决策需求;

　　2、能根据业务特点选择最合适的数据挖掘算法，并做调优;

　　3、支持数据分析、挖掘算法平台的部署和日常运营;

　　4、撰写分析类报告。

　　任职资格：

　　1、大学本科或本科以上统计学、数学或其他相关专业，对数据结构熟悉;

　　2、熟练使用python进行数据分析、处理、可视化。熟悉numpy/pandas/matplotlib等常用模块。熟练使用sql,最好用过hive-sql或spark-sql;

　　3、对hadoop/spark有一定了解。能够简单使用hadoop系列命令;

　　4、对线性回归，决策森林，xgboost，评分卡等数据挖掘相关算法有一定了解;

　　5、做过web接口调试，熟悉json者优先;

　　6、熟练掌握PPT和EXCEL制作;

　　7、具备良好的学习、沟通与表达能力，具有较强的团队合作精神，对工作富有热情，能承受工作压力;

　　8、有运营商或金融类相关数据经验工作优先考虑;

　　9、能适应中长期现场出差。

数据工程师岗位岗位职责2

　　职责：

　　1.有独立工作能力，工作踏实认真，以及较强的团队协作精神。

　　2.负责日志大数据平台的搭建和规划;

　　3.在总体架构设计下，完成日志大数据产品的设计、搭建、维护和调优，技术文档的编写与维护;

　　4.参与业务日志的大数据分析;

　　5.及时反馈开发中遇到的'难点问题，沟通并寻求解决方案，按阶段有计划地完成开发任务

　　任职资格:

　　1、计算机等相关专业本科以上学历，2年以上开发经验;

　　2、熟悉linux操作系统，熟悉shell脚本语言，精通Java，有较强的开发能力;

　　2、熟练使用SQL，熟悉Mysql、MongoDB、Hive等数据库技术的基本操作及原理;

　　3、熟悉Hadoop/Spark生态系统组件的使用，至少有1年的Spark(Core/Streaming/SQL)开发经验;

　　4、熟悉Elastic产品线(如Elasticsearch、Kafka、Kibana、Logstash)的使用方法，了解常见优化方案，熟悉Elasticsearch部署、监控及性能调优;

　　5、熟悉数据挖掘、机器学习、网络数据分析等技术优先;

数据工程师岗位岗位职责3

　　1、负责构建体系框架，公开数据等进行分析，挖掘特征；

　　2、负责大数据产品的规划，需求分析和产品设计和定义；

　　3、基于现有真实用户行为数据，能够从数据中发现能源的需求和业务场景；

　　4、参与业务部门临时数据分析需求的'调研、分析及实现；

　　5、监测分析产品运营状况，持续优化产品功能改造和业务拓展方向，提出和落实产品优化改造方案。

　　6、撰写专题大数据分析报告。

数据工程师岗位岗位职责4

　　职责：

　　1、负责公司大数据平台建设;

　　2、根据业务需求，制定数据仓库和数据分析平台的`实施和持续更新;

　　3、攻克技术难关，保证大数据系统的稳定运行;

　　4、完成大数据产品的开发。

　　职位要求：

　　1、计算机相关专业全日制专科及以上学历，大数据相关经验;

　　2、熟悉Java或Scala语言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大数据相关技术;

　　3、精通SQL语句并对Redis，Mongodb等NoSQL数据库有一定经验;

　　4、对于高并发、高稳定可用性、性能、大数据处理有过实际项目产品经验者优先;

　　5、责任心强，工作踏实，有团队协作精神，沟通能力强者优先。

数据工程师岗位岗位职责5

　　职责：

　　1、对海量业务数据进行分析，并利用算法挖掘用户行为特征，发现潜在规律，建立机器学习算法并优化;

　　2、利用数据挖掘技术分析、预测用户的消费行为;

　　3、建立各种业务逻辑模型和数学模型，帮助公司改善运营管理，节省成本。

　　任职要求：

　　1、大学本科及以上学历;

　　2、统计学、会计学、数学、物理等相关专业;

　　3、本科5年以上同岗位工作经验，研究生3年以上同岗位工作经验;

　　4、对统计学和数据挖掘算法原理有较为深刻的`理解，了解数据仓库思想，熟悉SPSS、SAS、R、MAHOUT等数据挖掘软件之一;

　　5、熟悉决策树、聚类、逻辑回归，关联分析、SVM，贝叶斯等数据挖掘算法，有海量数据挖掘的项目经验;

　　6、有用户行为分析、用户建模、业务建模、数学建模经验优先;

　　7、良好的逻辑分析能力、分析问题和解决问题的能力，对数据敏感，良好的沟通能力。

数据工程师岗位岗位职责6

　　职责：

　　1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发；

　　2、针对部门大数据业务进行大数据分析、挖掘等产品应用的'开发；

　　3、大数据平台各类数据业务抽象及模型化；

　　4、参与大数据管理平台的开发及维护；

　　5、负责大数据平台数据及相关的应用开发，调优及维护；

　　6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题；

　　7、良好的团队合作与沟通能力。

　　任职要求：

　　1、本科及以上学历，2年以上大数据应用开发经验；

　　2、具备Java、Python、Scala其中两种语言的开发经验；

　　3、了解泛Hadoop大数据生态圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术，并有实际的项目开发经验，有相关源码研究者优先；

　　4、具备ETL开发与运维能力，有Flume、kettle经验优先；

　　5、熟悉大数据平台的搭建过程，熟悉数据处理流程，有TB级以上数据处理经验优先，有实时数据处理经验者优先；

　　6、熟悉离线和实时数据处理流程，熟练使用Spark，Flink处理TB级数据优先；

　　7、熟悉Linux系统环境，有shell等脚本编写经验，熟悉Mysql、PostgreSql、Oracle等常用关系数据库，熟练编写SQL语句；

　　8、熟悉Yarn，Kubernetes，Azkaban等资源调度框架者优先；

　　9、熟悉Datax的二次开发，并有实际开发经验优先。

数据工程师岗位岗位职责7

　　职责：

　　1、参与市场营销分析、策划、规划和数据分析工作；

　　2、根据分析、诊断结果，建立分析模型并优化，为运营决策、产品方向、销售策略等提供数据支持；

　　3、利用专业数据分析、挖掘工具进行数据建模；

　　4、有相关工作经验1年以上。

　　任职要求：

　　1、硕士以上学历，有较强的数学功底和扎实的统计学、数据挖掘功底；

　　2、掌握SQL语句，熟悉Oracle，具备数据处理能力；

　　3、精通常用数据挖掘工具软件R / SPSS Clementine / SAS/Python等工具之一，掌握聚类分析、方差分析、相关分析、回归分析、关联规则、决策树、随机模型等常用数据分析方法以及经典的数据挖掘算法，具备一定的基础可自编挖掘算法；

　　4、有较强的.市场敏感度，分析能力强；

　　5、具备良好的职业素质与敬业精神，注重团队合作，擅长沟通表达；

　　6、 1年或者以上零售或服装行业客户关系管理从业经验（奢侈品行业优先）；有数据挖掘项目实施经验者优先，有营销知识，理念和实践者优先。

数据工程师岗位岗位职责8

　　1、负责部分化验设备的周期内部比对，收集比对数据，数据有异常波动时及时采取措施予以解决一般性故障，并告知部门领导。

　　2、负责样品的.收集管理登记和对外样品的递送、打包、邮寄。

　　3、负责出口COA的制作和传递。

　　4、负责对本部门内检验岗位进行测试比对，统一并矫正各驻厂检验室检测标准；做好与上海AT化验数据的比对测试。

　　5、协助做好化验设备维修保养和定期周检工作，按要求维修保养、周检和送检。

　　6、每月汇总和打印成品、原材料分析月报，统计原材料得分表。

　　7、做好公司组织试验部分数据的输入与传递、。

数据工程师岗位岗位职责9

　　职责：

　　1、为用户提供服务器技术服务，在分公司主管和公司业务部门的领导下，开展技术咨询、项目支持工作；

　　2、负责总公司在分公司市场开展业务所需要的技术工作；

　　3、协调分公司当地技术活动与总公司相应部门的协调；

　　4、配合分公司完成全年的销售任务；

　　5、履行各业务部的.技术要求，加强项目管理。

　　6、能够充分了解用户各个系统、存储、服务器、网络等情况，并结合高校用户实际情况提出可行的优化建议；、了解网络相关知识，熟悉TCP/IP协议线，有调试过交换机、路由器、防火墙、各类安全产品经验优先，有HCNP或等同以上证书优先。

　　任职条件：

　　（1）本科以上学历，计算机相关专业，具有一年以上计算机通信等相关工作经验者优先（优秀应届毕业生亦可）；

　　（2）掌握存储、服务器等技术和解决方案；

　　（3）具有撰写标书的工作经验，从事过大型网络的设计、施工或维护工作；

　　（4）具有项目管理经验，能够按照ISO9001及相应要求进行项目管理；

　　（5）具有较强的学习能力和表达能力；

数据工程师岗位岗位职责10

　　职责：

　　1.建设公司级数据仓库，并根据业务变化持续迭代和优化;

　　2.对业务数据进行梳理和抽象，建设数据仓库的数据模型;

　　3.对业务数据进行采集、清洗、转换和存储;

　　4.支撑BI、用户数据、用户运营、用户画像、房源数据、推荐系统等核心数据平台产品;

　　5.研究大数据前沿技术，不断持续优化大数据平台，为业务提供价值。

　　任职资格:

　　1.本科及以上计算机、统计学、数据库、机器学习等相关专业，5年以上数据相关工作;

　　2.对业务数据有敏锐的理解能力，并能快速梳理和分析业务数据;

　　3.熟练掌握SQL语言、熟悉MySQL，对Shell、Java(主要开发语言)、Python编程非常熟悉;

　　4.熟悉常用的ETL技术和原则;精通数据仓库数据库设计规范和实操;

　　5.熟悉Hadoop、Hive、HBase、Spark、Storm等开源平台者优先;

　　6.具有较强的分析和解决问题的.能力，良好的学习能力和团队合作精神，追求价值实现，认同目标管理和敏捷。

数据工程师岗位岗位职责11

　　职责：

　　1、规划及建设大数据平台;

　　2、负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作;

　　3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;

　　4、参与项目的系统设计和核心代码开发，指导和培训其他工程师;

　　5、整理和提交技术文档，负责核心功能模块的代码编写和测试工作。

　　岗位要求：

　　1、计算机、统计学等相关专业本科及以上学历，具有深厚的.数学、统计学和计算机相关知识，精通数据仓库和数据挖掘的相关技术，3年以上大数据开发相关经验;

　　2、具有非常扎实的Java基础，熟悉Shell、Python、R、Scala等一种以上语言;

　　3、算法基础扎实，熟悉常见的数据结构，了解分布式算法和分布式系统的技术原理;

　　4、精通MapReduce设计方法或Spark计算框架、对NoSQL，Hadoop、Hbase、Spark、Hive等主流云计算，大数据相关软件有充分的了解，并且有实践经验，能解决应用中的复杂问题;

　　5、熟悉大数据处理相关技术，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;

　　6、研读过Hadoop、Hbase、Hive源代码者，能够在特定业务中进行定制改造者优先;

　　7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。

数据工程师岗位岗位职责12

　　职责：

　　1.根据公司业务需求，进行数据开发及报表制作;

　　2.参与BI、大数据平台体系建设;

　　3.文档整理，包括ER图、原型设计、数据字典整理等;

　　岗位要求：

　　1.本科或以上学历，计算机相关专业，2年及以上工作经验;

　　2.熟练使用主流数据库(如ORACLE/PostgreSQL/MYSQL等)，掌握SQL查询优化方法;

　　3.熟悉HADOOP生态，能够熟练使用HIVE/HBASE/SPARK进行数据开发;

　　4.掌握JAVA或PYTHON，会TABLEAU/KYLIN/帆软等BI工具者优先;

数据工程师岗位岗位职责13

　　服务器开发工程师(python数据方向) ihandy北京汉迪移动互联网科技股份有限公司,ihandy,ihandysoft,汉迪?岗位职责

　　?负责开发推荐系统的业务后端

　　?支持各种业务开发、架构设计和性能调优

　　?职位要求

　　?精通python,有python web相关开发经验

　　?有高并发的设计和实现经验

　　?具有极强的.编码能力和工程实践能力

　　?至少熟悉一种数据库(sql/nosql),至少熟悉一种缓存组件(redis/memcached)

　　?了解推荐系统lambda架构者优先

　　?有hadoop/spark等大数据处理经验者优先

数据工程师岗位岗位职责14

　　职责：

　　1.根据业务场景要求设计数据挖掘模型，包括有监督、无监督类模型，以及偏好、价值评估类模型、组合最优化类模型等

　　2.通过数据挖掘手段进行标签化工作

　　3.根据数据挖掘方法论完成数据挖掘全流程建模工作

　　4.自主开展模型效果评估，并不断优化

　　5.开展数据挖掘模型产品化工作

　　6.带领产品(或项目)团队进行技术攻关

　　7.主导数据挖掘相关解决方案编写、客户交流

　　任职资格：

　　1.本科及以上学历

　　2.熟悉SPARK ML

　　3.精通Python技术

　　4.精通数据挖掘常用算法以及神经网络算法

　　5.精通SQL数据处理，包括关系型数据库，以及Hive SQL、Spark SQL处理

　　6.三年以上数据挖掘设计、开发经验

　　7.具备独立研究以及解决问题的能力

　　8.较强的PPT方案撰写以及呈现能力

　　9.较强的.沟通协调和执行能力，能够承受较大的工作压力

　　10.较强的工作责任心和客户服务意识

数据工程师岗位岗位职责15

　　职责：

　　1、整合基础业务数据，对基础数据库进行更新维护，参与部门常规报表开发与维护；

　　2、负责数据集市规划，开发及维护；

　　3、处理各业务模块数据需求，为业务运营提供数据分析方面咨询和建议；

　　4、负责搭建并完善业务指标监控体系，为管理层和运营层提供决策支持；

　　5、负责数据分析和应用相关的`业务系统建设，编写对应系统开发需求，并完成系统测试及应用推广。

　　职位要求

　　1、两年以上工作经验，本科以上学历，计算机相关专业优先；

　　2、具有良好统计学及相关领域的理论基础，熟悉数理统计、数据分析工作方法，具有较强的数据分析能力；

　　3、精通SQLPython语言，有银行数据仓库，数据集市开发经验者优先；

　　4、具备较强文字分析和数据处理能力，能独立编写数据分析报告；

　　5、具备开阔的互联网业务思维，对数据敏感，有较好的业务开拓和沟通表达能力。

【数据工程师岗位岗位职责】相关文章：