您的位置:群走网>实用资料>岗位职责>数据架构师岗位职责
数据架构师岗位职责
更新时间:2024-09-26 00:36:49
  • 相关推荐
数据架构师岗位职责

  在当下社会,岗位职责对人们来说越来越重要,岗位职责主要强调的是在工作范围内所应尽的责任。什么样的岗位职责才是有效的呢?下面是小编为大家收集的数据架构师岗位职责,仅供参考,大家一起来看看吧。

数据架构师岗位职责1

  1.负责大数据基础和应用平台的整体规划和架构设计,参与需求分析,架构设计,详细设计以及技术选型决策

  2.参与数据挖掘和建模相关核心算法的`代码实现

  3.负责大数据算法平台的技术把关,性能调优,控制架构质量,解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

  4.带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力,支持解决方案实施

  5.负责数据库设计、应用架构设计、核心技术选型等工作

  6.协调解决开发中的技术问题、设计和监控运营指标,保障系统稳定运行

  7.培养,指导有能力的员工,指导工程师进行技术验证实现,核心技术攻关,解决开发过程中的技术难题

数据架构师岗位职责2

  职责:

  1、负责大数据开发团队建设;

  2、负责行业大数据产品架构设计与研发;

  3、负责带领团队进行行业大数据产品关键技术攻关。

  任职要求:

  1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验,对数据挖掘及机器学习有较为深刻的理解;

  2、熟悉Hadoop相关技术,对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;

  3、熟悉Linux,熟练使用Shell或Python,进行脚本编写;

  4、对数据结构和数据统计分析算法有较为深刻理解;

  5、掌握至少一种主流关系数据库开发技术:Oracle、SQL Server、MySQL等;

  6、掌握实时流计算技术,有Spark、Storm开发经验者优先;

  7、需要具备2年以上研发团队管理经验。

数据架构师岗位职责3

  职责:

  1、负责公司的大数据处理框架的研发设计工作,梳理可实现方案和技术规范;

  2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;

  3、负责业务平台数据统计分析模块的设计与规划;

  4、负责公司产品研发过程中的数据及存储设计;

  5、带领和培养团队完成组织分解的目标;

  任职要求:

  1、统招本科及以上学历,计算机、软件工程相关专业,至少8年以上工作经验,5年以上大数据开发经验;

  2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的`基础架构

  3、熟悉数据仓库,数据算法,分布式计算技术理论,具有大数据整体系统架构设计经验;

  4、熟悉Linux系统,熟练使用shell/perl/python脚本处理问题;

  5、对深度学习框架(Tensorflow)和机器学习(svm随机深林贝叶斯等)有一定了解的优先;

  6、能够组织项目开发组协同工作,包括团队沟通、计划、开发环境管理等

数据架构师岗位职责4

  岗位职责:

  1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化;

  2、负责解决项目上线后生产环境的各种实际问题,保障大数据平台在生产上的安全、平稳运行;

  3、推动优化跨部门的.业务流程,参与业务部门的技术方案设计、评审、指导;

  4、负责技术团队人员培训、人员成长指导。

  5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公,月底项目结束后在总部公司办公

  任职要求:

  1、熟悉linux、JVM底层原理,能作为技术担当,解决核心技术问题;

  2、3年以上大数据平台项目架构或开发经验,对大数据生态技术体系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;

  3、掌握git、maven、gradle、junit等工具和实践,注重文档管理、注重工程规范优先;

  4、熟悉Java后台开发体系,具备微服务架构的项目实施经验,有Dubbo/Spring cloud微服务架构设计经验优先;

  5、性格开朗、善于沟通,有极强的技术敏感性和自我驱动学习能力,注重团队意识。

数据架构师岗位职责5

  1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

  2、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

  3、负责核心模块研发,负责大数据平台的.搭建,完成系统调试、集成与实施;

  4、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码;

数据架构师岗位职责6

  1、正确理解业务需求,对需求进行工作量评估;

  2、参与项目相关的'需求、设计、投产手册等文档的编写;

  3、根据进度计划,完成所承担功能模块的设计、开发、单元测试、联调测试;

  4、配合测试组修复代码缺陷,确保功能实现与代码质量;

  5、负责所承担功能模块投产、部署,及上线后的日常维护;

  6、完成项目经理或者架构师安排的其他工作;

数据架构师岗位职责7

  岗位职责:

  1、负责面向政府信领域的企业(不限于)大数据平台、大数据应用等系统的架构设计、技术规划、技术选型

  2、跟进业界大数据技术发展动态,匹配行业应用诉求,制定大数据策略,提前识别关键技术并完成技术验证;

  3、支撑售前完成项目解决方案技术架构的设计及重要客户的交流;

  4、负责指导研发完成大数据产品的开发

  5、带领团队进行产品核心技术的'创新和积累

  岗位要求:

  1、熟悉BI和大数据领域的解决方案,具备该领域全面的技术积累,包括报表平台,OLAP引擎和DB,ETL,数据仓库建模和设计,海量分布式数据处理分析架构;

  2、在大数据处理和分析领域具有3年或者以上的技术规划、架构设计经验,并有成功的项目实践;

  3、4年以上Hadoop实战经验,熟悉Hadoop底层文件系统及分布式计算框架,具备传统数据仓库、MPP、Hadoop等混搭平台架构的设计能力和数据建模能力,对大规模数据并行计算、传输、处理等有丰富的经验;

  4、有实际应用storm、spark、flume、kafka等项目经验优先;

  5、卓越的技术领导力,善于沟通、发现和解决产品需求阶段、开发阶段和测试阶段的问题,并能提供合理解决方案,有大中型互联网企业工作背景优先。

数据架构师岗位职责8

  职责:

  1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;

  2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;

  3、进行大数据系统框架设计、模型算法开发;

  4、负责大型数据挖掘项目方案制定、项目实施落地及优化等;

  5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

  任职资格:

  1、本科以上学历(持有学士学位)(985,211优先),计算机相关专业,五年工作经验;

  2、二年以上数据挖掘项目经验,完整参与过数据挖掘大数据平台的架构开发过程,具备互联网行业背景优先;

  3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验,熟练掌握Hive/SQL,Python,熟悉Python、R相关数值科学计算库(NumPy,SciPy等);

  4、了解传统的'BI/DW理论,能结合传统BI实践设计大数据平台;

  5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理,具备应用场景经验,如用户画像、商品关联度分析、舆情分析;

  6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;

  7、具备较强的逻辑思维能力、数据敏感度,擅于利用数据发现问题及解决问题;

数据架构师岗位职责9

  1、数据分析软件平台架构搭建

  2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

  3、指导开发人员开发,并解决系统出现的问题,理解物业需求;

  4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;

数据架构师岗位职责10

  职责:

  1、负责大数据基础平台的整体规划和架构设计,参与需求分析、技术决策以及详细设计;

  2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;

  3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;

  4、持续挑战新的技术方向,攻克大数据量,高并发,稳定性等各种技术难点。

  任职资格:

  1、计算机或相关专业本科及以上学历;

  2、5年以上hadoop的应用开发经验,5年以上数据仓库开发实践经验,至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;

  3、良好的.编程开发能力,精通PHP及其他开发语言;

  4、熟悉mysql等数据库经验,具备优秀的SQL编写、调优能力;

  5、熟练掌握Linux常规命令与工具,精通shell, perl, python等脚本语言至少一种;

  6、软件基础理论知识扎实,具有良好的数据结构、算法功底;

  7、对新技术敏感,学习能力强,乐于接受挑战,具有良好的团队合作精神;

数据架构师岗位职责11

  1、负责大数据项目技术架构评估与设计;

  2、负责关键功能的开发,技术难题的解决,以及输出代码的.关键把控;

  3、负责对使用关键技术的预研和选型,完成PoC;

  4、指导工程师完成开发工作,并能分享技术经验。

数据架构师岗位职责12

  岗位职责:

  1、负责规划大数据平台及应用产品的需求和技术方案设计;

  2、负责数据对接和对外服务设计、开发和维护,并能保证质量和性能;

  3、负责基于大数据平台的应用设计、开发和维护;

  4、能从系统全局和各子系统的角度思考可能存在的'问题,并提出改进方案建议;

  任职要求:

  1、大学本科6年以上工作经验,计算机相关专业。

  2、至少4年以上的Java开发经验,3年以上大数据应用系统的开发和设计经验。

  3、熟悉Hadoop生态圈技术体系,对离线计算、内存计算和流式计算均有深刻理解,如Hadoop、Storm、Spark三个中的任意二个,能进行平台和组件优化。

  4、精通Hive、HBase仓库设计,深刻理解MR运行原理和机制,能进行以提供高任务执行效率的优化。

  5、精通Java开发,熟悉JVM调优,对GC有深刻理解。

  6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相关技术,能进行hbase可靠性诊断和维护。

  7、快速研究和学习技术能力。

数据架构师岗位职责13

  岗位职责:

  1、负责公司大数据平台架构的技术选型和技术难点攻关工作;

  2、依据行业数据现状和客户需求,完成行业大数据的特定技术方案设计与撰写;

  3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享;

  4、参与公司大数据项目的'技术交流、解决方案定制以及项目的招投标工作;

  5、参与公司大数据项目前期的架构设计工作;

  任职要求:

  1、计算机及相关专业本科以上,5年以上数据类项目(数据仓库、商务智能)实施经验,至少2年以上大数据架构设计和开发经验,至少主导过一个大数据平台项目架构设计;

  2、精通大数据生态圈的技术,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先;

  3、优秀的方案撰写能力,思路清晰,逻辑思维强,能够根据业务需求设计合理的解决方案;

  4、精通ORACLE、DB2、mySql等主流关系型数据库,熟悉数据仓库建设思路和数据分层架构思想;

  5。熟练掌握java、R、python等1—2门数据挖掘开发语言;

  6。熟悉云服务平台及微服务相关架构思想和技术路线,熟悉阿里云或腾讯云产品者优先;

  7、有烟草或制造行业大数据解决方案售前经验者优先;

  8、能适应售前支持和项目实施需要的短期出差;

数据架构师岗位职责14

  1. 负责大数据平台的基础技术规划,编制相关规范文档。

  2. 负责大数据平台的数据采集,处理,存储以及挖掘分析的'架构实现。

  3. 负责大数据平台的实际规划建设,包括环境和框架的规划搭建以及部分核心编码工作。

  4. 负责大数据相关技术发展方向的预研。

  5. 参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目。

  6. 制定大数据平台中数据质量,业务质量监控及管理办法。

  岗位要求:

  1. 全日制本科及以上学历,5年以上工作经验,4年及以上大数据架构设计经验,熟悉大数据解决方案,包括Hadoop平台、Spark、storm、机器学习、深度学习等大数据解决方案。

  2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。

  3. 精通大型数据库Oracle、SqlServer等的开发。

  4. 精通java,Python中的一种或多种语言。

  5. 熟悉容器、虚拟化、微服务框架等相关技术。

  6. 对数据敏感,有严谨的工作思路,良好的沟通能力和团队合作精神。

  7. 熟悉R,Python,SAS、SPSS等数据挖掘经验者优先。

  8. 高宽展性,高性能,和分布式系统的实践及运维经验者优先。

  9. 有大型数据仓库实施、大数据平台数据开发经验,熟悉运营商业务者优先。

数据架构师岗位职责15

  1.深刻理解政府行业业务模式,构建政府行业的数据模型,制定公司大数据技术发展路线;

  2.对接业务研究和技术部门,主动搜集和转化需求,组织数据中心业务开发,进行数据相关产品需求分析和设计;

  3.搭建数据仓库,研发数据库管理系统,搜集、提取、处理业务积累的海量数据,开展数据分析和挖掘;

  4.根据公司战略和发展需要,规划数据中心重点工作和任务;落实部门人员、事务管理,开展跨部门、跨地区协作,协助对外交流与合作。

【数据架构师岗位职责】相关文章:

数据架构师岗位职责(通用21篇)10-19

架构师岗位职责01-25

软件架构师岗位职责10-27

软件架构师的岗位职责06-06

系统架构师岗位职责07-08

Java架构师岗位职责10-06

Java架构师的岗位职责01-15

软件架构师的岗位职责08-27

前端架构师的岗位职责09-16