当前位置:首页 > 专题范文 > 公文范文 >

数据仓库工程师工作职责热门10篇(全文)

时间:2023-07-04 13:30:07 来源:网友投稿

数据仓库工程师工作职责第1篇职责:负责数据仓库架构设计与开发根据业务调研,设计信息模型与数据模型,负责大数据建模、ETL、数据产品及平台的设计与开发满足业务数据需求,设计面向业务的数据集市模型需求的沟下面是小编为大家整理的数据仓库工程师工作职责热门10篇,供大家参考。

数据仓库工程师工作职责热门10篇

数据仓库工程师工作职责 第1篇

职责:

负责数据仓库架构设计与开发

根据业务调研,设计信息模型与数据模型,负责大数据建模、ETL、数据产品及平台的设计与开发

满足业务数据需求,设计面向业务的数据集市模型

需求的沟通与数据开发项目管理

基于Hadoop生态的程序设计、开发和维护

岗位要求:

熟悉SQL语言,至少熟悉Oracle、MySQL、SQL sever一种及以上

精通数据库系统(Oracle、SQL、mysql等):精通熟悉Oracle数据库体系结构,基础扎实;精通熟悉DataGuardRAC等高可用技术,能顺利的配置和管理dataGuard;精通熟悉Oracle的备份与恢复技术;熟悉SQL和PLSQL,能编写日常维护需要的脚本

从事过数仓逻辑模型、物理模型设计与实施等工作

有使用Hive、Hbase、kettle等相关应用经验更佳

数据仓库工程师工作职责 第2篇

职责:

1、参与据仓库的长期架构规划,与数据开发,建设共享大数据平台;

2、负责数据平台相关数据管理工作,如研发规范、质量规范、保障规范的制定与推动实施落地;

3、负责来自业务团队数据需求的研发支撑;

4、大规模数据挖掘和机器学习算法的实现和维护;

5、在线和离线海量数据分析平台的开发;

6、负责数据仓库的建设和维护,包括需求调研分析、软件规划、概念模型、设计逻辑、物理模型、数据处理(抽取、清洗、转化)、项目实施管控等;

7、负责制定数据接入和采集规范制定。

任职要求:

1、从事数据仓库领域工作2年以上;

2、熟悉数据建模、ETL设计与应用、报表开发等,并有实际模型设计及ETL开发经验 ;具有良好的编程习惯和文档编写习惯;

3、熟悉数据仓库领域知识和管理技能,包括但不局限于:元数据管理、数据质量、性能调优等;

4、掌握大型数据库开发技术,如Oracle、Teradata、DB2、Mysql等等掌握至少其中一种,灵活运用SQL实现海量数据ETL加工处理;

5、了解大数据基础架构和平台 ,具备相关产品(Hadoop、Hive、HBase、Pig、Sqoop、Spark等)项目应用研发经验,有MapReduce开发的实战经验者优先考虑;

6、熟悉linux系统;

7、熟练掌握python语言;

8、熟悉数据可视化的基本方法,有数据可视化的开发经验优先;

9、对数据敏感,具有良好的逻辑分析、责任心强、良好的对外沟通和团队协作能力

数据仓库工程师工作职责 第3篇

职责:

负责数据仓库建设、设计、优化和落地

负责数据ETL任务开发及日常维护

对数据ETL任务进行性能调优及性能瓶颈分析

学习新技术,提高整个平台的计算能力和效率

任职要求:

计算机相关专业,全日制本科及以上学历,2-5年工作经验

熟悉数据仓库理论基础,对数据模型建设、应用层建设有比较丰富的经验

熟练使用 SHELL或PYTHON

熟悉HADOOP相关的大数据技术:HDFS, MAPREDUCE, HIVE

能对HIVE进行性能分析及调优

有MAPREDUCE开发经验优先

良好的沟通能力、组织协调能力、应变能力, 极强的责任心、学习能力。

数据仓库工程师工作职责 第4篇

职责:

1、 参与数据仓库及ETL基础架构规划、安全规划制定;

2、 负责数据仓库及ETL的开发、测试和优化,并及时解决相关技术问题;

3、 负责相关数据准确性验证及报表等日常维护;

4、 报表性能优化:对存在性能问题的数据报表进行优化;

5、 数据运维:及时处理线上问题;

6、 完成上级交代的其他工作。

岗位要求:

计算机相关专业本科及以上学历,2年以上ETL开发或数仓相关工作经验;

熟练使用Oracle、MySQL、PostgreSQL等主流数据库,具有较强的SQL编写、优化能力,熟悉存储过程编写;

熟悉数据仓库数据处理流程,有一定的数据建模能力;

具有良好的沟通理解能力,能根据业务提出的需求,快速理解并落地实施;

有Kettle、Greenplum开发经验者优先。

数据仓库工程师工作职责 第5篇

职责:

负责直播业务相关数据仓库的数据模型设计;

参与数据仓库ETL流程设计、开发和优化,解决ETL过程相关技术问题;

参与项目规划,数据采集设计,数据仓库开发,模型开发,报表开发等;

总结数据仓库建模的方法,负责数据产品平台化和系统化;

任职资格:

2年及以上的数据仓库/BI相关研发经验,对数据和业务敏感,有较好的数据模型设计能力;

熟悉数据仓库各类模型建模理论,了解数据仓库数据分层架构,多维数据模型设计;

熟练使用Hadoop/Spark/Hive/HBase/Mysql,有列式数据库/Kylin/ElasticSearch等经验者优先;

有较强的编程能力和编程经验,至少熟悉Java/Scala/Python/PHP等其中一门编程语言;

参与过大型数据仓库架构设计、模型设计、ETL设计,具备海量数据处理、性能调优经验;

学习能力强,热衷开源技术,有团队观念,具备独立解决问题的能力;

数据仓库工程师工作职责 第6篇

职责:

1 负责大数据平台、数据仓库多维模型设计

2 负责大数据平台相关生产系统数据的抽取、清洗、转换等工作

3 负责BI平台设计与报表开发工作

岗位要求:

1、精通数据仓库建模理论,有参与过2个以上的数据仓库建设经验;

2、精通ETL开发,熟悉数据的抽取、常用数据脚本编写、存储过程的编写;

3、熟悉BI平台,有数据报表设计和开发经验;

4、熟悉SQL,掌握Oracle、PostgreSQL、MySql等至少一种主流关系数据库;

5、具备良好的团队协作精神,良好的沟通能力;

6、供应链、物流行业数据从业经历者优先。

数据仓库工程师工作职责 第7篇

职责:

1、基于互联网行业特点构建企业级数据仓库架构,建设PB级共享数据平台;

2、负责数据平台相关数据研发及管理工作,参与制定EDW相关规范并推动实施落地;

3、对海量数据处理的相关需求进行评估及方案设计;

4、负责数据产品如用户画像等模型设计;

5、了解行业前沿大数据处理方法。

任职资格:

1、8年以上数据仓库开发及管理经验,5年以上互联网/电商行业经验;

2、精通数据仓库建设方法论,有大型数据仓库建设项目经验(PB级以上);

3、熟悉HADOOP、HIVE、HBASE、SPARK、FLUME等工作原理;

4、精通HiveSQL,有较丰富的HiveSQL性能调优经验;

5、至少熟练使用Shell、Python、Perl等脚本语言之一;

6、工作认真、负责,有良好的团队合作精神,良好的分析及沟通能力;

数据仓库工程师工作职责 第8篇

职责

负责数据ETL开发,优化ETL流程设计;

负责数据质量问题的分析、跟进、解决,进行数据质量监测、校验和提升;

负责ETL开发实施文档的编写;

负责梳理公司数据仓库/数据集市数据清单、数据映射关系,优化现有数据仓库模型;

完善和梳理数据指标体系,完成和维护数据字典的工作;

参与数据标准的制定、数据标准管理和数据安全管理工作;

参与公司大数据平台的建设,包括Sugar报表或神策接口配置,用户画像标签体系的开发等

任职要求:

有shell或Python脚本开发经验;

有传统数据库SQL Server和MySQL,有存储过程编写能力;

熟悉Hadoop生态相关技术并有相关实践经验,包括但不限于Sqoop、Hive、HBase、Kylin等开发经验;

有kettle、azkaban或oozie工作流调度经验;

熟悉Hive SQL或Flink SQL的开发;

有数据仓库模型设计,有使用kafka+Flink Streaming实时数据处理经验优先;

有Sugar、神策或Tableau使用经验,有用户画像或客户召回标签工作经验优先;

对数据挖掘和机器学习有所了解,包括常用的机器学习算法和数据建模过程的优先

数据仓库工程师工作职责 第9篇

职责:

参与数据仓库模型设计和开发工作;

负责建立数据分析模型,设计前端报表,数据可视化开发;

负责数据平台项目数据仓库的管理、性能监控及优化等;

负责数据平台的日常运维及优化

职位要求:

大学本科以上学历,3年以上工作经验,包含2年以上数据仓库开发工作经验;

精通数据仓库建设,熟悉常用的模型设计方法;

对数据可视化有丰富的经验,熟悉常用的数据分析方法;熟悉至少一种报表工具开发;

精通数据仓库领域知识和技能,包括元数据管理、主数据管理、数据质量管理等;

熟练使用ETL工具如Kettle、SSIS等进行数据清洗、转换、整合;

熟悉至少两种关系型数据库,如Oracle、SQL Server、PostgreSQL、MySql等主流数据库,精通SQL Server开发和运维者优先考虑;

有完整的数据平台建设经验者优先;

熟悉使用Linux系统及Shell脚本开发,熟练开发Python程序者优先;

熟悉大数据开发框架者优先,如Spark,Flink等;

对新技术好奇爱学习,主动性和责任心强,对数据敏感,逻辑性强,有良好的抗压能力;

团队协作能力强

数据仓库工程师工作职责 第10篇

职责:

1、负责数据源导入、清洗、集成等工作,优化ETL流程并解决ETL相关技术问题;

2、负责参与数据模型体系构建及数据主题设计和开发,数据仓库和业务数据集市的建设;

3、负责数据集市需求调研和需求分析;

4、基于阿里云Maxcompute,进行数据开发工作

岗位要求:

1、3年或以上数据仓库开发和模型设计经验;

2、深入理解DW,BI相关的知识,包括:ETL、数据仓库、OLAP、多维数据模型等;

3、熟悉MapReduce、Hive原理;

4、精通SQL,能够熟练使用HiveSQL进行数据开发;

5、具有良好的团队协作精神和沟通能力,较强的逻辑思维,学习能力和解决问题的能力,可承担较大的工作压力;

6、熟悉阿里云大数据开发平台优先,如Maxcompute;

7、熟悉跨境电商及供应链业务优先。

推荐访问:工作职责 数据仓库 工程师 数据仓库工程师工作职责热门10篇 数据仓库工程师工作职责(热门10篇) 数据仓库工程师的工作内容