2023大数据架构师工作内容(21篇)

下面是小编为大家整理的2023大数据架构师工作内容(21篇),供大家参考。

在日常的学习、工作、生活中，肯定对各类范文都很熟悉吧。范文怎么写才能发挥它最大的作用呢？下面是小编帮大家整理的优质范文，仅供参考，大家一起来看看吧。

大数据架构师工作内容篇一

1、负责大数据项目或产品中架构设计、数据仓库公共层与应用层建模;

2、负责大数据项目或产品中业务需求的需求理解、数据指标维度需求梳理、数据探查和分析，指导技术团队进行工作;

3、负责大数据项目中的具体技术管理工作，完成验收目标。

4、发现并解决数据质量问题，推动整体数据质量提升。

任职要求：

1、计算机相关专业，3年以上数据研发与数据仓库相关开发经验;

2、熟练掌握维度建模方法，有大型数仓构建经验优先;

3、精通oracle/db2/teradata等主流数据库编程，有较好的sql性能调优经验;

4、扎实的编程基础和动手能力，精通至少一门编程语言，有大数据、分布式开发经验尤佳;

5、有良好沟通协调能力，有带领小团队或项目管理工作经验;

6、具备很强的责任心，做事细致、严谨，同时需要具备较强的沟通和学习能力，能快速理解行业的需求，对农业等行业数据应用有经验者优先;

7、能够接受出差。

大数据架构师工作内容篇二

职责:

1、负责自然语音交互、iot家电物联控制、知识图谱等相关模块和系统的开发;

2、负责掌握第三方接口的调用和功能实现，持续优化服务性能和容量，并保证产品的兼容性和执行效率;

3、根据设计文档和需求说明完成代码编写、调试、单元测试与维护，确保项目进度和质量;

4、协助制定测试计划，及时发现并修复bug，实现服务端的性能优化。

任职资格:

1、大学本科3年以上工作经验，计算机相关专业;

2、熟悉软件项目开发流程，具有良好编码风格及文档编写能力;

3、熟悉linux服务器相关技术，能够独立完成服务器部署，具有相关经验;

4、熟悉hadoop/spark框架，java基础扎实;

5、熟练使用mysql数据库，了解mongodb或neo4j等分布式数据库;

6、熟悉springcloud,ssm,docker,redis开发者优先;

7、熟悉前端(包括但不限于html5、css、angularjs、ajax、jquery等)开发技术优先;

8、了解socket网络编程、mqtt等，有相应实践经验者优先;

9、有智能语音语义、知识图谱服务端开发经验者优先。

大数据架构师工作内容篇三

职责：

1、负责大数据项目技术架构评估与设计;

2、负责关键功能的开发，技术难题的解决，以及输出代码的关键把控;

3、负责对使用关键技术的预研和选型，完成poc;

4、指导工程师完成开发工作，并能分享技术经验。

任职要求：

1、3年以上相关工作经验，其中具有1年以上架构设计经验

2、熟悉商业智能系统相关技术，如 etl、数据仓库、olap开发;

3、精通设计模式，熟悉面向服务架构(soa)以及其它常用软件架构思想，有soa方案设计、开发实施的实际经验，要具备实际的服务规划、服务粒度划分经验;并且要善于设计可重用组件和可定制化产品。

4、相关技术栈：java /scala/flume/hive/kafka/hbase/ spark/storm/redis;

5、有扎实的计算机基础，熟悉java等编程语言;

大数据架构师工作内容篇四

职责：

1、负责大数据平台架构的评估、规划和设计 ;负责海量数据采集、处理及存储、应用方案的技术选型及架构实现;

2、开发大数据平台的核心代码，负责大数据平台的搭建，完成系统调试、集成与实施，技术难题的解决，保证大数据产品的上线运行 ;

3、根据业务需求持续优化数据架构，保证产品的可靠性、稳定性 ;

4、指导开发人员完成数据模型规划建设，分析模型构建及分析呈现 ，分享技术经验;

5、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审;

6、深入研究大数据相关技术和产品，跟进业界先进技术;

任职资格：

1.本科及以上学历，数学或计算机相关专业毕业，不少于5年的工作经验，具有扎实的计算机基础理论知识;

2.有3年以上hadoop、spark、hbase平台性能调优经验;熟悉sparkstreaming等实时计算技术

3.熟悉hive、hbase、storm、mahout、flume、elasticsearch、spark、kafka等，具备实际项目设计及开发经验;

4.熟悉sparkstreaming等相关的实时计算技术;

5.熟悉大规模数据挖掘、机器学习、自然语言处理、分布式计算中一项或多项技术，并具备多年的实际工作经验;

6.熟悉主流关系型数据库(oracle、mysql)、nosql数据库，熟悉pl/sql编程;精通linux操作系统，熟练使用java;熟悉常用框架.如spring、mybatis等;

7.具有较强的执行力，高度的责任感、很强的学习、沟通能力，能够在高压下高效工作;

大数据架构师工作内容篇五

职责：

负责公司大数据产品架构的设计与实现;

配合大数据产品经理完成产品的快速研发与交付;

负责大数据产品架构的持续优化设计;

负责大数据产品核心组件设计;

负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;

为应用开发团队提供技术支撑。

任职要求：

本科及以上学历，3年以上的大数据开发经验、

2年以上大数据架构设计经验;

丰富的java研发经验，精通java，熟悉python scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础，熟悉分布式计算系统的工作机制，具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);

精通各种大数据相关技术体系：hadoop、spark、storm、elasticsearch、kafka;

有数据挖掘、机器学习相关应用或研究背景;

沟通能力较好，积极主动意识较强，责任心较强。

大数据架构师工作内容篇六

职责：

1、负责dmp技术架构设计与构建，根据业务规划及技术规划制定应用架构方案;

2、负责设计构建dmp数据采集、存储及分析框架，设计数据处理的技术流程和规范;

3、负责核心功能的架构与代码模板编写，开发与维护系统公用核心模块;

4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。

岗位要求：

1、计算机或相关专业本科以上学历，三年以上的开发经验，二年以上大数据相关软件架构的实际经验;

2、精通大数据处理技术，熟悉hadoop/storm技术体系，有hadoop、hive、hbase项目经验;

3、具有较强的架构能力，具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;

4、对数据敏感，洞察力强，了解国内外广告发展趋势;

5.、擅长系统分析与设计，精通常用的设计模式，擅长性能调优;

6、熟悉dmp/rtb技术原理，了解用户的行为分析及建模;有rtb/dsp/ssp/exchange/dmp等广告行业从业经历。

大数据架构师工作内容篇七

职责：

1.参与公司数据平台系统规划和架构工作，主导系统的架构设计和项目实施，确保项目质量和关键性能指标达成;

2.统筹和推进制造工厂内部数据系统的构建，搭建不同来源数据之间的逻辑关系，能够为公司运营诊断、运营效率提升提供数据支持;

3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

5.根据现状制定总体的数据治理方案及数据体系建立，包括数据采集、接入、分类、开发标准和规范，制定全链路数据治理方案;深入挖掘公司数据业务，超强的数据业务感知力，挖掘数据价值，推动数据变现场景的落地，为决策及业务赋能;

6.定义不同的数据应用场景，推动公司的数据可视化工作，提升公司数据分析效率和数据价值转化。

任职要求：

1.本科以上学历，8年以上软件行业从业经验，5年以上大数据架构设计经验，熟悉bi平台、大数据系统相关技术架构及技术标准;

2.熟悉数据仓库、熟悉数据集市，了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

3.熟悉大数据相关技术：hadoop、hive、hbase、storm、flink、spark、kafka、rabbitmq;

4.熟悉制造企业信息化系统及相关数据库技术;

5.具备大数据平台、计算存储平台、可视化开发平台经验，具有制造企业大数据系统项目开发或实施经验优先;

6.对数据敏感，具备优秀的业务需求分析和报告展示能力，具备制造企业数据分析和数据洞察、大数据系统的架构设计能力，了解主流的报表工具或新兴的前端报表工具;

7.有较强的沟通和组织协调能力，具备结果导向思维，有相关项目管理经验优先。

大数据架构师工作内容篇八

职责：

1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;

2、负责实时计算平台基础架构设计、部署、监控、优化升级;

3、制定项目数据仓库设计及实现规范，指导设计研发和部署;

4、协助策略和算法团队工作，保障数据挖掘建模和工程化;

5、深入研究大数据相关技术和产品，跟进业界先进技术。

任职要求：

1、3年以上大数据系统架构经验;

2、精通hadoop hbase hive spark flink kafka redis技术及其生态圈;

3、具备java scala python等开发经验，熟悉数据挖掘和分析的策略与算法;

4、精通数据抽取，海量数据传输，数据清洗的常用方法和工具。

5、具备良好的系统分析能力、故障诊断能力;

6、有大数据策略、算法、可视化经验优先;

7、有在华为云存储产品和大数据产品的开发使用经验优先。

大数据架构师工作内容篇九

职责:

1、 负责大数据仓库、数据集市的规划及实现，负责大数据中台的设计和核心开发工作;

2、 负责数据基础架构和数据处理体系的升级和优化，不断提升系统的稳定性和效率，为公司的业务提供大数据底层平台的支持和保证;

3、 大数据平台的数据采集、处理、存储以及挖掘分析的架构实现;

4、 研究未来数据模型和计算框架的创新与落地，包括但不限于以下领域：大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线

任职资格:

1、 精通数据建模、数据标准管理、元数据管理、数据质量管理;

2、 有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;

3、 熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于：hadoop、flink、spark等;

4、 性格积极乐观，诚信，能自我驱动，有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力; 在数据业界有一定的影响力优先，具有风控经验背景的人优先;

5、 具备独立的深度思考能力，给出结合实际情况的较为理想的技术解决方案。

大数据架构师工作内容篇十

职责：

1.负责数据仓库建设，基于数据驱动构建企业级数据模型，根据架构设计进行各层数据模型开发。

2.面向pb级别超大规模数据处理和查询需求，设计适合业务变化的合理的多维数据分析系统架构，满足多样性需求。

3.构建设计良好的数据流、调度系统、查询引擎、监控系统，保证系统稳定高效运行，以实现数据的最大价值。

4.指导团队成员开展数据仓库建设。

5.参与重点项目的评审，参与企业数据管理体系建设。

任职要求：

1.统招本科及以上学历。

2.从事数据仓库领域至少5年以上，熟悉数据仓库模型设计与etl开发经验 ，掌握kimball的维度建模设计方法，具备海量数据加工处理(etl)相关经验 。

3.具有一定数据模型和数据架构基础，熟悉hadoop\hive和常用数据库。

4. 精通sql，有一定的sql性能调优经验，熟悉hive sql的开发。

5.具有管理团队开发经验，具备良好的组织能力、协调能力及项目管理能力。

6.具有较好的文字功底及语言表达能力，能够快速、准确地理解需求。

7.具有专研、快速学习和创新精神，具备独立分析问题和解决问题的能力。

8.具有责任心，时间观念强，工作独立性强，有良好的团队合作精神。

9.全日制普通本科毕业。

大数据架构师工作内容篇十一

职责：

1、负责大数据平台的技术选型，基于spark、hadoop大数据平台建设和开发;

2、完成包括数据模型设计、数据采集、数据存储等方面的大数据系统架构的设计和数据层架构设计;

3、构建数据中台，为多种行业应用提供主数据(画像标签/关系图谱)、数据模型、人工智能业务算法及数据服务。

4、对海量数据处理的业务需求进行评估和方案设计、拆分任务并指导工程师完成开发;

5、带领大数据技术团队提供并实现大数据平台上各项数据分析和数据可视化的架构设计，支撑解决方案实施。

任职要求：

1、本科及以上学历，具有5年及以上大数据架构设计和开发经验;2年及以上带领团队经验;沟通能力强。在大型互联网企业从事大数据架构设计者优先考虑;有分布式大型商业软件系统设计经验、主导过大型商业软件的架构设计并取得过市场商业成功者优先考虑;

2、熟悉整个大数据的完整处理流程，包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化;

3、精通oracle/mysql/postgresql/greenplum/mongodb等其中至少一种主流数据库的使用，并能进行性能调优;

4、具备优秀的团队意识和沟通能力，学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战。

大数据架构师工作内容篇十二

职责：

1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;

2. 负责实时计算平台基础架构设计、部署、监控、优化升级;

3. 制定项目/数据仓库设计及实现规范，指导设计研发和部署;

4. 协助策略和算法团队工作，保障数据挖掘建模和工程化;

5. 深入研究大数据相关技术和产品，跟进业界先进技术;

任职要求：

1. 全日制本科及以上学历，5年以上软件和分布式系统研发经验，3年以上大数据系统架构经验;

2. 精通hadoop/hbase/spark/storm/redis技术及其生态圈;

3. 具备良好的系统分析能力、故障诊断能力;

4 有大数据策略、算法、可视化经验优先。

大数据架构师工作内容篇十三

职责

1、负责大数据架构设计，包括定义数据的存储、集成(etl)、应用，支撑业务运营和数据分析类需求实现;

2、制定数据治理领域的数据体系化管理措施，包括元数据设计、数据标准、数据质量、数据处理、数据安全等工作，确保数据可信与安全;

3、基于行业数据积累，满足业务的数据挖掘需求，实现从数据到资产的转变，根据目标行业建立具有前瞻性的数据模型;

4、对各产品的数据安全负责，主导制定和实施数据库系统安全策略，保证整体方案数据安全;

岗位要求

业务技能要求：

1、深入理解云化、数据仓库，在参与过的系统设计中，必须涉及这两项关键技术;

n2、精通或者熟悉hadoop体系架构，以及hdfs/hbase/hive/mapreduce/spark等技术，了解体系架构各组件的优缺点，有直接的产品设计与开发、部署、调优的经验;

3、精通或熟悉常见rdbms(oracle / postgresql / mysql)、nosql(redis / memcached/ mongodb)、全文搜索引擎(solr/elasticsearch)的使用及开发，了解各数据库优缺点， 熟悉与架构设计相关的数据存储、性能调优等相关领域知识，有相关项目经验尤佳;

4、熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案，具有数据分析或数据挖掘相关经验者优先;

n5、熟悉数据治理相关流程，包括数据接入、数据处理、数据治理、数据组织、数据服务等。

专业知识要求：

1、具备数据治理的知识与体系方案，包含政策、组织、角色、流程、规范等，以及规划相应的支撑方案。了解业界的数据管理方法论;

2、具备数据用例设计和开发能力。能够基于业务相关数据进行业务需求分析和痛点识别，将业务需求转化为数据的需求，完成数据用例的设计和开发;

3、精通海量数据(日增量百亿)级别数据仓库、数据集市的构建流程。熟悉公安、政务、工业、交通、医疗等多行业业务者优先。

大数据架构师工作内容篇十四

职责：

负责公司大数据产品架构的设计与实现;

配合大数据产品经理完成产品的快速研发与交付;

负责大数据产品架构的持续优化设计;

负责大数据产品核心组件设计;

负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;

为应用开发团队提供技术支撑。

及时向上级反馈工作进度、遇到的问题或者对现有工作的建议等;

完成上级领导交办的其它各项工作。

任职资格：

985/211本科及以上学历，3年以上的大数据开发经验、

2年以上大数据架构设计经验;

丰富的java研发经验，精通java，熟悉python scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础，熟悉分布式计算系统的工作机制，具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);

精通各种大数据相关技术体系：hadoop、spark、storm、elasticsearch、kafka;

有数据挖掘、机器学习相关应用或研究背景;

沟通能力较好，积极主动意识较强，责任心较强。

具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于解决问题和分析问题;

良好的团队合作精神，较强的沟通能力和学习能力 ;

大数据架构师工作内容篇十五

职责：

(1) 负责公司大数据平台搭建，相关的设计和技术开发工作，负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作;

(2) 通过数据分析技术，挖掘有利于营销中各业务场景的变量或规则类标签，以提升模型效果，为文旅、教育业务提供数学模型理论及编程支撑;

(3) 对接沟通业务系统研发团队和产品部门，提供数据驱动方面的专业咨询方案，并对业务的大数据应用场景提出建设性意见;

(4) 配合部门领导进行项目需求分析、设计开发工作。

任职要求：

(1) 计算机、统计学，数学等相关专业本科以上学历，5年以上大数据或文旅、教育数据产品设计开发经验，高效高质量产出需求和技术文档;

(2) 精通hadoop，熟悉大数据生态技术，如storm、spark、scala、flume、kafka、zookeeper、hive、hbase、kerberos等，有大规模集群架构、开发及运维经验;熟悉hdfs/mapreduce等;

(3) 熟悉java，能够独立应用python、r、sas或类似分析工具进行数据分析;

(4) 熟悉大数据挖掘、可视化分析，各种bi算法和产品等，在计算广告、搜索引擎、推荐系统、用户画像等有一个或多个算法领域的研发经验，能够运用数据作为产品解决业务方运营及决策问题;

(5) 有互联网行业工作经验者优先，有海量数据的机器学习算法实践经验优先;

(6) 工作认真、负责，有良好的团队合作精神，良好的分析能力、沟通技巧。

大数据架构师工作内容篇十六

职责：

1、负责公司大数据产品的架构设计，包含数据收集、数据存储、数据应用，并完成相关架构设计文档的撰写;

2、参与规划从数据源到数据应用的整体流程，并参与相关产品的决策;

3、负责解决核心技术问题，对技术方案进行决策;

4、负责大数据研发团队建设、人才梯队培养和技术团队管理;

5、积极了解业界发展，研究与跟踪大数据新技术发展方向。

任职要求：

1、精通goldengate for bigdata相关理论，具备大型数据利用的生产实战经验;

2、精通数据驱动的理论，设计并生产上线相关数据驱动的产品;

3、精通常用消息中间件的使用，例如kafka/rocketmq/apache pulsar，有解读相关源码者优先;

4、掌握hadoop、spark生态体系相关产品的使用，掌握mapreduce编程或spark编程;

5、了解传统数据仓库理论及相关etl工具，例如kettle/datastage;

6、熟悉oracle、mongodb、mysql数据库的使用;

7、扎实的java语言基础，熟悉java开发工具和调试工具的使用;

8、良好的团队协作精神，有能力对团队在软件设计、实现和测试方面进行指导;

9、良好的逻辑分析能力和沟通能力，执行力强、对待工作认真严谨、责任心强、具备出色的学习能力和团队合作精神，有一定的推动能力;

10、计算机科学、信息技术或相关领域本科以上学历，具有5年以上数据平台项目开发经验，3年以上的架构设计经验，具有大数据平台应用大型项目架构设计经验优先;

大数据架构师工作内容篇十七

职责：

1. 负责大数据平台的基础技术规划，编制相关规范文档。

2. 负责大数据平台的数据采集，处理，存储以及挖掘分析的架构实现。

3. 负责大数据平台的实际规划建设，包括环境和框架的规划搭建以及部分核心编码工作。

4. 负责大数据相关技术发展方向的预研。

5. 参与业务需求调研，根据需求及行业特点设计大数据解决方案并跟进具体实施项目。

6. 制定大数据平台中数据质量，业务质量监控及管理办法。

岗位要求：

1. 全日制本科及以上学历，5年以上工作经验，4年及以上大数据架构设计经验，熟悉大数据解决方案，包括hadoop平台、spark、storm、机器学习、深度学习等大数据解决方案。

2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。

3. 精通大型数据库oracle、sqlserver等的开发。

4. 精通java，python中的一种或多种语言。

5. 熟悉容器、虚拟化、微服务框架等相关技术。

6. 对数据敏感，有严谨的工作思路，良好的沟通能力和团队合作精神。

7. 熟悉r，python，sas、spss等数据挖掘经验者优先。

8. 高宽展性，高性能，和分布式系统的实践及运维经验者优先。

9. 有大型数据仓库实施、大数据平台数据开发经验，熟悉运营商业务者优先。

大数据架构师工作内容篇十八

职责：

1. 规划设计大数据平台整体架构，规划各种组件，并且指导技术团队完成相关系统验证、安装、部署、配置;

2. 负责制定大数据平台技术规范和接口规范，指导研发团队按照规范进行系统开发;

3. 配合商务人员完成售前技术支持工作;

4. 完成其他与数据应用有关的技术工作;

任职要求：

1. 计算机相关专业本科学历，5年以上工作经验;

2. 对大数据技术栈有非常深刻的了解;具备架构设计的实际经验;

3. 对信息安全架构设计及实施有一定的经验;

4. 熟悉linux、windows等操作系统的安装配置;

5. 熟悉互联网应用的安装配置;熟悉常见大数据技术栈组件的安装配置;熟悉visio等绘图工具的使用;

6. 有卫生信息化建设经验者优先;有容器安装部署经验者优先。

大数据架构师工作内容篇十九

职责：

负责大数据平台架构的规划和设计，主导系统的架构设计和核心模块开发，确保项目质量和关键性能指标达成;

负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发，保证大数据产品的上线运行;

负责深入理解业务需求，对业务建模，设计系统架构，满足业务需求;

负责协助策略和算法工作,保障数据挖掘建模和工程化;

负责根据业务需求整合优化数据架构，保证产品的可靠性、稳定性;

负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;

负责研发技术发展方向，新技术领域的探索，将新技术应用到公司大数据平台，提升公司效能

任职要求：

本科及以上学历，拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;

精通hadoop，熟悉大数据生态技术，如storm、spark、scala、flume、kafka、zookeeper、yarn、sqoop、cdh、solr 、kylin、impala、hive、hbase、kerberos、sentry等，有大规模集群架构、开发及运维经验;

熟练掌握java/scala语言,实现面向对象开发思想ooa,ood,oop;

熟悉linux操作系统,熟练掌握脚本言语shell/perl/python等编码语言;

熟练掌握数据仓库设计，开发工作。能够根据业务设计并开发数据仓。

具备源码级问题解决和集群优化改造能力者优先;

能快速的学习新的开源框架和知识体系，并应用到现有架构体系中;

逻辑清晰，快速的学习能力，良好的沟通能力、团队协调能力。

具备良好的团队合作精神，较强的沟通交流能力，具备良好的技术领导能力;

具备良好的文档撰写能力和技术团队管理能力

大数据架构师工作内容篇二十

职责：

1、负责大数据开发团队建设;

2、负责行业大数据产品架构设计与研发;

3、负责带领团队进行行业大数据产品关键技术攻关。

任职要求：

1、有三年以上大数据应用、开发经验;具备海量数据加工处理(etl)相关经验，对数据挖掘及机器学习有较为深刻的理解;

2、熟悉hadoop相关技术，对hdfs、mapreduce、hive、hbase有一定的使用和开发经验;

3、熟悉linux，熟练使用shell或python，进行脚本编写;

4、对数据结构和数据统计分析算法有较为深刻理解;

5、掌握至少一种主流关系数据库开发技术：oracle、sql server、mysql等;

6、掌握实时流计算技术，有spark、storm开发经验者优先;

7、需要具备2年以上研发团队管理经验。

大数据架构师工作内容篇二十一

职责：

1、负责公司的大数据处理框架的研发设计工作，梳理可实现方案和技术规范;

2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;

3、负责业务平台数据统计分析模块的设计与规划;

4、负责公司产品研发过程中的数据及存储设计;

5、带领和培养团队完成组织分解的目标;

任职要求：

1、统招本科及以上学历，计算机、软件工程相关专业，至少8年以上工作经验，5年以上大数据开发经验;

2、熟悉java、hadoop、hdfs、hive、hbase、spark、storm、flume等相关技术的基础架构

3、熟悉数据仓库，数据算法，分布式计算技术理论，具有大数据整体系统架构设计经验;

4、熟悉linux系统，熟练使用shell/perl/python脚本处理问题;

5、对深度学习框架(tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先;

6、能够组织项目开发组协同工作，包括团队沟通、计划、开发环境管理等