工作职责
1、负责离线计算平台的整体架构设计及etl任务开发和维护

2、负责提升基于hive、hbase数据存储集群的高可用性、高性能、高扩展特性

3、负责设计和建立基于flink或spark实时数据处理框架

4、研究hadoop/spark/hbase/hive/flink等开源项目，对线上任务进行调优，并开发通用组件

5、负责数据服务接口的设计及开发

6、负责技术攻关和创新技术引用，开发具有数据分析、数据挖掘能力的创新型产品

工作要求
1、本科及以上，计算机、软件工程、统计学、数据挖掘、机器学习等相关专业，3年以上大数据平台相关工作经验

2、熟练使用java、scala、python等开发语言中的一种

3、有hadoop和spark、flink实际开发经验
了解大数据组件的使用限制和应用场景，如hdfs,yarn,hbase,hive,flume,kafka,zk,impala,kylin,kudu,es,storm、mongodb等

4、熟悉mysql、oracle、elasticsearch、redis等关系型或nosql数据库，了解应用场景和使用限制

5、熟悉linux操作系统及常用命令

6、熟悉hdfs分布式文件系统架构，熟练掌握hadoop/hive/hbase的运维和调优方法

7、熟练使用过azkaban、airflow、apachedolphin等开源调度工具优先