大数据开发工程师

  工作内容：

1.负责公司大数据平台的开发建设，建立数据生态服务，解决海量数据面临的挑战；

2.参与大数据平台各类基础系统架构设计和引擎开发，集群优化，技术难点攻关；

3.集群数据安全相关体系建设，各种存储，查询方案构建；

4.协助管理、优化并维护Hadoop、Spark、Flink等集群，保证集群规模持续、稳定；

5.负责大数据平台产品的自动化、离线与实时计算、即席计算、数据质量、数据安全等平台的设计和开发；

6.调研和把握当前的最新技术，将其中的先进技术引入到自己的平台中，改善产品，提升竞争力。

任职要求：

1.5年以上工作经验，3年以上大数据领域工作经验，熟悉Java、Spark；

2.熟悉开源大数据平台如HBase、ES、Doris、Druid等，有实际的报表平台、多维度分析工具、Etl平台、调度平台、实时平台、数据湖平台 中至少两种工具的实际建设经验；

3.有上述相关系统为基础的实际成功的复杂系统项目的架构和开发经验；

4.热爱开源技术，熟悉一种或者多种大数据生态技术（Kafka、Hive、Hbase、Spark、Storm、Hadoop、Flink、doris、clickhouse、tidb等），熟悉源码者优先；

5.相关开源领域的活跃贡献者或大型互联网公司相关从业经验者优先；

6.有过使用flink做实时计算平台成功案例者和用过hera系统做过离线任务平台者和精通OLAP者优先。