数据开发工程师(J10126)
某科技企业
15K-30K
上海市全职15K-30K
职位描述
岗位职责: 1. 负责通信领域原始数据预处理工作,构建标准化、高质量的数据资产。 2. 建立数据治理机制,包括元数据管理、数据血缘、质量监控等,定期产出数据质量报告。 3. 负责每日数据清洗任务的质量控制,确保数据准确率满足业务SLA。 岗位要求: 1. 本科及以上学历,3年以上数据开发或数据仓库经验。 2. 精通SQL,能熟练编写复杂查询、窗口函数、存储过程;至少掌握一种编程语言(Python/Java/Scala)用于数据处理脚本开发。 3. 深入理解数据仓库理论,熟悉星型/雪花模型、缓慢变化维(SCD)、数据分层架构。 4. 有实际数仓设计经验,能根据业务需求独立完成表结构设计、数据字典维护。 5. 熟练使用ClickHouse和Doris,理解其表引擎、分区/分桶、物化视图、副本机制,并能进行查询性能调优。 6. 掌握Iceberg表格式,理解其ACID、模式演化、隐藏分区、增量读取等特性,并能用于构建Lakehouse。 7. 了解Hadoop/Hive/Spark/Flink等大数据框架(能使用Spark SQL或Flink SQL进行清洗即可)。
任职要求
- 学历要求:本科
- 经验要求:3-5年经验
- 工作性质:全职