数据开发工程师

职位描述

职位概述： 我们正在寻找一位专注于金融数据基础设施建设的数据工程师。您将负责为量化研究团队提供干净、准确、⾼效的数据⽀撑，构建从原始数据到因⼦挖掘的全链路数据流水线。您的工作质量将直接影响量化策略的盈利表现。 岗位职责： 1. 数据⾤集与抓取开发 负责多维度金融数据的采集与归集，包括但不限于：A股/港股/美股行情数据、基本面财务数据、宏观经济指标、行业景气度数据、另类数据（如新闻舆情、产业链数据）。 开发与维护分布式数据抓取系统，应对反爬策略，确保数据源的高可用性与稳定性。 监控数据源变更，及时调整采集策略，解决数据缺失、延迟等异常问题。 2. 数据清洗与ETL流程设计 设计并实现高效的数据清洗ETL流程，处理数据中的缺失值、异常值、重复值和逻辑错误。 负责核心数据指标的复算与校验，确保原始数据与派生数据的一致性，尤其需处理复权价格、财务报表再调整等复杂逻辑。 建立数据质量监控体系，对数据完整性、准确性进行持续巡检与告警。 3. 量化数据库的架构与搭建 参与量化研究数据库的整体架构设计，兼顾数据的读取查询性能与存储成本。 负责数据库模型的规范化设计，针对时序数据、面板数据的特点进行合理的数据分区、索引优化和查询调优。 搭建并维护本地数据中心，实现历史数据的全量存储与增量更新。 4. PostgreSQL开发与运维 主导基于PostgreSQL的量化数据仓库建设，编写复杂的SQL查询和存储过程以支持策略研究需求。 利用PostgreSQL的特性（如表分区、并行查询、窗口函数）优化大规模因子计算的效率。 负责数据库的日常运维与性能监控，制定备份恢复策略，保障数据资产的安全。 任职要求： 1. 硬性技术能力 本科及以上学历，计算机科学、软件工程、金融工程或相关专业。 熟练掌握Python，具有三年以上使用Python进行数据处理、自动化脚本开发的经验，熟悉Pandas、NumPy等数据分析库。 精通SQL语言，具备三年以上PostgreSQL使用经验，深入理解其执行计划、索引原理及性能调优方法。 熟悉常见的关系型数据库设计范式，具备数据建模的实际落地经验。 熟悉Linux操作系统，具备Shell脚本编写能力，能够独立部署和维护数据库服务。 2. 业务理解能力 理解股票、期货、基金等金融产品的基础知识，熟悉除权除息、财务报表科目等基本金融概念。 能主动与量化研究员沟通，理解因子挖掘对数据底层颗粒度和口径的需求。 3. 软性素质 具备严谨细致的工作态度，对数据准确性有近乎偏执的追求。 拥有良好的代码规范意识和文档编写习惯，具备独立分析和解决问题的能力。 具备较强的自驱力，能够主动优化数据链路中的性能瓶颈，持续探索更优的技术方案。 加分项： 有使用其他时序数据库（如InfluxDB、TimescaleDB）或NoSQL数据库的经验。 熟悉Airflow、DolphinScheduler等任务流调度工具，能够构建自动化数据编排流程。 有使用Docker容器化部署数据服务的实际经验。 有从零搭建量化投研数据中台的经验。 了解ClickHouse等OLAP分析型数据库，具备海量数据即席查询的优化经验。

任职要求

• 学历要求：本科
• 经验要求：3-5年经验
• 工作性质：全职