Python高级开发工程师（数据方向）

职位描述

岗位职责： 1. 集成多种数据库（MySQL、PostgreSQL、SQLServer等关系型库；MongoDB、Elasticsearch、ClickHouse等其他常用类型数据库），负责数据运维、查询优化与性能调优。 2. 使用NumPy、Pandas、Polars进行数据清洗、转换、聚合。 3. 基于Flask或FastAPI构建高可用、可扩展的RESTful API后端服务。 4. 设计、开发与维护爬虫，解决反爬策略，保障数据采集的稳定与高效。 5. 持续优化数据处理流水线，解决大数据量下的性能瓶颈，保障数据质量、时效性与系统可维护性。 岗位要求： 一、基础条件 - 本科及以上学历，计算机相关专业，3～5年Python开发经验，编码规范、基础扎实。 - 具备良好的问题分析能力及合作沟通能力。 二、数据库能力 - 至少精通MySQL/PostgreSQL/SQLServer中的一种：熟练编写复杂SQL，掌握索引优化、事务隔离、慢查询分析。 - 熟练使用MongoDB、Elasticsearch，了解ClickHouse列式存储特性及适用场景。 - Redis常用数据结构的使用及调优。 - 具备生产环境的数据建模与查询调优经验，能根据场景合理选型数据库。 三、数据处理能力 - 精通NumPy与Pandas、Polars，高效完成数据清洗、分组、合并、缺失值处理等操作。 - 熟悉Parquet列式存储格式（压缩率、查询性能优势），有实际读写经验。 - 能处理GB级以上结构化数据，了解常见序列化/反序列化方式。 四、爬虫能力 - 熟练使用Requests/BeautifulSoup/Selenium/Playwright。 - 深入理解反爬机制（请求头校验、IP封锁、验证码、动态加载、JS混淆）并提出有效应对方案。 - 具备代理IP池、Cookie管理、请求去重等实现经验。 五、后端服务能力 - 熟练使用Flask或FastAPI，能独立完成RESTful API从设计到上线。 - 理解FastAPI异步特性（async/await）或Flask多线程/多进程部署。 - 有API安全（认证、授权、参数校验）、性能优化（缓存、连接池）、错误处理经验。 六、其他通用能力 - 良好的沟通协作能力、责任心与自我驱动力，能主动推进任务并分享技术经验。 - 追求代码质量与工程化，熟悉单元测试、代码Review流程。 加分项： - 有Hadoop/Spark等大数据相关经验 - 有前端、全栈经验 - 熟悉Celery或Airflow - 参与过开源项目、数据竞赛、有含金量的技术竞赛，有技术博客积累

任职要求

• 学历要求：本科
• 经验要求：3-5年经验
• 工作性质：全职