最新Spark远程工作招聘信息

岗位职责

• 设计并维护用于特征提取、训练数据生成和模型监控的可扩展数据管道。
• 优化 SQL 查询、Spark 任务与数据处理流程，提升性能与可扩展性。
• 监控生产数据管道，排查数据质量问题，保障数据可靠性与时效性。
• 与机器学习工程师协作，推动数据版本、血缘与可复现等 MLOps 实践。

任职要求

• 3 年以上数据工程或软件工程相关经验。
• 2 年以上搭建并维护生产级数据管道的经验。
• 熟练掌握 Python 和 SQL，具备生产级数据管道开发经验。
• 熟悉 Spark、Airflow、Kafka 等分布式数据处理技术。
• 熟悉 Databricks、Snowflake、Delta Lake 等云数据平台。

其他说明

远程岗位，薪资按地理区域分四个薪酬档；面试可能通过 BrightHire 录制与转录。

岗位职责

• 参与高性能、可扩展数据解决方案的架构设计与实现
• 使用 SQL 创建数据模型，编写和优化 SQL 语句
• 设计、构建并自动化数据管道和应用的部署
• 与业务部门和数据科学团队协作处理数据访问、转换和报告需求

任职要求

• 7-9 年云数据模型、ETL 管道和基础设施设计开发经验
• 精通 SQL，熟悉主流数据库
• 有 Spark、Glue、EMR、Kafka 或 Kinesis 经验
• 熟悉 Java、Python、Scala 编程
• 了解 AWS 云平台