高级数据工程师 - 远程 | BigQuery, Airflow, 动态定价系统

我们正在构建新一代动态定价基础架构，需要一位经验丰富的高级数据工程师领导数据平台的设计、开发和运维工作。您将与跨职能团队紧密合作，打造可扩展的数据解决方案，为企业在竞争激烈的市场中建立关键技术优势。 核心职责 - 使用Cloud Composer (Apache Airflow 2.5+)架构和实现高可靠性端到端数据管道，确保工作流程无缝编排。 - 在Google BigQuery环境中设计和优化企业级数据仓库解决方案，保障数据完整性、查询性能和可访问性。 - 开发并维护健壮的ETL/ELT流程，将多源原始数据转化为结构化分析数据集。 - 运用Scrapy框架（2.8+版本）设计高效网络爬虫系统，实时获取并处理市场竞争数据。 - 执行深度数据分析，支持内部战略决策和外部业务沟通需求。 - 与数据科学团队协作，在生产环境中部署、监控和优化机器学习模型。 - 设计实施全面的数据质量控制体系，确保数据准确性和可靠性。 - 完善数据基础架构文档，包括系统架构、数据血缘关系和处理流程。 - 持续优化数据工作流，提升系统性能，降低处理延迟。 必备资质与技能 - 计算机科学、数据科学或相关工程学科硕士学位，或同等实践经验。 - 至少3年数据工程实战经验，精通Python（3.9+）和现代面向对象编程范式。 - 具备使用维度建模概念设计和实施企业级数据仓库或数据集市的成功案例。 - Google BigQuery专业技术，包括高级性能调优和成本效益管理。 - 至少3年使用Apache Airflow或Cloud Composer构建和维护复杂数据管道的经验。 - 在生产环境中部署、监控和优化机器学习模型的实际经验。 - 精通高级SQL，能够执行复杂数据转换和高效查询优化。 - 熟练掌握网络爬虫技术，特别是Scrapy框架的应用与定制。 - 卓越的问题解决能力和细节把控意识。 - 在敏捷开发、初创企业环境中的工作经验。 - 出色的英语书面和口头沟通能力。 加分条件 - 实时数据处理框架（Kafka、Spark Streaming）实战经验。 - 容器化技术（Docker、Kubernetes）专业知识。 - 熟悉Google Cloud Platform生态系统，包括Dataflow、Pub/Sub等服务。 - 数据可视化工具（Looker、Tableau、Power BI）应用经验。 - 数据治理和安全最佳实践专业知识。 - 日语熟练程度（商务沟通水平）。 - 动态定价算法或系统开发经验。 为什么选择我们 在我们的团队，您将有机会解决前沿技术挑战，直接影响业务核心竞争力。我们提供全球远程工作的灵活性，与国际顶尖人才协作的平台，以及具有市场竞争力的薪酬待遇。加入我们，您将在数据驱动的动态定价领域发挥关键作用，塑造行业未来发展方向。