高级数据工程师主管 | 人工智能社交媒体平台 | 全球远程职位

我们正在为一个革命性的平台寻找经验丰富的**高级数据工程师主管**，该平台利用前沿人工智能技术创建和发布社交媒体内容。作为数据基础设施的核心架构师，您将设计和构建支持我们AI模型的强大数据管道，确保从多样化社交媒体源收集的海量数据的完整性、可靠性和合规性。这是一个难得的机会，让您在一个快速发展的技术领域展示您的专业知识。 核心职责 - 设计、开发和维护强大且可扩展的数据管道，用于从各种社交媒体平台和用户互动中收集、处理和存储数据，支持我们的AI驱动决策系统。 - 负责企业级数据仓库的整体架构设计，实施最佳实践以确保数据模型的高效性、可扩展性和一致性。 - 制定并实施严格的数据质量框架，包括自动化验证流程和监控系统，确保AI模型使用的社交媒体数据的准确性和可靠性。 - 开发和优化高效的ETL/ELT流程，简化数据摄取和转换，减少人工干预并提高系统整体效率。 - 持续监控关键性能指标，识别并解决数据管道中的瓶颈，确保平台在高负载条件下保持99.9%以上的可用性。 - 与数据科学家、机器学习工程师和产品团队紧密协作，了解数据需求并为AI模型开发和训练提供必要的数据基础设施和支持。 - 设计并执行全面的数据治理策略，确保社交媒体数据的隐私、安全性以及遵守全球数据保护法规，包括GDPR和CCPA。 - 建立性能基准并实施先进的监控解决方案，快速识别和响应数据管道中的异常情况。 - 领导与业务分析师的合作，设计直观的交互式仪表板，支持跨部门的数据驱动决策。 - 开发和维护专业领域数据集市，提供有关社交媒体趋势和用户行为的实时洞察。 - 积极研究评估新兴数据技术、工具和框架，推动技术创新并优化数据工程流程。 必备技能与资格 - 计算机科学、数据工程或相关技术领域的学士或硕士学位，拥有扎实的理论基础。 - 5年以上数据工程领域的专业经验，特别是在ETL流程开发、数据管道构建和数据质量保障方面有成功案例。 - 精通Python编程(Python 3.9+)，熟练掌握pandas、NumPy、dbt、Apache Airflow(2.0+)等现代数据工程库和框架。 - 具备高级SQL技能，能够编写和优化复杂查询，熟悉PostgreSQL 14+、MySQL 8+或其他主流关系型数据库。 - 丰富的云平台经验，包括AWS服务(S3、Redshift、Glue、Lambda、Kinesis)或Azure服务(Data Factory、Synapse Analytics、Event Hubs、Databricks)。 - 深入了解数据建模最佳实践，能够设计和优化大规模数据仓库架构，熟悉Kimball方法论。 - 熟练掌握DataOps原则、CI/CD流程以及敏捷开发方法，能够在快速变化的环境中高效工作。 - 出色的问题分析和解决能力，具备系统思维和对细节的关注，能够处理复杂的数据挑战。 - 优秀的沟通技巧，能够清晰地向各级利益相关者解释技术概念和数据洞察。 - 深入了解数据治理框架和全球数据保护法规，能够实施合规性解决方案。 优先考虑的经验 - 处理Twitter、Facebook、Instagram、TikTok等社交媒体API和大规模非结构化数据的实际经验。 - 使用Apache Spark(3.0+)、Kafka、Hadoop或其他分布式计算技术处理大数据的经验。 - 熟练使用Tableau、Power BI、Looker或其他现代数据可视化工具，能够创建引人入胜的数据故事。 - 了解机器学习工作流程和AI模型的数据需求，有支持ML/AI项目的经验。 - 设计和实施现代数据湖或湖仓一体(Lakehouse)架构的经验，熟悉Delta Lake、Iceberg等技术。 - 在Docker、Kubernetes环境中部署和维护数据服务的经验，了解容器化最佳实践。 - 实施数据安全策略、加密方案和访问控制系统的经验，保护敏感信息。 为什么加入我们 加入我们意味着您将在技术前沿工作，开发一个正在重新定义社交媒体内容创作的创新平台。您将有机会解决复杂的技术挑战，设计能够处理海量数据的系统，并直接影响产品的发展方向。我们提供具有竞争力的薪酬待遇、全球远程工作的灵活性、持续学习机会以及与充满才华的跨国团队合作的环境。作为数据团队的领导者，您的专业知识将成为我们技术创新的核心驱动力。