高级数据工程主管 - AI社交媒体平台 | 远程职位

我们的AI驱动社交媒体内容平台正在寻找一位经验丰富的数据工程主管，以领导我们的数据基础设施计划。在这个远程职位中，您将设计并实施强大的数据管道，为我们的人工智能工具提供支持，使全球内容创作者受益。您将使用最先进的云技术（如AWS和Azure），同时与跨职能团队合作，将复杂的社交媒体数据转化为我们AI模型的有价值见解。 关键职责 - 设计、开发和维护企业级数据管道，用于从各种社交媒体平台和用户互动中收集、处理和存储数据。 - 架构并实施全面的数据仓库解决方案，为AI/ML工作负载和分析进行优化。 - 建立并执行严格的数据质量框架和验证流程，确保社交媒体数据的完整性、准确性和可靠性。 - 使用现代工具（如Apache Airflow、AWS Glue或Azure Data Factory）开发和自动化复杂的提取、转换、加载(ETL)流程。 - 持续监控、排除故障并优化数据管道，以提高性能指标、可靠性和可扩展性。 - 与数据科学家和机器学习工程师合作，了解复杂的数据需求，并为模型训练和部署提供必要的基础设施。 - 实施健全的数据治理实践，确保符合国际法规，包括GDPR、CCPA和其他相关隐私框架。 - 建立性能基准，开发全面的监控解决方案，主动识别瓶颈或异常。 - 与分析师和业务利益相关者合作，使用Tableau、Power BI或定制解决方案设计交互式仪表板。 - 开发和维护数据集市，提供关于社交媒体趋势和用户行为的实时分析和见解。 - 研究新兴数据技术，评估其在改进我们数据工程生态系统中的潜在应用。 必备技能和资格 - 计算机科学、数据工程、计算机工程或相关技术领域的学士或硕士学位。 - 5年以上数据工程专业经验，在ETL流程、数据管道架构和质量保证方面具有可证明的专业知识。 - 精通Python 3.8+和高级SQL（包括复杂查询优化）。 - 丰富的数据工程库和框架经验，如Pandas、PySpark、Dask或类似技术。 - 在基于云的数据平台和服务方面的丰富经验，特别是AWS（Redshift、S3、Glue、Lambda）和/或Azure（Synapse Analytics、Data Lake、Data Factory）。 - 实施和维护数据仓库解决方案和维度建模的经验。 - 容器化（Docker）和编排技术（Kubernetes）的工作知识。 - 对分布式计算原理和大数据处理框架的实际理解。 - 有效记录数据流、架构和流程的能力。 优先考虑 - NoSQL数据库（MongoDB、Cassandra、DynamoDB）经验。 - 熟悉流数据技术，如Kafka、Kinesis或Azure Event Hubs。 - 了解数据网格架构和领域驱动设计原则。 - 使用dbt（data build tool）或类似转换框架的经验。 - 处理社交媒体API和非结构化数据的背景。 - 相关云平台认证（AWS认证数据分析、Azure数据工程师）。 - MLOps经验和将数据管道整合到机器学习工作流中。 - 理解图形数据库及其在社交网络分析中的应用。 为什么加入我们的团队 加入我们创新的远程优先团队，共同构建AI驱动内容创作的未来。您将使用前沿技术，解决复杂的数据挑战，并对我们产品的成功产生直接影响。我们提供有竞争力的薪酬、灵活的工作安排、专业发展机会，以及与多个学科的优秀专业人士合作的机会。我们的协作文化鼓励创造力、持续学习和技术卓越，我们正在革新创作者与社交媒体互动的方式。