高级Scala大数据工程师 | 远程AWS Spark开发专家

我们金融科技公司正在寻找一位经验丰富的高级Scala大数据工程师，为我们的交易平台设计和实施先进数据管道。在这个全球远程职位中，您将运用Apache Spark、AWS和Kafka等前沿技术，处理支持数百万投资者决策的金融数据流。 主要职责 - 使用Scala 2.13+和Apache Spark 3.3+设计并构建强健、可扩展的数据管道，用于处理实时金融市场数据。 - 开发和维护复杂的ETL工作流，充分利用Apache Spark、Hadoop 3.3+、Hive和Airflow 2.5+等先进技术。 - 架构基于Kafka 3.3+的实时数据流解决方案，支持高吞吐量金融交易处理。 - 优化分布式系统中的数据存储和检索性能，包括HDFS、AWS S3、Cassandra 4.0+和关系型数据库。 - 与数据科学团队紧密合作，实施并优化Python驱动的金融模型和交易算法。 - 在AWS云平台上设计和部署基础设施，熟练运用S3、Athena、EMR、Lambda和EKS等服务。 - 为Spark应用程序实施全面自动化测试框架，确保数据完整性和系统可靠性。 - 积极参与代码审查和技术讨论，持续改进系统架构设计。 - 监控并优化现有数据管道的性能指标，实现亚秒级处理响应时间。 - 创建详尽技术文档并与工程团队分享专业领域知识。 必备技能与经验 - 4年以上生产环境中的Scala开发专业经验，熟悉函数式编程范式。 - 精通Apache Spark（3.0+）和Hadoop生态系统，深入理解分布式计算原理和最佳实践。 - 具有使用Apache Airflow 2.0+或类似工具实施和维护数据工作流的丰富实践经验。 - 在高容量数据处理领域拥有Kafka和事件驱动架构的专业知识和实战经验。 - 对分布式数据存储解决方案的深入了解，包括HDFS、AWS S3和Cassandra架构设计。 - 扎实掌握关系型数据库概念和高级SQL查询优化技术，能够编写高效查询。 - 具备设计和实施每日处理1TB+数据的大规模系统数据管道的成功经验。 - 熟练使用AWS云服务（S3、Athena、EMR、EKS、Glue、Lambda），了解云架构最佳实践。 - 能够熟练阅读和理解Python代码，特别是数据科学和机器学习应用领域。 - 为Spark应用程序编写和维护单元测试和集成测试的实际经验，确保代码质量。 - 优秀的英语口语和书面沟通能力，能够在远程环境中有效协作。 加分项 - 金融科技、交易平台或投资行业环境的工作经验，了解行业特殊需求。 - 熟悉实时数据处理技术和低延迟系统（亚毫秒级）开发方法论。 - 精通容器化技术（Docker、Kubernetes）用于微服务部署和管理。 - 具有CI/CD管道（Jenkins、GitHub Actions）和DevOps实践经验，支持持续集成。 - 了解数据治理、GDPR和金融行业特定合规要求及实施策略。 - 对开源项目的贡献或在Scala技术社区的活跃参与记录。 - 持有AWS认证数据分析专业或其他相关大数据技术认证。 - 具备Delta Lake、Apache Iceberg或其他现代数据湖仓技术的实战经验。 为什么加入我们 加入我们创新的金融科技团队，您将有机会塑造在线交易和投资平台的未来。您将构建处理数百万日常金融交易的核心系统，直接影响客户投资决策成果。我们提供具有竞争力的薪酬方案、完全灵活的远程工作安排、持续的专业发展机会，以及与全球顶尖工程师合作的宝贵经验。成为我们团队的一员，共同打造改变金融科技格局的尖端大数据解决方案。