高级Scala与大数据开发工程师 | 远程 | 金融交易系统

我们正在寻找一位经验丰富的高级Scala与大数据开发工程师，加入我们创新团队，为金融交易和投资平台开发复杂的数据管道。这个远程职位提供了使用前沿大数据技术和函数式编程范式解决金融科技领域复杂挑战的机会。您将在全球范围内工作，成为构建影响金融市场的数据处理基础设施的关键人物。 主要职责 - 使用Scala和Apache Spark设计并实现可扩展、高性能的数据处理管道。 - 使用Airflow和其他编排工具开发和维护ETL工作流。 - 优化金融交易和投资应用程序的大数据处理，确保系统可以处理高并发交易量。 - 创建可靠、容错的分布式系统，能处理大量金融数据并保持高可用性。 - 使用Kafka和流处理技术实现实时数据处理解决方案，支持即时交易决策。 - 与数据科学家合作，将机器学习模型投入运营，提升交易分析能力。 - 确保整个数据生命周期的数据质量和完整性，符合金融行业的严格标准。 - 为Spark应用程序编写全面的单元和集成测试，确保系统稳定性。 - 参与代码审查并为技术文档做出贡献，促进知识共享。 - 持续改进系统架构和性能，跟踪行业最新技术发展。 必备技能 - 4年以上Scala 2.13或3.x和函数式编程概念的专业经验。 - 精通Apache Spark 3.x、Hadoop 3.x和分布式计算原理，能够设计高效的数据处理流程。 - 丰富的数据管道设计和ETL流程经验，特别是在处理金融数据方面。 - 熟练掌握Apache Hive 3.x、Apache Airflow 2.x和工作流编排技术。 - 深入了解如Apache Kafka 3.x等消息系统用于实时数据处理的应用。 - 具有各种数据库的实践经验，包括RDBMS和NoSQL解决方案（Cassandra等）。 - 高级SQL技能，能够编写复杂数据查询和转换，优化查询性能。 - 具有AWS技术栈的实际经验，包括S3、Athena、EMR、EKS等服务。 - 能够阅读和理解Python 3.9+代码，特别是数据科学脚本和机器学习模型。 - 使用ScalaTest等框架为Spark应用程序编写自动化测试的丰富经验。 - 流利的英语口语和书面表达能力，以便有效的远程团队协作。 - 强大的问题解决能力和细节关注力，能够在复杂系统中定位和解决问题。 加分项 - 具有Scala Cats、ZIO或Akka框架的实际应用经验。 - 了解Docker和Kubernetes等容器化技术，能够设计微服务架构。 - 具有Spark Streaming或Apache Flink等流处理框架的深入经验。 - 熟悉CI/CD实践和Jenkins或GitHub Actions等自动化部署工具。 - 在金融服务、交易或投资领域的工作经验，了解行业特定需求。 - 全面理解数据治理、隐私保护和金融行业合规要求。 - 为开源项目或Scala社区做出贡献，展示技术热情。 - 有图形数据库或时间序列数据库在金融分析中的应用经验。 - 了解区块链技术及其在金融领域的潜在应用。 为什么加入我们 加入我们的团队，解决金融领域的前沿大数据挑战。您将有机会影响我们的核心数据架构，与全球分布的优秀工程师团队合作，构建每天处理数百万交易的关键系统。我们提供有竞争力的薪酬，完全灵活的远程工作安排，以及注重创新和专业成长的协作环境。我们重视技术卓越，鼓励持续学习，并为员工提供参与前沿金融科技发展的独特机会。