Data Engineer Spark S3 - Freelance (H/F)

Taux journalier (TJM): 550€

La mission :

*

Concevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark.

*

Modéliser et faire évoluer les tables Apache Iceberg sur Amazon S3, en veillant à la performance, à l'évolutivité et à la gouvernance des données.

*

Mettre en place des contrôles de qualité : complétude, unicité, fraîcheur, cohérence et traçabilité des données du catalogue.

*

Construire un système résilient : traitements idempotents, reprise sur erreur, retries maîtrisés, gestion des données en retard, rejouabilité et backfill.

*

Déployer un monitoring opérationnel avec métriques, logs structurés, dashboards et alertes utiles sur les erreurs, les volumes, la fraîcheur et les temps de traitement.

*

Participer aux phases de développement et de tests : unitaires, intégration, qualité des données, performance et montée en charge.

*

Documenter les pipelines, les modèles de données, les procédures d'exploitation et les décisions techniques.

*

De formation supérieure en informatique, en data ou en ingénierie, avec une première expérience en Data Engineering.

*

Bonne maîtrise de Spark et de SQL ; une expérience en Python ou Scala est appréciée.

*

Connaissance des architectures data sur AWS, du stockage objet S3 et des formats ou tables analytiques comme Iceberg.

*

Sensibilité forte à la qualité des données, à la résilience, à l'observabilité et à l'amélioration continue.

*

Esprit d'équipe, autonomie, curiosité et envie de contribuer à des produits utilisés par les abonnés