Lead Data platform Apache Airflow - Freelance (H/F)

CONTEXTE DE LA MISSION

La plateforme d'orchestration Airflow MWAA, actuellement en version 2.10.3, assure l'exécution de pipelines de données bancaires couvrant 9 pays européens. À la suite d'un audit technique récent, un programme de remédiation structurelle est engagé.

La mission nécessite l'intervention d'un profil senior capable de piloter les actions correctives, d'établir les standards techniques de la plateforme et d'accompagner les équipes dans leur montée en compétence.

STRUCTURE DE LA MISSION

La mission s'articule autour de deux phases successives.

PHASE 1 - PILOTAGE DE LA REMÉDIATION (MOIS 1 À 3)

Cette première phase consiste en une intervention intensive visant à piloter les quick wins prioritaires, notamment sur les sujets de sécurité, de fiabilité des données et de stabilité sous charge.

Le consultant sera également chargé de valider techniquement les corrections réalisées par l'équipe et de formaliser les standards Airflow applicables à l'ensemble de la plateforme.

PHASE 2 - LEAD PLATFORM ENGINEER (MOIS 3 À 12+)

La seconde phase correspond à une évolution vers un rôle de Lead Platform Airflow/MWAA Engineer.

Le périmètre couvrira notamment le pilotage de la refonte structurelle de la plateforme, avec la mise en œuvre d'une véritable DAG Factory, la migration vers les Datasets Airflow et le renforcement de l'observabilité.

Le rôle comprendra également l'animation de la méta-équipe Dev + Ops, la formation des équipes ainsi que le pilotage du capacity planning.

La mission débute ainsi par une phase de remédiation à court terme avant d'évoluer naturellement vers une fonction de leadership technique.

PROFIL RECHERCHÉ

Séniorité : minimum 5 ans d'expérience sur Apache Airflow, avec une expérience significative sur un environnement managé tel qu'AWS MWAA ou Google Cloud Composer.

COMPÉTENCES TECHNIQUES REQUISES

*

Excellente maîtrise du modèle d'exécution Airflow : scheduler, executor, pools, triggers et deferrable operators

*

Expérience du tuning de plateformes Airflow à grande échelle, avec 200+ DAGs en production

*

Expertise de l'écosystème AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch et IAM

*

Expérience dans la conception de DAG Factories dynamiques permettant de générer des DAGs à partir de configurations

*

Maîtrise des patterns de fiabilité : retry strategies, Dead Letter Queues et circuit breakers

*

Solides compétences en observabilité : métriques, dashboards, alerting et routage des incidents

*

Maîtrise avancée de Python, notamment pour le développement de plugins custom, operators et sensors

*

Connaissance d'Infrastructure as Code avec Terraform souhaitée

COMPÉTENCES TRANSVERSES

*

Capacité à établir des standards techniques et à garantir leur application, notamment à travers les code reviews et la définition de patterns

*

Expérience en mentorat et en transfert de compétences auprès d'équipes mixtes Dev + Ops

*

Aptitude à piloter un plan de remédiation technique : priorisation des actions, suivi de l'avancement et reporting

*

Forte autonomie et capacité à être force de proposition

MISSIONS PRINCIPALES

1.

Piloter la résorption de la dette technique mise en évidence lors de l'audit, avec une charge estimée à 6-8 semaines-homme.

2.

Formaliser les standards Airflow de la plateforme : patterns de DAG, pools, deferrable et observabilité.

3.

Superviser les code reviews sur le périmètre plateforme, notamment concernant les plugins, operators et la factory.

4.

Assurer la formation des équipes Dev et Ops sur les internals Airflow.

5.

Prendre en charge le capacity planning ainsi que le tuning de l'environnement MWAA.

6.

À terme, piloter la refonte de la DAG Factory et la migration vers les Datasets Airflow.