Administrateur Big Data Azure - Java - Freelance (H/F)

Fiche de poste - Administrateur Big Data Azure - Java

Contexte et objectif de la mission

Dans le cadre du développement et de la maintenance d'une infrastructure Big Data sur cloud public, la mission consiste à gérer, optimiser et garantir la disponibilité d'une plateforme centrée sur Spark et Synapse, avec une migration prochaine des environnements on-premise vers des solutions cloud publiques telles que Snowflake et Databricks.

Niveau recherché

Profil middle à senior.

Missions principales

- Développement d'APIs en Java/Spring facilitant l'interfaçage avec Azure et gestion du cycle de vie des applications via CI/CD
- Implémentation et maintenance de solutions de traitement distribué basées sur Spark, via une stack Spark sur AKS développée en interne (Kubernetes CRD Spark Operator) et Synapse d'Azure
- Déploiement automatisé et intégration des solutions dans le respect des exigences de sécurité : autorisation, authentification, chiffrement, résilience, Azure Policies
- Garantie de la disponibilité, de la performance et de la sécurité des solutions déployées
- Gestion des incidents et tickets liés à l'infrastructure Hadoop avec support technique
- Gestion des changements : préparation des changes, tests, rollback, coordination avec les intervenants et suivi des processus
- Participation à l'élaboration et au suivi du planning global de production
- Mise en place et maintien de la documentation technique destinée aux équipes internes et aux utilisateurs
- Participation aux task forces pour résoudre des problématiques techniques complexes
- Contribution aux POC de migration des clients on-premise vers des solutions de stockage sur Azure, Snowflake, Databricks et autres
- Accompagnement des clients dans leur transition du on-premise vers le cloud public
- Collaboration étroite avec les éditeurs et les équipes internes
- Réalisation des astreintes techniques selon le planning défini

Profil recherché

Compétences techniques :
- Développement : Java, Spring, Temporal, Liquibase, Powershell
- Containerisation d'applications Java, déploiement sur AKS, création d'images Docker
- Azure Kubernetes Service (AKS) avec maîtrise de Azure Identity, CSI, nodepool, autoscaling, VM spot
- Big Data : Spark, Hive Metastore, Hadoop
- CI/CD et GitOps : Jenkins, ArgoCD, GitHub, Git, Nexus, Harbor
- Linux, Bash, protocoles de sécurité OAuth et SSL
- Monitoring : ElasticSearch, Kibana (niveau utilisateur)
- Connaissance de Snowflake et Databricks, notamment sur le stockage, le catalogue de données et la fédération des données

Compétences relationnelles :
- Esprit d'analyse et de synthèse, autonomie et sens des responsabilités
- Capacité à travailler en équipe et à communiquer efficacement
- Orientation client et qualité de service