Data Engineer Junior 38-43K€ H/F Digit Value

Détail du poste

Mission

Participer à la mise en place, la maintenance et l'évolution de l'infrastructure de données de l'Administration pour garantir la qualité, l'utilisabilité et la sécurité des données en collaboration avec l'ensemble des acteurs de l'équipe plateformes et données ainsi qu'avec les métiers qui fournissent ou utilisent les données.

Activités principales :
- Concevoir et mettre en place les architectures et pipelines de données pour répondre aux besoins des projets
- Intégrer, nettoyer, organiser et stocker les données de différentes sources
- Assurer la qualité, l'intégrité et la sécurité des données
- Optimiser les requêtes et les algorithmes pour améliorer la performance des traitements
- Assurer la mise à jour et la maintenance des infrastructures
- Documenter les flux de données et veiller à la mise à jour de la documentation

Activités éventuelles(liste non exhaustive) :

En plus des activités principales, le titulaire du poste pourrait également être amené à :
- Effectuer une veille technologique pour rester à jour sur les tendances et les évolutions de l'écosystème Data.
- Former les utilisateurs à l'utilisation de l'infrastructure de données
- Participer à l'optimisation de l'infrastructure Cloud

Profil

Diplômes requis : Ingénieur Bac +5 ;

Durée d'expérience requise : junior

Compétences techniques :
- Connaissances en langages de programmation (Python minimum obligatoire)
- Bonne compréhension des bases de données (SQL, NoSQL, Time Series)
- Connaissances basiques en environnement Big Data (Hadoop, Spark, Kafka...)
- Maîtrise des outils de gestion de données (Airflow est un plus)
- Connaissance des infrastructures Cloud (AWS, Azure) et des technologies de conteneurisation (Kubernetes, Openshift)

Une connaissance des des technologies suivantes est un plus :

Catalogue de données : Datahub // Dataviz : Apache Superset // Environnements de développement de projets Data : Jupyter/Gitlab/VSCode // Outils d'ingénierie de la donnée : Apache Airflow / scripting Python / Brokers//Gestion des droits d'accès et rôles : Keycloak, Apache Ranger // Mise en place d'API et exposition de la donnée : FastAPI / Kong