Socomec
Data Engineer
About the job
Nous recherchons un Data Engineer motivé, capable de concevoir, développer et industrialiser les pipelines permettant d’alimenter notre Data Platform à partir des différents systèmes d’information du Groupe.
Vous contribuerez directement à rendre les données accessibles, fiables et exploitables pour répondre aux besoins Analytics, reporting, Data Science et IA de l’entreprise.
Rattaché(e) à l’équipe Data, vous participez à la construction et à l’évolution de notre Data Platform basée sur Databricks, en collaboration avec les équipes IT, BI, Data Science et les équipes métiers.
Responsabilités
• Concevoir, développer et maintenir les pipelines d’ingestion et de transformation permettant d’alimenter la Data Platform à partir de différentes sources : ERP, bases de données, API, fichiers et applications métiers.
• Participer à l’intégration progressive des données des différentes entités et régions du Groupe dans la Data Platform.
• Développer des traitements de données fiables, performants, maintenables et réutilisables.
• Transformer et structurer les données afin de les rendre exploitables pour les usages Analytics, reporting, Data Science et IA.
• Mettre en œuvre les contrôles nécessaires pour garantir la qualité, la cohérence et la traçabilité des données.
• Participer à l’industrialisation des pipelines : gestion des environnements, versioning, tests, déploiement et monitoring.
• Contribuer à la définition et au respect des standards de développement de la Data Platform.
• Participer à l’amélioration continue des performances, de la fiabilité et de l’industrialisation de la plateforme.
• Collaborer avec les équipes BI, Data Science, Intégration, IT et métiers afin de comprendre les besoins et proposer les solutions techniques adaptées.
• Documenter les pipelines, les transformations et les données mises à disposition.
Qualifications
• Ingénieur en informatique, Data Engineering ou formation équivalente.
• Expérience de 2 à 3 ans en Data Engineering, développement de pipelines de données ou intégration de données.
• Bonne maîtrise de SQL et Python.
• Bonne compréhension des problématiques d’ingestion, de transformation et de modélisation des données.
• Expérience avec des outils ETL/ELT ou des plateformes modernes de traitement de données.
• Connaissance des principes de développement logiciel : Git, tests, CI/CD et gestion des environnements.
• Bonne compréhension des architectures Data modernes et des environnements Cloud.
• Maîtrise du français et de l’anglais.
Les plus qui pourraient vous rendre unique
• Une expérience sur Databricks.
• Une connaissance de Spark / PySpark.
• Une expérience avec Delta Lake et les architectures Lakehouse.
• Une connaissance de Microsoft Azure.
• Une expérience avec des outils d’orchestration de pipelines de données.
• Une connaissance des problématiques de gouvernance, catalogue et lineage des données, notamment Unity Catalog.
• Une expérience dans l’intégration de données provenant d’ERP ou de systèmes industriels.
• Une sensibilité aux enjeux de Data Quality et d’observabilité des pipelines.
Parce que votre profil ne se résume pas qu’à des compétences techniques
• Vous aimez comprendre les données et les processus métiers qui se trouvent derrière les développements techniques.
• Vous avez l’habitude de travailler en méthodologie Agile.
• Vous avez un bon esprit d’analyse et aimez résoudre des problématiques complexes.
• Vous savez travailler dans un environnement international et avec des équipes pluridisciplinaires.
• Vous avez le sens de l’écoute, un esprit de collaboration et êtes force de proposition.
• Vous êtes organisé(e), rigoureux(se), autonome et fiable.
• Vous souhaitez participer à la construction d’une Data Platform Groupe et contribuer concrètement à la transformation Data de l’entreprise.
#LI-OHI