Data Engineer Databricks F/H

FRA · 5 months ago

About the job

Votre rôle Ingestion et transformation des données Concevoir des pipelines ETL/ELT performants et évolutifs Ingérer des données depuis diverses sources (bases de données, fichiers, APIs, streaming, etc.) Appliquer des transformations et des nettoyages sur les données Optimisation et performance Optimiser les requêtes (partitionnement, caching, autoscaling) Gérer les coûts d’exécution en adaptant les ressources (clusters Databricks, autoscaling) Gestion et gouvernance des données Mettre en place des Data Lakehouse et organiser les données selon des bonnes pratiques (Bronze, Silver, Gold) Appliquer des politiques de sécurité et de gouvernance avec Unity Catalog Assurer la qualité des données...