Concevoir, développer, tester, déployer et maintenir des pipelines de données à l'aide de technologies telles que Spark, Python et SQL.
Mettre en œuvre des processus ETL (Extraction, Transformation, Chargement) pour ingérer, nettoyer et transformer les données provenant de diverses sources.
Construire et optimiser des systèmes de traitement de données hautement évolutifs, robustes et tolérants aux pannes.
Surveiller les performances des pipelines de données et identifier les points à améliorer.
Identifier et résoudre proactivement les goulots d'étranglement de performance dans les pipelines de données et les bases de données.
Collaborer avec les scientifiques des données et d'autres parties prenantes pour comprendre les besoins en données et les traduire en spécifications techniques.
Développer et maintenir une documentation complète pour les pipelines et les processus de données.