Senior Data Platform Engineer

Nous recherchons un Senior Data Platform Engineer pour concevoir, construire et exploiter une plateforme de données évolutive, sécurisée et gouvernée, prenant en charge les charges de travail liées à la sécurité, à l'audit, à l'exploitation et à l'analyse. Ce rôle est principalement axé sur l'ingénierie des données et le développement de plateformes de données, y compris l'architecture de données, les pipelines d'ingestion, la modélisation des données, les contrôles de qualité, la gouvernance et l'intégration avec les plateformes d'analyse et de sécurité. Le candidat retenu aura une solide expérience dans la conception et l'exploitation de plateformes de données, la construction de pipelines batch et streaming fiables, et la gestion de gros volumes de données structurées et semi-structurées. Le rôle nécessite une collaboration étroite avec les équipes de sécurité, d'infrastructure et d'application pour fournir des données de haute qualité et de confiance qui permettent la surveillance, le reporting, la détection des menaces, la conformité et les perspectives métier. Vos tâches clés  Architecture de la plateforme de données Concevoir et faire évoluer des architectures de plateformes de données évolutives pour les données de sécurité, d'audit, d'exploitation et d'analyse Définir les stratégies de stockage de données, les schémas, les modèles de données, le partitionnement, la rétention et les approches de gestion du cycle de vie Évaluer et prototyper de nouvelles technologies et architectures pour améliorer l'évolutivité, la performance et l'efficacité des coûts Ingénierie des données et pipelines Concevoir, construire et maintenir des pipelines de données batch et streaming Développer des frameworks d'ingestion robustes pour les logs, les données d'audit, les événements d'application, la télémétrie de sécurité et les ensembles de données opérationnels Mettre en œuvre des processus de transformation, d'enrichissement, de normalisation, de corrélation et d'agrégation des données Assurer que les pipelines sont fiables, évolutifs, observables et résilients Modélisation et stockage des données Concevoir des modèles de données relationnels, analytiques et basés sur les événements Optimiser les structures de base de données, la performance des requêtes, l'indexation et l'efficacité du stockage Soutenir la mise en œuvre des concepts de data lake, warehouse et lakehouse si nécessaire Qualité et gouvernance des données Définir et mettre en œuvre des contrôles de qualité des données à travers les couches d'ingestion et de transformation Développer des contrôles de validation, de réconciliation, de déduplication et de complétude Soutenir le lignage des données (data lineage), la gestion des métadonnées, la propriété, la rétention, l'auditabilité et les exigences réglementaires Mettre en œuvre des contrôles pour les données sensibles et réglementées Intégration de la plateforme et facilitation de l'analyse Intégrer des données provenant de diverses plateformes internes et externes, applications, bases de données, APIs et systèmes de messagerie Fournir des ensembles de données organisés qui soutiennent le reporting, l'analyse, l'observabilité, la conformité et les opérations de sécurité Soutenir l'intégration avec les plateformes SIEM, de surveillance et de business intelligence Collaborer avec les équipes d'analyse et de reporting pour améliorer l'accessibilité et l'utilisabilité des données Ingénierie et automatisation Développer des services d'ingénierie de données, des outils et de l'automatisation en utilisant Python et SQL Contribuer aux pratiques CI/CD pour les composants de la plateforme de données Soutenir l'automatisation de l'infrastructure si nécessaire, en utilisant Terraform et les outils associés Maintenir les standards d'ingénierie, la documentation et les procédures opérationnelles 8+ ans d'expérience en Data Engineering, Data Platform Engineering, Database Engineering, ou dans un domaine connexe Forte expertise SQL, incluant la conception de schémas, la modélisation de données, l'optimisation de requêtes, l'indexation et le réglage des performances Expérience dans la conception et l'exploitation de pipelines de données batch et/ou streaming de classe production Expérience avec les plateformes de données à grande échelle et les architectures de données analytiques Grande maîtrise de Python et SQL Expérience dans l'intégration de données provenant de multiples sources, plateformes, APIs et flux d'événements Compréhension approfondie de la qualité des données, de l'évolution des schémas, du lignage, de la gouvernance et de la gestion du cycle de vie Expérience avec les bases de données relationnelles et les technologies de stockage analytique Connaissance des concepts CI/CD et des pratiques de développement basées sur Git Fortes capacités d'analyse, de résolution de problèmes et de dépannage Expérience de travail avec des données sensibles, liées à la sécurité ou réglementées Qualifications préférées Expérience avec Kafka ou d'autres technologies de streaming et de messagerie Administration pratique et développement de requêtes de recherche avec Splunk (SPL) ou des piles SIEM/observabilité alternatives (Elasticsearch/Logstash/Kibana, Datadog) Expérience avec les technologies modernes de plateforme de données telles qu'Apache Iceberg, Delta Lake, Apache Hudi, Trino, Spark ou Parquet Expérience avec les architectures de data lakehouse Expérience dans la mise en œuvre de frameworks de qualité des données et de contrôles de gouvernance des données Connaissance des solutions de catalogage de données, de lignage et de gestion des métadonnées Expérience dans l'intégration de plateformes de données avec des outils d'analyse tels qu'Apache Superset, Power BI, Tableau, ou Metabase Expérience dans le secteur bancaire, fintech, la cybersécurité ou d'autres industries réglementées Connaissance pratique de Terraform et des plateformes de données basées sur le cloud Ce serait un véritable bonus