Senior Python Streaming & Data Engineer (RabbitMQ / Snowflake / PostgreSQL)
- Type de contrat
- Contrat
- Taux d’occupation
- 100%
- Lieu
- Bern
- Langues
- Allemand, Allemand
- Première publication
- IT - Software Engineering
- Bern
- Contracting
- Temps partiel
- Snowflake, PostgreSQL, RabbitMQ
Les deux engineers, qui sont responsables ensemble de toute la chaîne de traitement des données, se complètent idéalement avec leurs spécialités techniques comme suit :
- Streaming & Performance : accent sur le développement de consommateurs RabbitMQ, Python Concurrency, l'optimisation des performances et un traitement stable sous forte charge
- Data Integration & Recovery : accent sur Snowflake/PostgreSQL, l'ingestion de données fiable ainsi que les processus de recovery, de replay et de backfill
Pour les deux spécialités, une expérience pratique avec RabbitMQ et une expérience de projet démontrable dans des environnements de production sont requises.
Tâches :
- Développement et optimisation d'une application Python évolutive pour le traitement de flux de données RabbitMQ
- Implémentation et développement continu de consommateurs RabbitMQ pour des environnements de streaming de production
- Intégration et configuration de l'ingestion de données dans Snowflake et Snowflake Postgres
- Garantie d'un traitement fiable des messages, y compris les acknowledgements, la redelivery, le backpressure et la déduplication
- Conception et implémentation de processus robustes de recovery, de replay et de backfill
- Optimisation de la latence, du débit ainsi que de la consommation de CPU et de mémoire
- Analyse et résolution des goulots d'étranglement de performance, des pics de charge et des cas d'erreur
- Garantie de l'exhaustivité et de la cohérence des données pour les données en direct et historiques
- Intégration de processus de rechargement en utilisant Kestra et dlt (dltHub) en collaboration avec l'interne Data Ingestion Engineer
- Développement de tests automatisés ainsi que réalisation de tests de performance et de charge
- Intégration de la solution dans Azure DevOps CI/CD et implémentation de fonctions de monitoring de base
- Collaboration étroite avec les équipes internes de plateforme et d'engineering ainsi que documentation et transfert de connaissances
Profil :
- Très bonne expérience pratique dans le développement Python, en particulier avec des applications de production à long terme
- Expérience approfondie avec RabbitMQ, en particulier le développement de consommateurs, le message processing et la gestion des erreurs
- Expérience pratique avec les systèmes de streaming sous charge réelle ainsi que leur optimisation de performance
- Bonnes connaissances de Snowflake et PostgreSQL, en particulier dans le domaine de la Data Ingestion et de l'intégration de données
- Expérience avec le recovery, le replay, le backfill, la déduplication et la cohérence des données
- Très bonne compréhension des acknowledgements, de la redelivery, du backpressure et du message queuing
- Connaissances en Python Concurrency, CPU-/Memory-Profiling et optimisation des performances
- Expérience dans le développement et l'exploitation de pipelines de données prêtes pour la production
- Connaissances en tests automatisés, CI/CD et monitoring
- Expérience avec Azure DevOps ainsi qu'avec les processus modernes de développement et de déploiement
- Connaissances en Azure, AKS, Kestra, dlt, Kafka ou Debezium sont un avantage
- Méthode de travail autonome, structurée et orientée solutions ainsi qu'une forte aptitude au travail en équipe
- Expérience dans la collaboration avec des équipes internes de plateforme, de développement et d'exploitation
Traduit automatiquement depuis l’original.
Publié il y a 4 jours