← Tutte le offerte

Senior Python Streaming & Data Engineer (RabbitMQ / Snowflake / PostgreSQL)

Coopers Group AG

Tipo di contratto
Contratto
Percentuale
100%
Luogo
Bern
Lingue
Tedesco, Tedesco
Prima pubblicazione
Candidati ora
  • IT - Software Engineering
  • Bern
  • Contracting
  • Teilzeit
  • Snowflake, PostgreSQL, RabbitMQ

I due engineers che insieme sono responsabili dell'intera catena di elaborazione dei dati si completano idealmente con i loro focus tecnici come segue:

  • Streaming & Performance: focus sullo sviluppo di consumer RabbitMQ, Python Concurrency, ottimizzazione delle prestazioni e processamento stabile sotto alto carico
  • Data Integration & Recovery: focus su Snowflake/PostgreSQL, acquisizione affidabile dei dati nonché processi di recovery, replay e backfill

Per entrambi i focus sono richieste esperienza pratica con RabbitMQ e comprovata esperienza di progetto in ambienti produttivi.

Compiti:

  • Sviluppo e ottimizzazione di un'applicazione Python scalabile per l'elaborazione di flussi di dati RabbitMQ
  • Implementazione e ulteriore sviluppo di consumer RabbitMQ per ambienti di streaming produttivi
  • Integrazione e configurazione dell'acquisizione dei dati in Snowflake e Snowflake Postgres
  • Garantire un'elaborazione affidabile dei messaggi inclusi acknowledgements, redelivery, backpressure e deduplicazione
  • Concezione e implementazione di robusti processi di recovery, replay e backfill
  • Ottimizzazione di latenza, throughput nonché consumo di CPU e memoria
  • Analisi e risoluzione di colli di bottiglia delle prestazioni, picchi di carico e casi di errore
  • Garantire la completezza e la coerenza dei dati per i dati live e storici
  • Integrazione di processi di ricarica utilizzando Kestra e dlt (dltHub) in collaborazione con l'interno Data Ingestion Engineer
  • Sviluppo di test automatizzati nonché esecuzione di test di performance e carico
  • Integrazione della soluzione in Azure DevOps CI/CD e implementazione di funzioni di monitoraggio di base
  • Stretta collaborazione con i team interni di piattaforma e engineering nonché documentazione e trasferimento di conoscenze

Profilo:

  • Ottima esperienza pratica nello sviluppo Python, in particolare con applicazioni produttive a lunga esecuzione
  • Approfondita esperienza con RabbitMQ, in particolare nello sviluppo di consumer, message processing e gestione degli errori
  • Esperienza pratica con sistemi di streaming sotto carico reale nonché la loro ottimizzazione delle prestazioni
  • Buone conoscenze di Snowflake e PostgreSQL, in particolare nell'ambito di Data Ingestion e integrazione dei dati
  • Esperienza con recovery, replay, backfill, deduplicazione e coerenza dei dati
  • Ottima comprensione di acknowledgements, redelivery, backpressure e message queuing
  • Conoscenze in Python Concurrency, CPU-/Memory-Profiling e ottimizzazione delle prestazioni
  • Esperienza nello sviluppo e nella gestione di pipeline di dati pronte per la produzione
  • Conoscenze in test automatizzati, CI/CD e monitoraggio
  • Esperienza con Azure DevOps nonché moderni processi di sviluppo e deployment
  • Conoscenze in Azure, AKS, Kestra, dlt, Kafka o Debezium sono un vantaggio
  • Metodo di lavoro autonomo, strutturato e orientato alle soluzioni nonché spiccata attitudine al lavoro di squadra
  • Esperienza nella collaborazione con team interni di piattaforma, sviluppo e gestione

Tradotto automaticamente dall’originale.

Pubblicato 4 giorni fa

Luogo

Vedi su Google Maps