Senior Python Streaming & Data Engineer (RabbitMQ / Snowflake / PostgreSQL)
- Tipo di contratto
- Contratto
- Percentuale
- 100%
- Luogo
- Bern
- Lingue
- Tedesco, Tedesco
- Prima pubblicazione
- IT - Software Engineering
- Bern
- Contracting
- Teilzeit
- Snowflake, PostgreSQL, RabbitMQ
I due engineers che insieme sono responsabili dell'intera catena di elaborazione dei dati si completano idealmente con i loro focus tecnici come segue:
- Streaming & Performance: focus sullo sviluppo di consumer RabbitMQ, Python Concurrency, ottimizzazione delle prestazioni e processamento stabile sotto alto carico
- Data Integration & Recovery: focus su Snowflake/PostgreSQL, acquisizione affidabile dei dati nonché processi di recovery, replay e backfill
Per entrambi i focus sono richieste esperienza pratica con RabbitMQ e comprovata esperienza di progetto in ambienti produttivi.
Compiti:
- Sviluppo e ottimizzazione di un'applicazione Python scalabile per l'elaborazione di flussi di dati RabbitMQ
- Implementazione e ulteriore sviluppo di consumer RabbitMQ per ambienti di streaming produttivi
- Integrazione e configurazione dell'acquisizione dei dati in Snowflake e Snowflake Postgres
- Garantire un'elaborazione affidabile dei messaggi inclusi acknowledgements, redelivery, backpressure e deduplicazione
- Concezione e implementazione di robusti processi di recovery, replay e backfill
- Ottimizzazione di latenza, throughput nonché consumo di CPU e memoria
- Analisi e risoluzione di colli di bottiglia delle prestazioni, picchi di carico e casi di errore
- Garantire la completezza e la coerenza dei dati per i dati live e storici
- Integrazione di processi di ricarica utilizzando Kestra e dlt (dltHub) in collaborazione con l'interno Data Ingestion Engineer
- Sviluppo di test automatizzati nonché esecuzione di test di performance e carico
- Integrazione della soluzione in Azure DevOps CI/CD e implementazione di funzioni di monitoraggio di base
- Stretta collaborazione con i team interni di piattaforma e engineering nonché documentazione e trasferimento di conoscenze
Profilo:
- Ottima esperienza pratica nello sviluppo Python, in particolare con applicazioni produttive a lunga esecuzione
- Approfondita esperienza con RabbitMQ, in particolare nello sviluppo di consumer, message processing e gestione degli errori
- Esperienza pratica con sistemi di streaming sotto carico reale nonché la loro ottimizzazione delle prestazioni
- Buone conoscenze di Snowflake e PostgreSQL, in particolare nell'ambito di Data Ingestion e integrazione dei dati
- Esperienza con recovery, replay, backfill, deduplicazione e coerenza dei dati
- Ottima comprensione di acknowledgements, redelivery, backpressure e message queuing
- Conoscenze in Python Concurrency, CPU-/Memory-Profiling e ottimizzazione delle prestazioni
- Esperienza nello sviluppo e nella gestione di pipeline di dati pronte per la produzione
- Conoscenze in test automatizzati, CI/CD e monitoraggio
- Esperienza con Azure DevOps nonché moderni processi di sviluppo e deployment
- Conoscenze in Azure, AKS, Kestra, dlt, Kafka o Debezium sono un vantaggio
- Metodo di lavoro autonomo, strutturato e orientato alle soluzioni nonché spiccata attitudine al lavoro di squadra
- Esperienza nella collaborazione con team interni di piattaforma, sviluppo e gestione
Tradotto automaticamente dall’originale.
Pubblicato 4 giorni fa