Trino Power User / Analyst

Trino Power User / Analyst

Località: Basel, Switzerland
Società: Swiss Himmel GmbH
Tipo di impiego: Full-time
Esperienza: 5+ years
Settore: Data Platforms / Distributed Data Systems

Informazioni su Swiss Himmel GmbH

Swiss Himmel GmbH è una società di tecnologia e consulenza con sede a Basel che collabora con imprese leader per modernizzare piattaforme complesse di dati, tecnologia e infrastruttura. Combiniamo una forte competenza tecnica con un'esperienza pratica di consegna per supportare iniziative di data engineering, cloud, platform e trasformazione digitale.

Informazioni sul Ruolo

Swiss Himmel GmbH è alla ricerca di un esperto Trino Power User / Analyst per supportare la progettazione, l'implementazione, l'operatività e l'ottimizzazione di piattaforme di accesso ai dati distribuiti.

Il candidato ideale avrà una forte esperienza pratica con Trino o Presto, implementazioni basate su Kubernetes, fonti dati eterogenee, ottimizzazione delle prestazioni delle query e architetture dati moderne. Lavorerai a stretto contatto con Data Engineers e Analyst per migliorare l'accesso ai dati, le prestazioni della piattaforma e le capacità di analytics distribuite.

Responsabilità Chiave
Trino Platform Engineering
Progettare, implementare e gestire cluster Trino in ambienti Kubernetes on-premises.
Configurare e mantenere cataloghi e connettori Trino per fonti dati eterogenee.
Integrare fonti dati tra cui Hive, Iceberg, Kafka e object storage.
Gestire la configurazione del cluster Trino, i modelli di esecuzione, i resource groups e la pianificazione delle query.
Garantire alta disponibilità, scalabilità e fault tolerance dei cluster Trino.
Performance & Workload Management
Ottimizzare le prestazioni di esecuzione delle query attraverso la configurazione di memoria, CPU, spill e partizionamento.
Affinare le query distribuite utilizzando tecniche come joins, partition pruning e predicate pushdown.
Implementare la gestione del carico di lavoro utilizzando resource groups, prioritizzazione delle query e limiti di concorrenza.
Monitorare la latenza delle query, le prestazioni del cluster, l'uso delle risorse e la salute complessiva del sistema.
Risolvere problemi relativi a fallimenti delle query, contesa delle risorse e problemi a livello di sistema.
Data Architecture & Integration
Supportare l'accesso ai dati attraverso architetture dati moderne inclusi ambienti data lake, lakehouse e data mesh.
Lavorare con formati di tabella aperti, in particolare Apache Iceberg.
Contribuire alle decisioni architettoniche riguardanti data lake, query federate e analytics distribuite.
Collaborare con Data Engineers e Analyst per stabilire best practice per un accesso efficiente ai dati.
Monitoring, Security & Operations
Implementare e utilizzare soluzioni di osservabilità come Prometheus, Grafana e Dynatrace.
Monitorare, segnalare e risolvere problemi nelle piattaforme dati distribuite.
Supportare i meccanismi di sicurezza e controllo degli accessi inclusi LDAP, Kerberos e RBAC.
Identificare e risolvere problemi di prestazioni e disponibilità a livello di piattaforma.
Contribuire all'affidabilità della piattaforma e ai miglioramenti operativi.
Qualifiche ed Esperienza Richieste
5+ years di esperienza lavorativa con sistemi dati distribuiti, piattaforme dati o infrastrutture big data.
Esperienza pratica con l'implementazione e l'operatività di cluster Trino o Presto.
Forte comprensione dell'architettura Trino, inclusi:
Architettura Coordinator e worker
Modello di esecuzione
Pianificazione delle query
Resource groups
Esperienza con Kubernetes, containerizzazione o sistemi distribuiti basati su VM.
Esperienza nell'integrazione di fonti dati come Hive, Metastore, Iceberg e Kafka.
Forte esperienza nell'ottimizzazione delle query distribuite e nel tuning delle prestazioni.
Esperienza pratica con Apache Iceberg e formati di tabella aperti.
Esperienza con Kubernetes, Linux e networking.
Esperienza con monitoraggio, alerting e risoluzione di problemi in sistemi distribuiti.
Esperienza base di scripting/programmazione utilizzando Python e/o Bash.
Forti capacità di debugging a livello di sistema e di problem-solving.
Qualifiche Preferibili
Esperienza lavorativa nei servizi finanziari o in altri ambienti regolamentati.
Conoscenza di sistemi basati su Java/JVM.
Esperienza con LDAP, Kerberos e RBAC aziendale.
Esperienza con Prometheus, Grafana o Dynatrace.
Esperienza lavorativa con architetture data lake, lakehouse o data mesh.
Esperienza nel contribuire a soluzioni di query federate e analytics distribuite.
Competenze Chiave
Espertozza in Trino / Presto
Piattaforme dati distribuite
Ottimizzazione delle prestazioni delle query
Kubernetes e Linux
Apache Iceberg
Integrazione Hive e Kafka
Architetture data lake e lakehouse
Monitoraggio della piattaforma e risoluzione problemi
Gestione delle risorse e del carico di lavoro
Automazione Python / Bash
Forti capacità analitiche e di problem-solving
Collaborazione cross-funzionale
Perché unirsi a Swiss Himmel GmbH?
Lavorare su moderne piattaforme dati distribuite e ambienti dati aziendali.
Acquisire esposizione a Trino, Kubernetes, Iceberg, Kafka e architetture dati moderne.
Lavorare con team esperti di Data Engineering e Analytics.
Contribuire a iniziative di trasformazione e piattaforme dati su larga scala.
Ambiente di lavoro collaborativo e professionale.
Opportunità di crescita a lungo termine all'interno di Swiss Himmel GmbH.
Compensazione e benefit svizzeri competitivi.