Senior Data Platform Engineer

Qualche informazione sul ruolo ##

Cerchiamo un Senior Data Platform Engineer per progettare, costruire e gestire una piattaforma dati scalabile, sicura e governata che supporti carichi di lavoro di sicurezza, audit, operativi e analitici.

Questo ruolo è focalizzato principalmente sull'ingegneria dei dati e sullo sviluppo di piattaforme dati, inclusi l'architettura dei dati, le pipeline di ingestione, la modellazione dei dati, i controlli di qualità, la governance e l'integrazione con le piattaforme di analytics e sicurezza. Il candidato ideale avrà una solida esperienza nella progettazione e gestione di piattaforme dati, nella costruzione di pipeline batch e streaming affidabili e nella gestione di grandi volumi di dati strutturati e semi-strutturati.

Il ruolo richiede una stretta collaborazione con i team di sicurezza, infrastruttura e applicativi per fornire dati affidabili e di alta qualità che consentano il monitoraggio, il reporting, il rilevamento delle minacce, la conformità e gli insight aziendali.

I tuoi compiti principali

Architettura della Piattaforma Dati

• Progettare ed evolvere architetture di piattaforme dati scalabili per dati di sicurezza, audit, operativi e analitici
• Definire strategie di archiviazione dei dati, schemi, modelli di dati, partizionamento, ritenzione e approcci alla gestione del ciclo di vita
• Valutare e prototipare nuove tecnologie e architetture per migliorare la scalabilità, le prestazioni e l'efficienza dei costi

Data Engineering & Pipeline

• Progettare, costruire e mantenere pipeline di dati batch e streaming
• Sviluppare framework di ingestione robusti per log, dati di audit, eventi applicativi, telemetria di sicurezza e dataset operativi
• Implementare processi di trasformazione, arricchimento, normalizzazione, correlazione e aggregazione dei dati
• Garantire che le pipeline siano affidabili, scalabili, osservabili e resilienti

Modellazione e Archiviazione dei Dati

• Progettare modelli di dati relazionali, analitici e basati su eventi
• Ottimizzare le strutture dei database, le prestazioni delle query, l'indicizzazione e l'efficienza dell'archiviazione
• Supportare l'implementazione di concetti di data lake, warehouse e lakehouse dove appropriato

Qualità e Governance dei Dati

• Definire e implementare controlli di qualità dei dati attraverso i livelli di ingestione e trasformazione
• Sviluppare controlli di validazione, riconciliazione, deduplicazione e completezza
• Supportare il data lineage, la gestione dei metadati, la proprietà, la ritenzione, l'auditabilità e i requisiti normativi
• Implementare controlli per dati sensibili e regolamentati

Integrazione della Piattaforma e Abilitazione dell'Analytics

• Integrare dati provenienti da diverse piattaforme interne ed esterne, applicazioni, database, API e sistemi di messaggistica
• Fornire dataset curati che supportino il reporting, l'analytics, l'osservabilità, la conformità e le operazioni di sicurezza
• Supportare l'integrazione con piattaforme SIEM, di monitoraggio e di business intelligence
• Collaborare con i team di analytics e reporting per migliorare l'accessibilità e l'utilizzabilità dei dati

Ingegneria e Automazione

• Sviluppare servizi di data engineering, strumenti e automazione utilizzando Python e SQL
• Contribuire alle pratiche CI/CD per i componenti della piattaforma dati
• Supportare l'automazione dell'infrastruttura dove richiesto, utilizzando Terraform e strumenti correlati
• Mantenere standard di ingegneria, documentazione e procedure operative

Qualche informazione su di te ##

• 8+ anni di esperienza in Data Engineering, Data Platform Engineering, Database Engineering o campi correlati
• Forte competenza SQL, inclusi schema design, modellazione dei dati, ottimizzazione delle query, indicizzazione e tuning delle prestazioni
• Esperienza nella progettazione e gestione di pipeline di dati batch e/o streaming di livello produzione
• Esperienza con piattaforme dati su larga scala e architetture di dati analitici
• Ottima padronanza di Python e SQL
• Esperienza nell'integrazione di dati da molteplici fonti, piattaforme, API e flussi di eventi
• Forte comprensione della qualità dei dati, dell'evoluzione degli schemi, del lineage, della governance e della gestione del ciclo di vita
• Esperienza con database relazionali e tecnologie di archiviazione analitica
• Familiarità con i concetti CI/CD e le pratiche di sviluppo basate su Git
• Forti capacità analitiche, di problem-solving e di risoluzione dei problemi
• Esperienza nel lavorare con dati sensibili, rilevanti per la sicurezza o regolamentati

Qualifiche Preferite

• Esperienza con Kafka o altre tecnologie di streaming e messaggistica
• Amministrazione pratica e sviluppo di query di ricerca con Splunk (SPL) o stack SIEM/osservabilità alternativi (Elasticsearch/Logstash/Kibana, Datadog)
• Esperienza con tecnologie moderne di piattaforme dati come Apache Iceberg, Delta Lake, Apache Hudi, Trino, Spark o Parquet
• Esperienza con architetture data lakehouse
• Esperienza nell'implementazione di framework per la qualità dei dati e controlli di governance dei dati
• Familiarità con soluzioni di catalogazione dei dati, lineage e gestione dei metadati
• Esperienza nell'integrazione di piattaforme dati con strumenti di analytics come Apache Superset, Power BI, Tableau o Metabase
• Esperienza nei settori bancario, fintech, cybersecurity o altri settori regolamentati
• Conoscenza operativa di Terraform e piattaforme dati basate su cloud

Sarebbe un vero valore aggiunto se avessi

• Esperienza in telemetria di sicurezza ed elaborazione di eventi di audit
• Integrazioni SIEM e di osservabilità
• Dataset per il reporting normativo e di conformità
• Architetture di piattaforma dati pronte per AI/ML
• Analytics in tempo reale e architetture basate su eventi

Informazioni aggiuntive ##

Ci rendiamo conto che gestire l'equilibrio tra vita lavorativa e privata è una sfida che affrontiamo tutti quotidianamente e, per supportare in que