Senior Data Platform Engineer

Wir suchen einen Senior Data Platform Engineer, um eine skalierbare, sichere und kontrollierte Datenplattform zu entwerfen, aufzubauen und zu betreiben, die Security-, Audit-, Operational- und Analytics-Workloads unterstützt.

Diese Rolle konzentriert sich primär auf Data Engineering und die Entwicklung von Datenplattformen, einschließlich Datenarchitektur, Ingestion-Pipelines, Datenmodellierung, Qualitätskontrollen, Governance und der Integration mit Analytics- und Security-Plattformen. Der ideale Kandidat verfügt über fundierte Erfahrung im Entwurf und Betrieb von Datenplattformen, beim Aufbau zuverlässiger Batch- und Streaming-Pipelines und beim Management großer Mengen strukturierter und semistrukturierter Daten.

Die Rolle erfordert eine enge Zusammenarbeit mit Security-, Infrastruktur- und Anwendungsteams, um vertrauenswürdige, hochwertige Daten zu liefern, die Monitoring, Reporting, Bedrohungserkennung, Compliance und Business Insights ermöglichen.

Ihre Hauptaufgaben

Data Platform Architecture

• Entwurf und Weiterentwicklung skalierbarer Datenplattform-Architekturen für Security-, Audit-, Operational- und Analytics-Daten
• Definition von Datenspeicherungsstrategien, Schemata, Datenmodellen, Partitionierung, Retention und Ansätzen für das Lifecycle Management
• Evaluierung und Prototyping neuer Technologien und Architekturen zur Verbesserung von Skalierbarkeit, Performance und Kosteneffizienz

Data Engineering & Pipelines

• Entwurf, Aufbau und Wartung von Batch- und Streaming-Datenpipelines
• Entwicklung robuster Ingestion-Frameworks für Logs, Audit-Daten, Application-Events, Security-Telemetry und Operational Datasets
• Implementierung von Prozessen zur Datentransformation, Anreicherung, Normalisierung, Korrelation und Aggregation
• Sicherstellung, dass Pipelines zuverlässig, skalierbar, beobachtbar und resilient sind

Data Modeling & Storage

• Entwurf von relationalen, analytischen und ereignisbasierten Datenmodellen
• Optimierung von Datenbankstrukturen, Abfrageperformance, Indizierung und Speichereffizienz
• Unterstützung der Implementierung von Data Lake, Warehouse und Lakehouse-Konzepten, wo angemessen

Data Quality & Governance

• Definition und Implementierung von Datenqualitätskontrollen über die Ingestion- und Transformationsschichten hinweg
• Entwicklung von Validierungs-, Abgleichs-, Deduplizierungs- und Vollständigkeitsprüfungen
• Unterstützung von Data Lineage, Metadatenmanagement, Ownership, Retention, Auditierbarkeit und regulatorischen Anforderungen
• Implementierung von Kontrollen für sensible und regulierte Daten

Platform Integration & Analytics Enablement

• Integration von Daten aus verschiedenen internen und externen Plattformen, Anwendungen, Datenbanken, APIs und Messaging-Systemen
• Bereitstellung kuratierter Datensätze, die Reporting, Analytics, Observability, Compliance und Security Operations unterstützen
• Unterstützung der Integration mit SIEM, Monitoring- und Business Intelligence Plattformen
• Zusammenarbeit mit Analytics- und Reporting-Teams zur Verbesserung der Datenzugänglichkeit und Nutzbarkeit

Engineering & Automation

• Entwicklung von Data Engineering Services, Tooling und Automatisierung unter Verwendung von Python und SQL
• Beitrag zu CI/CD-Praktiken für Datenplattform-Komponenten
• Unterstützung der Infrastruktur-Automatisierung, wo erforderlich, unter Verwendung von Terraform und verwandtem Tooling
• Einhaltung von Engineering-Standards, Dokumentation und betrieblichen Verfahren
• 8+ Jahre Erfahrung in Data Engineering, Data Platform Engineering, Database Engineering oder einem verwandten Bereich
• Starke SQL-Expertise, einschließlich Schema-Design, Datenmodellierung, Abfrageoptimierung, Indizierung und Performance-Tuning
• Erfahrung im Entwurf und Betrieb von produktionsreifen Batch- und/oder Streaming-Datenpipelines
• Erfahrung mit groß angelegten Datenplattformen und analytischen Datenarchitekturen
• Hohe Kompetenz in Python und SQL
• Erfahrung in der Integration von Daten aus mehreren Quellen, Plattformen, APIs und Event-Streams
• Tiefes Verständnis von Datenqualität, Schema-Evolution, Lineage, Governance und Lifecycle Management
• Erfahrung mit relationalen Datenbanken und analytischen Speichertechnologien
• Vertrautheit mit CI/CD-Konzepten und Git-basierten Entwicklungspraktiken
• Starke analytische Fähigkeiten, Problemlösungskompetenz und Troubleshooting-Skills
• Erfahrung in der Arbeit mit sensiblen, sicherheitsrelevanten oder regulierten Daten

Preferred Qualifications

• Erfahrung mit Kafka oder anderen Streaming- und Messaging-Technologien
• Hands-on Administration und Entwicklung von Suchabfragen mit Splunk (SPL) oder alternativen SIEM/Observability-Stacks (Elasticsearch/Logstash/Kibana, Datadog)
• Erfahrung mit modernen Datenplattform-Technologien wie Apache Iceberg, Delta Lake, Apache Hudi, Trino, Spark oder Parquet
• Erfahrung mit Data Lakehouse-Architekturen
• Erfahrung bei der Implementierung von Data Quality Frameworks und Data Governance Kontrollen
• Vertrautheit mit Data Cataloging, Lineage und Metadatenmanagement-Lösungen
• Erfahrung in der Integration von Datenplattformen mit Analytics-Tools wie Apache Superset, Power BI, Tableau oder Metabase
• Erfahrung im Bankwesen, Fintech, Cybersecurity oder anderen regulierten Branchen
• Fundierte Kenntnisse in Terraform und cloudbasierten Datenplattformen

Es wäre ein echter Bonus, wenn Sie Erfahrung haben mit:

• Security Telemetry und Audit-Event-Processing
• SIEM- und Observability-Integrationen
• Compliance- und regulatorischen Reporting-Datensätzen
• AI/ML-ready Datenplattform-Architekturen
• Echtzeit-Analytics und ereignisgesteuerten Architekturen

Wir wissen, dass die Vereinbarkeit von Beruf und Privatleben eine Herausforderung ist, der wir alle in unserem täglichen Leben gegenüberstehen. Um dies zu unterstützen, freuen wir uns, den meisten unserer Avaloqers hybrides und flexibles Arbeiten anzubieten, um die Work-Life-Balance zu wahren und gleichzeitig unsere fa