Apertus Engineer: Infrastructure

Apertus Engineer: Infrastructure # 100%, Zurich, befristet #### print Drucken  Wir suchen einen versierten Infrastructure Engineer, um das Apertus-Team zu verstärken. Der ideale Kandidat übernimmt die Verantwortung für den Container-Image-Stack hinter unseren Pre-Training-, Post-Training- und Serving-Workloads und arbeitet mit CSCS-Ingenieuren zusammen, um groß angelegtes Training auf Alps stabil und schnell zu halten. Diese Rolle erfordert fundierte Linux- und Container-Kenntnisse, Erfahrung mit HPC-Umgebungen und die Fähigkeit, kollaborativ in Forschungs-, Engineering- und Operations-Teams zu arbeiten. Projekt-Hintergrund ## Das Apertus-Projekt, eine gemeinsame Anstrengung von EPFL, ETH Zürich und CSCS, sucht einen praktischen und motivierten Infrastructure Engineer, um beim Aufbau der nächsten Version von Apertus zu helfen. Der erfolgreiche Kandidat wird den Container-Image-Stack verantworten und eng mit dem CSCS zusammenarbeiten, um groß angelegtes Training stabil und schnell zu halten. Wir trainieren offene Foundation-Modelle mit Hunderten von Milliarden von Parametern auf Tausenden von GPUs auf einem der größten KI-fähigen Supercomputer in Europa. Das Team besteht aus mehr als einem Dutzend Vollzeit-Ingenieuren, die neben führenden Forschern der EPFL und ETH Zürich arbeiten, hat die Modelle Apertus 1 und Apertus 1.5 veröffentlicht und arbeitet mit über dreißig akademischen Kooperationspartnern zusammen, um vollständig offene (Open Source), verantwortungsbewusst trainierte, mehrsprachige, multimodale KI-Modelle für Forschung und Industrie bereitzustellen. Apertus wird auf Alps trainiert und entwickelt, der Supercomputing-Infrastruktur des Swiss National Supercomputing Centre (CSCS). Die Rolle erfordert jemanden, der gerne in einer HPC-Umgebung arbeitet und mit Forschern und Infrastructure Engineers zusammenarbeitet. Jobbeschreibung ## Der Engineer wird die Stabilität und den Durchsatz der Apertus Pre-Training- und Post-Training-Pipelines ermöglichen, indem er die ML-System-Images pflegt und mit dem CSCS an der zugrunde liegenden Infrastruktur partnerschaftlich zusammenarbeitet. Wartung von ML-System-Images • Erstellung, Wartung und Upgrade von Container-Images für alle Kernphasen der ML-Entwicklung: Pre-Training, Post-Training/Alignment und Model Serving/Deployment • Zielgerichtet auf die ARM-basierte (aarch64, Grace-Hopper) Node-Architektur von Alps, wobei der gesamte Dependency-Stack (CUDA, NCCL, PyTorch, Training- und Serving-Frameworks) verwaltet wird • Sicherstellung, dass Image-Builds reproduzierbar, versioniert und dokumentiert sind, einschliesslich CI für Builds und Upgrades • Validierung der Images gegen Referenz-Pre-Training- und Post-Training-Workloads zusammen mit Apertus-Engineers sowie Bereitstellung funktionierender Launch-Beispiele Compute-Partnerschaft und Effizienz • Primärer technischer Ansprechpartner für CSCS-Engineers und Forscher in Bezug auf Compute, Zuverlässigkeit und Effizienz • Kollaborative Arbeit mit dem CSCS-Personal zur Identifizierung und Implementierung von Verbesserungen in der Effizienz und Leistung der zugrunde liegenden Compute-Infrastruktur, im Bereich des ML Systems Performance Engineering • Beitrag zu systemischen Verbesserungen der CSCS-basierten Ressourcen (Netzwerk, Speicher, Scheduling), die für das groß angelegte LLM-Training relevant sind • Dokumentation und Weitergabe von institutionellem Wissen über die CSCS-Infrastruktur und Best Practices zur Nutzung dieser Hochleistungssysteme Infrastruktur-Stresstests • Stresstests der Infrastruktur unter Verwendung repräsentativer Pre-Training- und Post-Training-Workloads, basierend auf den bestehenden Rezepten und Beispielen des Projekts, um Stabilität und Durchsatz nach Image-Upgrades, Systemwartungen und Konfigurationsänderungen zu validieren • Enge Zusammenarbeit mit Apertus Pre-Training- und Post-Training-Engineers zur Fehlerbehebung bei Problemen auf Cluster-Ebene, die Stabilität und Durchsatz beeinträchtigen: Node-Ausfälle, Networking, Speicherleistung, Checkpointing und Scheduling • Unterstützung des Apertus Serving-Stacks, der auf denselben Images aufbaut (der Betrieb des Serving-Stacks wird von einem separaten Engineer verantwortet) Profil ## Essenziell • MSc oder PhD in Informatik, Data Science, Künstliche Intelligenz, Maschinelles Lernen oder einem verwandten Bereich  • Herausragende BSc-Kandidaten mit starker Engineering-Erfahrung werden ebenfalls in Betracht gezogen • Hands-on-Erfahrung mit HPC-Umgebungen: Job-Scheduler wie Slurm, Shared Filesystems und Multi-Node-GPU-Systeme • Starke Linux-System- und Container-Kenntnisse (Docker/Podman und HPC-Runtimes wie enroot oder Apptainer) • Starke Kollaborations- und Kommunikationsfähigkeiten sowie die Fähigkeit, über Forschungs-, Engineering- und Operations-Teams hinweg zu arbeiten • Vorherige Hands-on-Erfahrung in den Kernbereichen dieser Rolle ist erforderlich • Dies kann projekt- oder studienbasierte Erfahrung sein; formale Berufserfahrung wird bevorzugt • Ein hohes Maß an Flexibilität: Prioritäten, Werkzeuge und tägliche Aufgaben ändern sich mit Trainingsplänen, Releases und einem sich schnell entwickelnden Feld Sehr erwünscht • Vertrautheit mit LLM-Training- und Serving-Frameworks wie Megatron-LM, PyTorch distributed, vLLM oder SGLang • Erfahrung im Erstellen oder Anpassen von Containern für ARM64/aarch64-Plattformen • Vertrautheit mit HPC-Networking- und Kommunikations-Stacks: Slingshot, libfabric, NCCL und dessen Debugging • Erfahrung mit parallelen Filesystems (z. B. Lustre) und Speicherleistungsoptimierung • Erfahrung beim Einrichten von CI/CD-Pipelines für Container-Image-Builds Von Vorteil • Veröffentlichte Forschung in den für diese Rolle relevanten Bereichen oder Vertrautheit mit kürzlich veröffentlichter Forschung zu diesen Themen • Erfahrung im Profiling von verteilten GPU-Workloads (Nsight, DCGM, Kommunikations-Benchmarks) und der Übersetzung von Erkenntnissen in Infrastrukturverbesserungen • Erfah