Apertus Engineer: Deployment

Wir suchen einen versierten Engineer, der den technischen Release-Pfad von Apertus Modellen verantwortet. Der ideale Kandidat wird Apertus in das Open-Source-Inferenz-Ökosystem integrieren, quantisierte Varianten erstellen und sicherstellen, dass jeder Release für die Community sofort einsatzbereit („out of the box“) funktioniert. Diese Rolle erfordert starke Python- und Software-Engineering-Kenntnisse, Erfahrung mit LLM-Inferenz-Stacks und eine nachweisbare Erfolgsbilanz bei Open-Source-Beiträgen. Wir trainieren offene Foundation-Modelle mit Hunderten von Milliarden Parametern auf Tausenden von GPUs auf einem der grössten KI-fähigen Supercomputer in Europa. Das Team besteht aus mehr als einem Dutzend Vollzeit-Engineers, die Seite an Seite mit führenden Forschenden der EPFL und ETH Zürich arbeiten, hat die Apertus 1 und Apertus 1.5 Modelle veröffentlicht und arbeitet mit über dreissig akademischen Kooperationspartnern zusammen, um vollständig offene (Open Source), verantwortungsbewusst trainierte, mehrsprachige und multimodale KI-Modelle für Forschung und Industrie bereitzustellen. Apertus wird auf Alps, der Supercomputing-Infrastruktur des Schweizerischen Nationalen Supercomputing Centre (CSCS), trainiert und entwickelt. Diese Rolle befindet sich an der Schnittstelle zwischen dem Trainings-Team und der Open-Source-Community: Die soziale Seite des Community-Engagements liegt in der Verantwortung unseres Community Managers, während diese Rolle den technischen Release-Pfad verantwortet. Der Engineer wird sicherstellen, dass Apertus-Releases im gesamten Open-Source-LLM-Ökosystem sofort einsatzbereit sind, von der Inferenz auf Server-Ebene bis hin zum persönlichen Deployment. Upstream-Integration und Release Engineering Verwaltung des technischen Release-Pfads der trainierten Apertus Modelle: Konvertierung von Checkpoints und Vorbereitung von Release-Artefakten (Weights, Konfigurationen, Tokenisierer, Model Cards) gemeinsam mit dem Trainings-Team Implementierung und Upstream-Support für Apertus Modellarchitekturen in Community-Libraries wie Hugging Face Transformers, vLLM, SGLang und llama.cpp sowie Begleitung dieser Beiträge durch den Review-Prozess, um die Community-Unterstützung sicherzustellen Verifizierung der Day-0-Kompatibilität neuer Releases mit den wichtigsten Inferenz-Engines und Modellformaten Koordination des Release-Zeitpunkts und der technischen Materialien mit dem Community Manager Quantisierung Erstellung quantisierter Varianten der veröffentlichten Modelle (z. B. FP8, INT4/AWQ/GPTQ, GGUF), die für den Server- und persönlichen Einsatz geeignet sind Validierung quantisierter Varianten gegen Evaluations-Benchmarks, um sicherzustellen, dass die Qualität erhalten bleibt Dokumentation und Beispiele Bereitstellung von Beispiel-Skripten und Referenzkonfigurationen, die zeigen, wie Apertus Modelle mit vLLM, SGLang und Transformers bereitgestellt und genutzt werden können Unterstützung von persönlichen und lokalen Deployment-Ökosystemen wie LM Studio, Ollama und llama.cpp Wartung der Deployment-Dokumentation und Troubleshooting-Guides für die Community Essenziell MSc oder PhD in Informatik, Data Science, Künstliche Intelligenz, Machine Learning oder einem verwandten Bereich Aussergewöhnliche BSc-Kandidaten mit starker Engineering-Erfahrung werden ebenfalls berücksichtigt Starke Python- und Software-Engineering-Kenntnisse, einschliesslich Erfahrung mit Open-Source-Contribution-Workflows (Pull Requests, Code Review, CI) Erfahrung mit LLM-Inferenz-Stacks wie Hugging Face Transformers, vLLM oder SGLang Starke Kollaborations- und Kommunikationsfähigkeiten sowie die Fähigkeit, in Teams aus Forschung, Engineering und Community-Facing-Bereichen zu arbeiten Vorherige praktische Erfahrung in den Kernbereichen dieser Rolle ist erforderlich Dies kann projekt- oder studienbasierte Erfahrung sein; formale Berufserfahrung wird bevorzugt Ein hohes Mass an Flexibilität: Prioritäten, Tools und tägliche Aufgaben verschieben sich mit Trainingsplänen, Releases und einem sich schnell bewegenden Feld Eine nachweisbare Erfolgsbilanz von gemergeden Beiträgen zu ML- oder Inferenz-Libraries (z. B. Transformers, vLLM, SGLang, llama.cpp) Stark bevorzugt Erfahrung bei der Konvertierung von Modellen zwischen Formaten und Frameworks (z. B. Megatron-LM Checkpoints, safetensors, GGUF) Vertrautheit mit persönlichen und lokalen Deployment-Tools wie LM Studio, Ollama oder llama.cpp Erfahrung im Schreiben von Entwickler-orientierter Dokumentation und Beispielcode Schön zu haben Veröffentlichte Forschung in den für diese Rolle relevanten Bereichen oder Vertrautheit mit kürzlich veröffentlichter Forschung zu diesen Themen Erfahrung in der Quantisierung von Modellen ohne Leistungsverlust (FP8, INT4, AWQ, GPTQ) und in der Evaluierung quantisierter Modelle Erfahrung mit LLM-Evaluation-Harnesses und Benchmark-Pipelines Vertrautheit mit GPU-Inferenz-Performance-Tuning und Serving im grossen Massstab Erfahrung mit Apple Silicon / MLX oder anderen Consumer-Hardware-Inferenz-Zielen Ein anregendes akademisches Umfeld an einer der weltweit führenden technischen Universitäten Zugang zu Alps, einem der grössten KI-fähigen Supercomputer in Europa Die Möglichkeit, mit führenden Forschenden auf diesem Gebiet zusammenzuarbeiten und sich mit ihnen zu vernetzen Zusammenarbeit mit Top-Forschenden und Engineers von EPFL, ETH Zürich, CSCS und anderen Schweizer Institutionen Attraktive Anstellungsbedingungen und umfassende Zusatzleistungen, einschliesslich der ETH Zürich/EPFL Pensionskassen Flexible Arbeitsmodelle, einschliesslich Optionen für Remote Work Berufliche Entwicklungsmöglichkeiten, einschliesslich der Teilnahme an Konferenzen und spezialisierten Trainings Die Chance, zu Open-Source-Projekten mit globaler Wirkung beizutragen Teil der souveränen KI-Entwicklung der Schweiz zu sein und an Technologien von nationaler Bedeutung zu arbeiten Die Rolle kann entweder in Lausanne an der EPFL oder in Zürich an der ETH Zürich angesiedel