Apertus Engineer: Evaluations

Wir suchen einen versierten Engineer, um die Apertus-Evaluierungsbemühungen zu unterstützen. Der ideale Kandidat wird die Evaluierungs-Codebasis und die Pipelines aufbauen und betreiben, die unsere Trainings- und Release-Entscheidungen informieren und sicherstellen, dass die Ergebnisse zwischen Training und Serving konsistent bleiben. Diese Rolle erfordert fundierte Python-Engineering-Kenntnisse, praktische Erfahrung in der LLM-Evaluierung und die Fähigkeit, kollaborativ in einem forschungsorientierten Umfeld zu arbeiten. Wir trainieren offene Foundation-Modelle mit hunderten Milliarden von Parametern auf tausenden GPUs auf einem der größten KI-fähigen Supercomputer in Europa. Das Team besteht aus mehr als einem Dutzend Vollzeit-Engineers, die neben führenden Forschern der EPFL und ETH Zürich arbeiten, hat die Modelle Apertus 1 und Apertus 1.5 veröffentlicht und arbeitet mit über dreißig akademischen Partnern zusammen, um voll offene (Open Source), verantwortungsbewusst trainierte, mehrsprachige und multimodale KI-Modelle für Forschung und Industrie bereitzustellen. Apertus wird auf Alps trainiert und entwickelt, der Supercomputing-Infrastruktur des Swiss National Supercomputing Centre (CSCS). Die Rolle erfordert jemanden, der gerne in einer HPC-Umgebung arbeitet und mit Forschern sowie Infrastruktur-Engineers kooperiert. Der Engineer wird die Verantwortung für die Evaluierungs-Codebasis und die Pipelines übernehmen, die Trainingsentscheidungen und Releases informieren. Evaluierungs-Infrastruktur Aufbau und Wartung der Evaluierungs-Codebasis und der Pipelines für Apertus-Modelle, von Checkpoints während des Trainings bis hin zu veröffentlichten Modellen Evaluierungen schnell und skalierbar ausführen: parallele Ausführung auf Alps, effiziente Nutzung von Inference-Backends, Caching und Ergebnisverfolgung Reduzierung von Diskrepanzen zwischen Evaluierungen während des Trainings und während des Servings: konsistente Tokenisierung, Chat-Templates, Prompting und Sampling über Evaluierungs-Harnesses und Inference-Engines hinweg Debugging von Evaluierungsfehlern, Regressionen und Inkonsistenzen über Backends hinweg Benchmark-Abdeckung Integration und Durchführung der für das Projekt relevanten Evaluierungen. Das Design neuer Evaluierungen liegt in der Verantwortung der kooperierenden Forscher und Engineers; diese Rolle stellt sicher, dass sie zuverlässig und skalierbar laufen Abdeckung von Bild- und Audio-Evaluierungen neben Text innerhalb derselben Pipeline Integration neuer Benchmarks im Zuge der Feldentwicklung, Zusammenarbeit mit unseren akademischen Partnern zur Implementierung der von ihnen erstellten Benchmarks und Validierung der Zuverlässigkeit von Metriken und Harness-Implementierungen Vergleichende und Third-Party-Evaluierung Evaluierung von Drittanbieter-Diensten und anderen offenen sowie geschlossenen Modellen gegen dieselbe Benchmark-Suite, um direkt vergleichbare und reproduzierbare Ergebnisse zu erzielen Bereitstellung von Evaluierungsergebnissen, Berichten und Dashboards, die Trainingsentscheidungen (Data Mixtures, Ablations) und Release-Entscheidungen unterstützen Enge Zusammenarbeit mit Engineers, die auf Sicherheit, Deployment und Community-Bedürfnisse fokussiert sind, und Integration der von ihnen erstellten Evaluierungen in die gemeinsame Pipeline Essentiell MSc oder PhD in Informatik, Data Science, Künstliche Intelligenz, Maschinelles Lernen oder einem verwandten Bereich. Außergewöhnlich BSc-Kandidaten mit starker Engineering-Erfahrung werden ebenfalls berücksichtigt Starke Python- und Software-Engineering-Kenntnisse, einschließlich Erfahrung im Aufbau robuster Daten- oder Evaluierungs-Pipelines Erfahrung mit LLM-Evaluierung: etablierte Harnesses (z. B. lm-evaluation-harness) oder maßgeschneiderte Benchmark-Tools Starke Kollaborations- und Kommunikationsfähigkeiten sowie die Fähigkeit, über Forschungs- und Engineering-Teams hinweg zu arbeiten Vorherige praktische Erfahrung in den Kernbereichen dieser Rolle ist erforderlich. Dies kann projekt- oder studienbasierte Erfahrung sein; formale Berufserfahrung wird bevorzugt Ein hohes Maß an Flexibilität: Prioritäten, Tools und tägliche Aufgaben verschieben sich mit Trainingsplänen, Releases und einem sich schnell entwickelnden Feld Erfahrung in der skalierbaren Durchführung von Evaluierungen auf GPU-Clustern (Slurm oder ähnlich) und mit Inference-Engines wie vLLM oder SGLang Vertrautheit mit agentischer Evaluierung und agentischen Harnesses: Tool-Nutzung, sandboxed Ausführungsumgebungen, Benchmarks wie SWE-bench oder ähnlich Erfahrung mit multimodaler (Bild oder Audio) Modell-Evaluierung Stark bevorzugt Ein Auge für statistische Strenge: Varianz über Durchläufe hinweg, Prompt-Sensitivität, Signifikanz von Unterschieden zwischen Modellen Nice to have Veröffentlichte Forschung in den für diese Rolle relevanten Bereichen oder Vertrautheit mit kürzlich veröffentlichter Forschung zu diesen Themen Erfahrung mit LLM-as-judge Pipelines und deren Kalibrierung Vertrautheit mit Methoden zur Erkennung und Bereinigung von Benchmark-Contamination Erfahrung in der Visualisierung und Kommunikation von Evaluierungsergebnissen an Forschungsteams Ein anregendes akademisches Umfeld an einer der weltweit führenden technischen Universitäten Zugang zu Alps, einem der größten KI-fähigen Supercomputer in Europa Die Möglichkeit, mit führenden Forschern auf diesem Gebiet zusammenzuarbeiten und deren Arbeit zu ergänzen Zusammenarbeit mit Top-Forschern und Engineers von der EPFL, ETH Zürich, CSCS und anderen Schweizer Institutionen Attraktive Beschäftigungskonditionen und umfassende Sozialleistungen, einschließlich der Pensionspläne der ETH Zürich/EPFL Flexible Arbeitsregelungen, einschließlich Optionen für Remote Work Berufliche Entwicklungsmöglichkeiten, einschließlich Konferenzteilnahmen und spezialisierter Trainings Die Chance, zu Open-Source-Projekten mit globaler Wirkung beizutragen Teil der souveränen KI-Entwicklung der Schweiz zu sein und