Apertus Engineer: Post-training

Nous recherchons un ingénieur qualifié pour rejoindre l'effort de post-entraînement d'Apertus. Le candidat idéal développera, exécutera et évaluera les pipelines de SFT et d'apprentissage par renforcement utilisés pour transformer les modèles de base Apertus en assistants capables. Ce rôle nécessite une solide expérience dans le post-entraînement des LLM, de solides compétences en génie logiciel et la capacité de travailler de manière collaborative dans un environnement HPC axé sur la recherche. Contexte du projet Nous entraînons des modèles de fondation ouverts avec des centaines de milliards de paramètres sur des milliers de GPU sur l'un des plus grands supercalculateurs prêts pour l'IA en Europe. L'équipe compte plus d'une douzaine d'ingénieurs à temps plein travaillant aux côtés de chercheurs de premier plan de l'EPFL et de l'ETH Zürich, a publié les modèles Apertus 1 et Apertus 1.5, et travaille avec plus de trente collaborateurs académiques pour fournir des modèles d'IA multilingues, multimodaux, entièrement ouverts (open source) et entraînés de manière responsable pour la recherche et l'industrie. Apertus est entraîné et développé sur Alps, l'infrastructure de calcul intensif du Swiss National Supercomputing Centre. Le rôle nécessite une personne à l'aise avec le travail dans un environnement HPC et la collaboration avec des chercheurs et des ingénieurs en infrastructure. Description du poste L'ingénieur contribuera au développement, à l'exécution et à l'évaluation de flux de travail de post-entraînement évolutifs pour Apertus. Ingénierie des infrastructures et des systèmes • Construire et maintenir des environnements conteneurisés pour les charges de travail de post-entraînement de LLM et de RL • Adapter les conteneurs et les dépendances pour l'exécution sur l'infrastructure Alps / CSCS • Exécuter et surveiller les tâches d'entraînement et d'évaluation basées sur Slurm • Déboguer les échecs liés à l'exécution distribuée, au checkpointing, aux performances du système de fichiers, au réseautage et à l'utilisation des GPU • Aider à maintenir des recettes d'entraînement reproductibles, des fichiers de configuration, des scripts de lancement et la documentation • Travailler avec les chercheurs et les ingénieurs du CSCS pour améliorer la fiabilité et la performance des expériences à grande échelle Post-entraînement des LLM et apprentissage par renforcement • Soutenir les flux de travail de SFT, d'optimisation de préférence et d'apprentissage par renforcement • Construire et exécuter des environnements de RL pour des tâches avec des résultats vérifiables, telles que les mathématiques, le code, l'utilisation d'outils et le raisonnement • Implémenter et exécuter la modélisation de récompense, le calibrage de récompense et l'entraînement basé sur des vérificateurs • Générer et valider des tâches d'entraînement synthétiques ou de type gym • Exécuter des études d'ablation comparant les algorithmes, les fonctions de récompense, les mélanges de données, les hyperparamètres et les paramètres d'infrastructure • Évaluer le comportement des modèles à travers les benchmarks de raisonnement, de codage, de mathématiques, de respect des instructions, de multilinguisme, d'utilisation d'outils et de sécurité • Déboguer les problèmes courants de post-entraînement, y compris l'instabilité de l'optimisation, le reward hacking, les régressions et les échecs d'évaluation Profil Essentiel • MSc ou PhD en informatique, science des données, intelligence artificielle, apprentissage automatique ou dans un domaine connexe • Les candidats exceptionnels au niveau BSc avec une solide expérience en ingénierie seront également considérés • Expérience en IA et en architectures de réseaux neuronaux • Fortes compétences en collaboration et en communication et capacité à travailler entre les équipes de recherche et d'ingénierie • Une expérience pratique préalable dans les domaines clés de ce rôle est requise • Cela peut être une expérience basée sur des projets ou des études ; une expérience professionnelle formelle est préférée • Un haut degré de flexibilité : les priorités, les outils et les tâches quotidiennes changent selon les calendriers d'entraînement, les sorties et un domaine qui évolue rapidement • Expérience pratique du post-entraînement des LLM, qu'il s'agisse de l'alignement (SFT, optimisation de préférence) ou de l'apprentissage par renforcement • Cela signifie une expérience avec des frameworks tels que veRL, slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang ou des outils similaires Fortement préféré • Familiarité avec les concepts d'entraînement distribué tels que le parallélisme de données, le parallélisme de tenseurs, le parallélisme de pipeline, le checkpointing et la communication GPU • Expérience avec Slurm ou un autre gestionnaire de charge de travail HPC • Expérience dans la construction ou l'adaptation de conteneurs pour des clusters HPC ou GPU Atout • Recherche publiée dans les domaines pertinents pour ce rôle, ou familiarité avec la recherche récemment publiée sur ces sujets • Expérience dans la création de tâches vérifiables pour les mathématiques, le code, le raisonnement ou l'utilisation d'outils • Familiarité avec les bibliothèques GPU/distribuées de plus bas niveau telles que NCCL, Transformer Engine, FlashAttention ou les backends de communication • Expérience avec les pipelines d'évaluation à grande échelle Nous offrons • Un environnement académique stimulant dans l'une des universités techniques les plus importantes au monde • L'opportunité de travailler avec une infrastructure de supercalcul de pointe et une recherche en IA de pointe • Collaboration avec des chercheurs et ingénieurs de premier plan de l'EPFL, l'ETH Zürich, le CSCS et d'autres institutions suisses • Des modalités de travail flexibles, y compris des options de télétravail • Des opportunités de développement professionnel, y compris la participation à des conférences et des formations spécialisées • La chance de cont