Apertus Engineer: Infrastructure

Apertus Engineer: Infrastructure # 100%, Zurich, fixed-term #### print Drucken  Nous recherchons un ingénieur en infrastructure qualifié pour rejoindre l'équipe Apertus. Le candidat idéal sera responsable de la pile d'images de conteneurs derrière nos charges de travail de pré-entraînement, de post-entraînement et de service, et collaborera avec les ingénieurs du CSCS pour maintenir l'entraînement à grande échelle sur Alps stable et rapide. Ce rôle nécessite de solides compétences en Linux et en conteneurs, une expérience des environnements HPC et la capacité de travailler en collaboration avec les équipes de recherche, d'ingénierie et d'exploitation. Contexte du projet ## Le projet Apertus, un effort conjoint entre l'EPFL, l'ETH Zürich et le CSCS, recherche un ingénieur en infrastructure pratique et motivé pour aider à construire la prochaine version d'Apertus. Le candidat retenu sera responsable de la pile d'images de conteneurs et travaillera en étroite collaboration avec le CSCS pour maintenir l'entraînement à grande échelle stable et rapide. Nous entraînons des modèles de fondation ouverts avec des centaines de milliards de paramètres sur des milliers de GPU sur l'un des plus grands supercalculateurs prêts pour l'IA en Europe. L'équipe compte plus d'une douzaine d'ingénieurs à plein temps travaillant aux côtés de chercheurs de premier plan de l'EPFL et de l'ETH Zürich, a publié les modèles Apertus 1 et Apertus 1.5, et travaille avec plus de trente collaborateurs académiques pour fournir des modèles d'IA entièrement ouverts (open source), entraînés de manière responsable, multilingues et multimodaux pour la recherche et l'industrie. Apertus est entraîné et développé sur Alps, l'infrastructure de supercalcul de l'infrastructure nationale suisse de calcul de haute performance (CSCS). Le rôle nécessite une personne à l'aise avec le travail dans un environnement HPC et la collaboration avec des chercheurs et des ingénieurs en infrastructure. Description du poste ## L'ingénieur permettra la stabilité et le débit des pipelines de pré-entraînement et de post-entraînement d'Apertus en maintenant les images du système ML et en étant partenaire du CSCS sur l'infrastructure sous-jacente. Maintenance des images du système ML • Construire, maintenir et mettre à jour les images de conteneurs pour toutes les phases de développement ML de base : pré-entraînement, post-entraînement/alignement, et service/déploiement de modèles • Cibler l'architecture de nœud basée sur ARM (aarch64, Grace-Hopper) d'Alps, en gérant toute la pile de dépendances (CUDA, NCCL, PyTorch, frameworks d'entraînement et de service) • Maintenir les builds d'images reproductibles, versionnés et documentés, incluant la CI pour les builds et les mises à jour • Valider les images par rapport aux charges de travail de référence de pré-entraînement et de post-entraînement avec les ingénieurs d'Apertus, et maintenir des exemples de lancement fonctionnels Partenariat de calcul et efficacité • Servir de principal point de contact technique avec les ingénieurs et les chercheurs du CSCS concernant le calcul, la fiabilité et l'efficacité • Travailler en collaboration avec le personnel du CSCS pour identifier et mettre en œuvre des améliorations de l'efficacité et des performances de l'infrastructure de calcul sous-jacente, en chevauchant l'ingénierie de performance des systèmes ML • Contribuer aux améliorations systémiques des ressources basées sur le CSCS (réseau, stockage, ordonnancement) pertinentes pour l'entraînement de LLM à grande échelle • Documenter et diffuser les connaissances institutionnelles sur l'infrastructure du CSCS et les meilleures pratiques pour exploiter ces systèmes de haute performance Tests de stress de l'infrastructure • Tester la résistance de l'infrastructure en utilisant des charges de travail représentatives de pré-entraînement et de post-entraînement, en s'appuyant sur les recettes et exemples existants du projet, pour valider la stabilité et le débit après les mises à jour d'images, la maintenance du système et les changements de configuration • Travailler en étroite collaboration avec les ingénieurs de pré-entraînement et de post-entraînement d'Apertus pour déboguer les problèmes au niveau du cluster affectant la stabilité et le débit : pannes de nœuds, réseau, performances de stockage, checkpointing et ordonnancement • Soutenir la pile de service d'Apertus, qui s'appuie sur les mêmes images (l'exploitation de la pile de service est assurée par un ingénieur distinct) Profil ## Essentiel • MSc ou PhD en informatique, science des données, intelligence artificielle, apprentissage automatique ou dans un domaine connexe • Les candidats exceptionnels de niveau BSc ayant une solide expérience en ingénierie seront également considérés • Expérience pratique des environnements HPC : ordonnanceurs de tâches tels que Slurm, systèmes de fichiers partagés et systèmes GPU multi-nœuds • Solides compétences en systèmes Linux et en conteneurs (Docker/Podman et runtimes HPC tels que enroot ou Apptainer) • Solides capacités de collaboration et de communication et capacité à travailler avec les équipes de recherche, d'ingénierie et d'exploitation • Une expérience pratique préalable dans les domaines de base de ce rôle est requise • Cela peut être une expérience basée sur des projets ou des études ; l'expérience professionnelle formelle est préférée • Un haut degré de flexibilité : les priorités, les outils et les tâches quotidiennes changent en fonction des calendriers d'entraînement, des sorties et d'un domaine qui évolue rapidement Fortement préféré • Familiarité avec les frameworks d'entraînement et de service de LLM tels que Megatron-LM, PyTorch distributed, vLLM ou SGLang • Expérience dans la construction ou l'adaptation de conteneurs pour les plateformes ARM64/aarch64 • Familiarité avec les piles de communication et de réseau HPC : Slingshot, libfabric, NCCL et son débogage • Expérience avec les systèmes