Apertus Engineer: Post-training

Cerchiamo un ingegnere esperto da inserire nello sforzo di post-training di Apertus. Il candidato ideale svilupperà, eseguirà e valuterà le pipeline di SFT e di reinforcement learning utilizzate per trasformare i modelli base di Apertus in assistenti capaci. Questo ruolo richiede un solido background nel post-training di LLM, ottime capacità di software engineering e la capacità di lavorare in modo collaborativo in un ambiente HPC orientato alla ricerca. Background del progetto Addestriamo modelli foundation open con centinaia di miliardi di parametri su migliaia di GPU su uno dei più grandi supercomputer pronti per l'AI in Europa. Il team conta più di una dozzina di ingegneri full-time che lavorano fianco a fianco con ricercatori leader di EPFL e ETH Zürich, ha rilasciato i modelli Apertus 1 e Apertus 1.5, e collabora con oltre trenta collaboratori accademici per fornire modelli AI multilingue, multimodali e completamente open (open source), addestrati in modo responsabile, per la ricerca e l'industria. Apertus è addestrato e sviluppato su Alps, l'infrastruttura di supercalcolo del Swiss National Supercomputing Centre. Il ruolo richiede una persona a proprio agio nel lavorare in un ambiente HPC e nel collaborare con ricercatori e ingegneri dell'infrastruttura. Descrizione del lavoro L'ingegnere contribuirà allo sviluppo, all'esecuzione e alla valutazione di workflow di post-training scalabili per Apertus. Ingegneria dell'infrastruttura e dei sistemi • Costruire e mantenere ambienti containerizzati per carichi di lavoro di post-training LLM e RL • Adattare container e dipendenze per l'esecuzione sull'infrastruttura Alps / CSCS • Eseguire e monitorare job di addestramento e valutazione basati su Slurm • Debugging di guasti relativi all'esecuzione distribuita, checkpointing, prestazioni del filesystem, networking e utilizzo della GPU • Aiutare a mantenere ricette di addestramento riproducibili, file di configurazione, script di lancio e documentazione • Lavorare con ricercatori e ingegneri CSCS per migliorare l'affidabilità e le prestazioni di esperimenti su larga scala Post-training LLM e reinforcement learning • Supportare i workflow di SFT, ottimizzazione delle preferenze e reinforcement learning • Costruire ed eseguire ambienti RL per task con risultati verificabili, come matematica, codice, uso di tool e ragionamento • Implementare ed eseguire reward modelling, reward calibration e training basato su verifier • Generare e validare task di addestramento sintetici o gym • Eseguire studi di ablazione confrontando algoritmi, funzioni di reward, miscele di dati, iperparametri e impostazioni dell'infrastruttura • Valutare il comportamento del modello attraverso benchmark di ragionamento, coding, matematica, instruction-following, multilinguismo, uso di tool e sicurezza • Debugging di problemi comuni di post-training, inclusa l'instabilità dell'ottimizzazione, il reward hacking, le regressioni e i fallimenti della valutazione Profilo Essenziale • MSc o PhD in Computer Science, Data Science, Artificial Intelligence, Machine Learning o un campo correlato • Saranno presi in considerazione anche candidati BSc eccezionali con una forte esperienza ingegneristica • Esperienza in AI e architetture di reti neurali • Forti capacità di collaborazione e comunicazione e capacità di lavorare tra team di ricerca e ingegneria • È richiesta una precedente esperienza pratica nei domini core di questo ruolo • Può trattarsi di esperienza basata su progetti o studi; l'esperienza lavorativa formale è preferita • Un alto grado di flessibilità: priorità, strumenti e compiti quotidiani cambiano con i programmi di addestramento, i rilasci e un campo in rapida evoluzione • Esperienza pratica con il post-training di LLM, sia esso allineamento (SFT, ottimizzazione delle preferenze) o reinforcement learning • Ciò significa esperienza con framework come veRL, slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang o strumenti simili Fortemente preferiti • Familiarità con concetti di addestramento distribuito come data parallelism, tensor parallelism, pipeline parallelism, checkpointing e comunicazione GPU • Esperienza con Slurm o un altro gestore di workload HPC • Esperienza nella costruzione o nell'adattamento di container per cluster HPC o GPU Plus • Ricerca pubblicata nei domini rilevanti per questo ruolo, o familiarità con ricerche pubblicate di recente su questi argomenti • Esperienza nella creazione di task verificabili per matematica, codice, ragionamento o uso di tool • Familiarità con librerie GPU/distribuite di livello inferiore come NCCL, Transformer Engine, FlashAttention o backend di comunicazione • Esperienza con pipeline di valutazione su larga scala Offriamo • Un ambiente accademico stimolante presso una delle università tecniche leader al mondo • L'opportunità di lavorare con infrastrutture di supercalcolo all'avanguardia e ricerca AI di punta • Collaborazione con ricercatori e ingegneri di alto livello di EPFL, ETH Zürich, CSCS e altre istituzioni svizzere • Modalità di lavoro flessibili, incluse opzioni per il lavoro remoto • Opportunità di sviluppo professionale, inclusa la partecipazione a conferenze e formazione specializzata • La possibilità di contribuire a progetti open-source con impatto globale • Accesso al più ampio ecosistema accademico svizzero e alle partnership industriali • Far parte dello sviluppo dell'AI sovrana della Svizzera, lavorando su tecnologie di rilevanza nazionale • Il ruolo può avere sede sia a Lausanne presso EPFL che a Zürich presso ETH Zürich Valorizziamo la diversità e la sostenibilità In linea con i nostri valori, ETH Zurich incoraggia una cultura inclusiva. Promuoviamo l'uguaglianza di opportunità, valorizziamo la diversità e coltiviamo un ambiente di lavoro e di apprendimento in cui i diritti e la dignità di tutto il nostro staff e dei nostri studenti siano rispettati. Visita il nostro sito web sull'uguaglianza di opportunità e la diversità per scoprire come garantia