Staff AI Application Engineer - Heterogeneous Computing

À propos de nous

Axelera AI (https://www.axelera.ai) n'est pas une entreprise de deep-tech ordinaire. Nous créons la plateforme d'IA de nouvelle génération pour soutenir quiconque souhaite aider à faire progresser l'humanité et améliorer le monde qui nous entoure.

En seulement cinq ans, nous avons levé un total de $450 million et avons construit une équipe de classe mondiale de plus de 250 employés (dont plus de 60 PhD avec plus de 40,000 citations), travaillant à la fois à distance depuis 21 pays différents et avec des bureaux en Belgique, France, Suisse, Italie, Royaume-Uni, avec un siège social au High Tech Campus à Eindhoven, Pays-Bas.

Nous avons également lancé notre Metis™ AI Platform, qui atteint une augmentation de 3-5x en efficacité et performance, et nous avons une visibilité sur un solide pipeline commercial dépassant les $100 million.

Notre engagement indéfectible envers l'innovation nous a fermement établis comme un pionnier mondial de l'industrie.

Êtes-vous prêt pour le défi ?

Présentation du poste

En tant que Staff AI Application Engineer dans l'équipe Model Enablement (Application Software), vous construirez notre plateforme d'activation de modèles et déciderez comment chaque modèle s'exécute sur le Metis ou l'Europa AIPU, le CPU hôte et les accélérateurs de l'hôte. La manière dont ce travail est réparti et planifié détermine la majeure partie de la performance de bout en bout qu'un client voit dans le Voyager SDK.

Le rôle combine l'architecture et le travail pratique sur le frontend du modèle, le compilateur de graphes, le runtime et le pipeline d'application. Lors de l'activation du modèle (model bring-up), vous couvrez le frontend et la partie graphe, et un ingénieur côté dispositif couvre le backend.

Notre équipe utilise des agents de codage IA dans le travail quotidien, et vous les utiliserez pour construire, tester et vérifier votre propre travail. Nous accueillons également les ingénieurs d'application terrain expérimentés, les chefs techniques et les managers d'ingénierie qui souhaitent revenir à l'ingénierie pratique. L'expérience en planification, délégation et révision de travail se transpose bien au travail avec les agents IA.

Responsabilités clés :

• Plateforme d'activation de modèles et harnais d'agents : Construire la plateforme que les ingénieurs et les agents IA utilisent pour activer les modèles : outils réutilisables pour partitionner, compiler, exécuter et profiler ; environnements avec accès au matériel réel ; exécutions en boucle fermée qui appliquent un changement, le mesurent par rapport à la référence et recommencent ; et vérification (tests différentiels, détection de régression) intégrée dans la CI.
• Ingestion de modèles : Gérer la manière dont un modèle PyTorch ou ONNX est capturé, analysé et réparti entre les unités vectorielles RISC-V et matricielles de l'AIPU, le CPU hôte et les accélérateurs de l'hôte (GPU, NPU, décodeur vidéo), avec des étiquettes de placement que les utilisateurs peuvent lire et remplacer. Construire cela avec l'équipe du compilateur de graphes pour que cela fonctionne pour chaque modèle.
• Exécution hétérogène : Étendre cette répartition aux grands modèles, aux cascades et aux pipelines multi-modèles, par exemple avec le déchargement d'experts (expert offloading) et la mise en cache entre la mémoire du dispositif et de l'hôte. Convenir du plan avec l'équipe du compilateur de graphes.
• Performance de bout en bout : Avec l'équipe d'application (constructeur de pipeline) et l'équipe runtime, amener chaque modèle à sa meilleure performance de bout en bout : chevauchement du travail de l'hôte et du dispositif, tampons zero-copy, batching, planification multi-cœur, et modèles avec plusieurs entrées. Profiler le temps du dispositif, le temps de l'hôte et le mouvement des données, et confirmer chaque accélération dans le pipeline complet.
• Modèles critiques : Étudier les modèles qui comptent le plus pour les clients, aujourd'hui sur Metis et sur Europa, et transformer chaque leçon en une amélioration de la plateforme.

Qualifications :

Essentiel

• Plus de 8 ans d'expérience en ingénierie dans les systèmes, compilateurs, runtimes ou performance, incluant la responsabilité de la conception au niveau système.
• Expérience pratique de l'informatique hétérogène sur CPU, GPU, DSP, NPU ou FPGA, incluant le raisonnement sur le calcul, la bande passante mémoire, la latence et le mouvement des données.
• Bases solides en architecture informatique, systèmes d'exploitation et programmation parallèle.
• Familiarité avec les représentations de graphes ML et les concepts de compilateur : capture de graphe (torch.export, FX, ONNX), lowering, fusion d'opérateurs, partitionnement, planification de la mémoire.
• Maîtrise de C++ et Python.
• Utilisation quotidienne d'agents de codage IA sur du travail d'ingénierie réel, avec le jugement nécessaire pour réviser et tester leur production.

Préférable

• Expérience pratique avec MLIR ou un autre framework de compilateur (TVM, XLA, TorchInductor, IREE).
• Expérience avec un runtime d'inférence ou un moteur d'exécution (fournisseurs d'exécution ONNX Runtime, un runtime NPU ou DSP personnalisé).
• Expérience avec le calcul GPU (CUDA, OpenCL, Vulkan) ou l'optimisation SIMD sur Arm ou x86.
• Expérience avec les techniques d'exécution de grands modèles telles que l'offloading, la mise en cache d'experts, le décodage spéculatif, le pipelining entre les dispositifs.
• Expérience dans la construction d'environnements d'agents, de harnais d'évaluation ou de frameworks de vérification (tests différentiels, détection de régression), ou d'outils basés sur MCP.

Lieu

Nous proposons un arrangement de travail flexible, avec des options pour :

• Travailler dans l'un de nos bureaux Axelera AI (Leuven en Belgique, Amsterdam et Eindhoven aux Pays-Bas, Zurich en Suisse, Florence et Milan en Italie ou Bristol au Royaume-Uni) si vous êtes déjà basé à proximité.
• Travailler entièrement à distance depuis n'