Senior Networking Solution Test Engineer - AI Cluster Debugging

Wir suchen einen Senior Networking Test Engineer mit starken Fähigkeiten im Debugging auf Systemebene, um unser End-to-End Verification Team zu unterstützen! Sie werden an wegweisenden NVLink, Ethernet und InfiniBand-basierten AI Clustern arbeiten. Zusätzlich werden Sie die Verantwortung für komplexe Probleme über Hardware, Systemsoftware und AI Workloads hinweg übernehmen. Was Sie tun werden: • Design und Überprüfung von Test- und Produktanforderungen über das NVLink, Ethernet und InfiniBand / NIC / DPU / Switch Portfolio hinweg, mit Fokus auf das Verhalten von groß angelegten AI Clustern. • Aufbau und Wartung realistischer, kundenähnlicher Testbeds, einschließlich heterogener Hardware, OS / Treiber-Kombinationen und komplexer Netzwerk-Fabrics. • Verantwortung für das End-to-End Cluster Troubleshooting: Reproduktion von Kundenszenarien, Triage über den gesamten Stack hinweg sowie Analyse von Problemen bis zur Ursache und Behebung. • Lesen und Verstehen von relevantem Quellcode, um Fehler zu identifizieren, Fixes zu validieren und das Logging sowie die Instrumentierung zu verbessern. • Enge Zusammenarbeit mit Entwicklungsteams, um NCCL, RoCE/RDMA und verwandte Netzwerkkomponenten mittels Logs, Code-Inspektion und gezielten Experimenten zu debuggen. • Definition von Tests und Anleitung des Automation Teams zur Implementierung robuster, debugbarer Test-Suites, die aussagekräftige Logs, Metriken und Traces liefern. • Durchführung von Regressions-, Performance-, Funktions- und Skalierungstests, Analyse der Ergebnisse und Erstellung klarer, datengestützter Berichte für die Zusammenarbeit. • Profiling und Benchmarking von Deep Learning Training und Inference Workloads, wobei Modell-Metriken mit System- und Netzwerk-Telemetrie korreliert werden, um Engpässe aufzudecken. Was wir sehen wollen: • B.A./B.Sc. in Informatik, Elektrotechnik oder gleichwertige IT/Netzwerk/System-Erfahrung. • 8+ Jahre praktische Erfahrung in Netzwerk- oder System-Level Testing und Debugging unter Linux. • Starke Linux-Netzwerk- und Debugging-Kenntnisse (zum Beispiel perf, tcpdump, ethtool, iproute2). • Nachgewiesene Erfahrung im produktionsnahen Debugging: Aufstellen von Hypothesen, Durchführen von Experimenten und Analysieren von Problemen bis zur Ursache unter Druck. • Expertise in der Validierung und Abstimmung von hostseitigen NICs (Offloads, Queues, Interrupts, Firmware/Treiber-Interaktionen). • Fundierte Kenntnisse in AI Netzwerk-Libraries (wie NCCL) und Protokollen (wie RoCE und RDMA), einschließlich Performance- und Korrektheits-Debugging. • Fähigkeit, Quellcode zu lesen und zu interpretieren (C/C++/Python oder ähnlich) und eng mit Entwicklern an Fixes zusammenzuarbeiten. • Solide Scripting- und Automatisierungskenntnisse mit Bash / Python / Ansible für Setup, Log-Sammlung und Experiment-Orchestrierung. • Schnelle Auffassungsgabe, vertraut mit modernen AI Tools und Workflows, fähig sich schnell anzupassen. • Exzellente analytische, Problemlösungs- und Kommunikationsfähigkeiten mit hoher Eigenverantwortung und einem kollaborativen Ansatz. Wege, um aus der Masse herauszustechen: • Hands-on Debugging von kollektiven Kommunikations-Libraries (zum Beispiel NCCL) oder groß angelegten LLM Training / Inference Clustern. • Erfahrung mit großen Cluster-Umgebungen (zehn bis tausende GPUs oder Nodes), einschließlich Incident Response und Post-Mortem-Analysen. • Tiefgehende Expertise in der Abstimmung und dem Debugging von Congestion Control und verlustfreiem Ethernet für AI Workloads (zum Beispiel DCQCN, ECN, PFC). • Vertrautheit mit NVIDIA Netzwerktechnologien (zum Beispiel BlueField / BF3, ConnectX NICs) und deren Software-Stack sowie Diagnosen. • Erfahrung im Debugging von Problemen, die mehrere Schichten umfassen (L2/L3, Transport, AI Frameworks), oder Beiträge zu Open-Source Netzwerk / AI Systemen. Bei NVIDIA schätzen wir Vielfalt und setzen uns dafür ein, ein inklusives Umfeld für alle Mitarbeitenden zu schaffen. Wir diskriminieren nicht aufgrund von Rasse, Religion, Farbe, nationaler Herkunft, Geschlecht, Gender, Geschlechtsausdruck, sexueller Orientierung, Alter, Familienstand, Veteranenstatus oder Behinderungsstatus. Wir bieten angemessene Unterstützung, um sicherzustellen, dass alle Personen am Bewerbungs- oder Interviewprozess teilnehmen, wesentliche Aufgaben ausführen und andere Vorteile und Privilegien der Beschäftigung erhalten können. Schließen Sie sich uns an und werden Sie Teil eines Teams, das die Grenzen der Technologie verschiebt und einen echten Einfluss auf die Welt ausübt.