Nemotron 3.5 Lightning: Nvidia macht KI-Agenten schneller und günstiger

Nvidia erweitert seine multimodale, offene Nemotron-Modellfamilie um Nemotron 3.5 Lightning und stellt mit NeMo Switchyard eine Open-Source-Lösung für intelligentes Modell-Routing vor. Beide Technologien sollen agentische KI schneller, günstiger und flexibler machen – vom lokalen PC bis zum Rechenzentrum und in der Cloud.

Nvidia richtet Nemotron 3.5 Lightning auf KI-Agenten aus, die Aufgaben über längere Zeiträume selbstständig bearbeiten. Solche Systeme bestehen zunehmend aus mehre­ren Modellen, die unterschiedliche Aufgaben übernehmen. Ein großes Reasoning-Modell kann einen Arbeitsablauf planen, während kleinere Modelle einzelne Schritte ausführen.

Nemotron 3.5 Lightning ist ein 30 Milliarden Parameter großes Mixture-of-Experts-Modell (MoE). Nvidia positioniert es als spezialisiertes Modell für viele wiederkehrende Aufgaben, etwa Code-Reviews, Tool-Nutzung, die Überwachung von Sicherheits­warnungen oder die Bearbeitung von Anfragen im Kundenservice.

Bis zu viermal höhere Ausgabegeschwindigkeit

Dabei soll Nemotron 3.5 Lightning besonders schnell arbeiten. Nvidia spricht von einer bis zu viermal höheren Ausgabe­geschwindigkeit und einer um 30 Prozent schnelleren Bearbeitung agentischer Aufgaben gegenüber anderen Modellen seiner Klasse. Das offene, durch Dritte anpassbare Modell kann zudem mit der Bibliothekensuite Nvidia NeMo auf eigene Daten, Werkzeuge und Arbeitsabläufe spezialisiert werden.

1. 

Bild 1 von 2

Ein weiterer Vorteil sei die flexible Bereitstellung. Nemotron 3.5 Lightning kann lokal auf PCs mit GeForce-RTX-Grafikkarte, DGX Spark (Test), DGX Station und Jetson-Systemen laufen. Zudem lässt sich das Modell auf Workstations, in Rechenzentren oder in der Cloud einsetzen. Damit sollen Unternehmen selbst bestimmen können, wo ihre KI-Anwendungen ausgeführt und wo sensible Daten verarbeitet werden.

Nvidia gibt auch Trainings­daten und verwendete Tech­ni­ken frei. Parallel erscheint der Datensatz Nemotron-RL-Agentic-Terminal-Pivot, der für das Training von Coding-Agenten genutzt wurde.

Switchyard wählt das passende Modell

NeMo Switchyard adressiert hingegen ein anderes Problem: Wenn ein KI-Agent mehrere Modelle zur Verfügung hat, muss für jede Aufgabe das geeignete Modell ausgewählt werden. Die neue Open-Source-Bibliothek übernimmt genau dieses Routing. Switchyard leitet Anfragen automatisch an das Modell weiter, das für den jeweiligen Arbeitsschritt am besten geeignet ist. Dabei können Entwickler den Router auf Kriterien wie Qualität, Latenz und Kosten optimieren. Die bestehenden Anwendungen müssen dafür laut Nvidia nicht neu geschrieben werden.

Der Ansatz soll verhindern, dass für jede noch so einfache Aufgabe ein teures Frontier-Modell eingesetzt wird. Ein kleineres Modell kann Standardaufgaben übernehmen, während ein leistungsfähiges Modell nur bei komplexen Problemen zum Einsatz kommt.

Erste Ergebnisse von Partnern sollen das Potenzial zeigen. Boomi leitete 59 Prozent seines Datenverkehrs an ein fünfmal schnelleres, spezialisiertes Modell weiter und reduzierte die Latenz späterer Interaktionen um 21 Prozent. Classmethod meldet eine Kosten­reduzierung von 27 Prozent bei gleichbleibender Qualität. Cognition konnte laut Nvidia die durchschnittlichen Kosten gegenüber der ausschließlichen Nutzung eines Frontier-Modells um 28 Prozent senken. Bei LangChain wurden bei 145 mehrstufigen Agenten-Aufgaben 74 Prozent niedrigere Kosten erreicht, indem nur sieben Prozent der Anfragen an ein Frontier-Modell gingen. Dafür sank im Gegenzug die Genauigkeit um sechs Prozent.

Neues Modell und Router gehen Hand in Hand

Nemotron 3.5 Lightning und NeMo Switchyard ergänzen sich damit. Lightning liefert ein schnelles, spezialisiertes Modell für viele einzelne Aufgaben, während Switchyard innerhalb eines Agenten-Systems entscheidet, welches Modell jeweils verwendet wird. Nemotron 3.5 Lightning ist unter anderem über Hugging Face, ModelScope, OpenRouter und Nvidia verfügbar. NeMo Switchyard steht als Open-Source-Projekt auf GitHub bereit.

ComputerBase hat Informationen zu diesem Artikel von Nvidia unter NDA erhalten. Die einzige Vorgabe war der frühestmögliche Veröffentlichungszeitpunkt.