News Robostral Navigate von Mistral: Neues KI-Modell steu­ert Ro­boter mit nur einer RGB-Ka­mera

[mischaef]

Mit Robostral Navigate stellt Mistral sein erstes KI-Modell für die autonome Roboternavigation vor. Die Besonderheit: Das System soll sich ausschließlich mithilfe einer einzelnen RGB-Kamera, ohne zusätzliche Sensoren und mit natürlichen Sprachbefehlen selbstständig durch komplexe Umgebungen bewegen können.

Zur News: Robostral Navigate von Mistral: Neues KI-Modell steu­ert Ro­boter mit nur einer RGB-Ka­mera

 

[nciht]

Welche Probleme soll son Teil später besser lösen als aktuelle Möglichkeiten? Office-Mitarbeitern Kaffee bringen, damit die noch weniger Bewegung haben und bloß nicht auf die Idee kommen vor der Kaffeemaschine miteinander zu plaudern, kann wohl kaum das Ziel sein.

 

[Vigilant]

Die üben doch aktuell nur. Interessant wird der Stand in 5 bis 10 Jahren. Schätze mal, es wird deutlich mehr (teil)-autonome Robotics geben, die auch mehr können, als nur das Essen an den Tisch zu bringen.

 

[der-graph]

Sachen gibts. Nachher kommt noch ein Elektrowagenbauer und behauptet er können ebenfalls nur mit (mehreren) Kameras automom fahren, obwohl der Experte-für-alles schon immer wusste, das kann nur mit zigfachem Lidar, Radar und sensor fusion mix funktionieren und alles andere geht den Bach runter. Da brechen für machen Innovationsverweigerer doch Welten zusammen, wenn das hier auch klappen sollte. Amüsant und beeindruckend zugelich - auf den Fortschritt!

 

[9t3ndo]

Welche Probleme soll son Teil später besser lösen als aktuelle Möglichkeiten? Office-Mitarbeitern Kaffee bringen, damit die noch weniger Bewegung haben und bloß nicht auf die Idee kommen vor der Kaffeemaschine miteinander zu plaudern, kann wohl kaum das Ziel sein.

Zukünftig werden solche Roboter hauptsächlich Haushaltshilfen für körperlich eingeschränkte Personen und solche die es sich leisten wollen.

 

[Weyoun]

Wie schaffen sie präzise Entfernungsmessungen mit nur einer Kamera, wo keine Differenzmessungen möglich sind? Ich sehe beim Anvisieren auch nur mit einem Auge und greife gerne mal daneben, wenn ich nach einem bewegten Objekt wie einem Ball vor mir zu greifen versuche.

 

[M@tze]

Interessant die Entwicklung. Ich sehe den Einsatz wie @9t3ndo auch im Haushalt für ältere Menschen oder in Pflegeheimen.

obwohl der Experte-für-alles schon immer wusste, das kann nur mit zigfachem Lidar, Radar und sensor fusion mix funktionieren und alles andere geht den Bach runter. Da brechen für machen Innovationsverweigerer doch Welten zusammen, wenn das hier auch klappen sollte.

Weil man die Navigation eines 2t+ schweren Klotzes bei 100km/h+ und allen möglichen Licht- und Wetterbedingungen sowie etlichen anderen, unberechenbaren Verkehrsteilnehmern auch mit einem sich in langsamer Schrittgeschwindigkeit in Innenräumen bewegenden Roboters vergleichen kann?!?

 

[interesTED]

Wie schaffen sie präzise Entfernungsmessungen mit nur einer Kamera, wo keine Differenzmessungen möglich sind? Ich sehe beim Anvisieren auch nur mit einem Auge und greife gerne mal daneben, wenn ich nach einem bewegten Objekt wie einem Ball vor mir zu greifen versuche.

Du brauchst das zweite Auge nach etwas Übung nur für wirklich präzise Handlungen. Ich glaube nicht, dass das bei dieser Navigation erforderlich ist.

 

[twrz]

Wie schaffen sie präzise Entfernungsmessungen mit nur einer Kamera, wo keine Differenzmessungen möglich sind?

Das Stichwort für dieses Problem lautet monokulare Tiefenschätzung ("monocular depth estimation"). Mit gut kalibrierten und ausreichend großen Datensätzen geht da schon einiges. Super, dass Mistral daran arbeitet und Akzente setzt.

Bei weitergehendem Interesse :
https://www.ultralytics.com/de/blog/what-is-monocular-depth-estimation-an-overview

 

[der-graph]

Weil man die Navigation eines 2t+ schweren Klotzes bei 100km/h+ und allen möglichen Licht- und Wetterbedingungen sowie etlichen anderen, unberechenbaren Verkehrsteilnehmern auch mit einem sich in langsamer Schrittgeschwindigkeit in Innenräumen bewegenden Roboters vergleichen kann?!?

So formuliert klingt das tatsächlich unrealistisch und nicht vergleichbar. Wäre da nicht die Tatsache, dass ersteres seit Jahren bereits existiert und aktiv genutzt wird.

 

[9t3ndo]

@der-graph
Ist aber halt aufgrund der benötigten Technik und Anzahl der Sensoren teuer. Mit einer Kamera kannst du evtl. auch die benötigten Chips zum auswerten reduzieren, was am Ende wieder Kosten in der Herstellung spart. Zudem elemenierst du weitere Komponenten die ausfallen können.
Um in die Wohnung der Kunden zu kommen, war halt der Einstiegspreis schon immer entscheidend um die Aktzepantz zu erhöhen und dich am Markt zu etablieren.

 

[malcolm]

@der-graph Du vergleichst hier nicht wirklich einen „simplen“ Roboter in einem Raum mit einem Fahrzeug in einer hochklompexen Umgebung? Muss man wirklich erklären, dass Autos sich viiiieeeelll schneller bewegen und wesentlich schneller Entscheidung treffen müssen, um nicht Menschen in Gefahr zu bringen. Fahren nur mit Kameras wird funktionieren, aber mit weiteren Sensoren/ Lidar ausgestattet ist es sicherer!

 

[der-graph]

Fahren nur mit Kameras wird funktionieren, aber mit weiteren Sensoren/ Lidar ausgestattet ist es sicherer!

Fahren nur mit Kameras wird funktionieren, aber mit weiteren Sensoren/ Lidar ausgestattet ist es sicherer!

Das "wird" nicht funktionieren, sondern es funktioniert bereits seit Jahren, tagtäglich, in der Praxis. Und die Flotte ist riesig. Einfach auch mal ausprobieren. Der Punkt ist ja gerade, dass die Forschung hier zeigt, was sogar mit nur einer Kamera und Trainingsdaten möglich sein wird, während die Autos ja ohnehin auch mit mehreren Kameras parallel arbeiten. Oben wird ja auch erklärt, wie das mit Entfernungsbestimmungen bei nur einer einzigen Kamera sogar angenähert werden kann. Ich finde das fasziniernd und bestätigt ja auch die Vorgehensweise.

 

[Weyoun]

Du brauchst das zweite Auge nach etwas Übung nur für wirklich präzise Handlungen. Ich glaube nicht, dass das bei dieser Navigation erforderlich ist.

Für SÄMTLICHE 3D-Interaktionen benötigt man zwingend Stereo-Sehen. Aus diesem Grund konnte ich noch nie 3D sehen und werde es auch nie können.
Was ich nie konnte und kann:

• 3D sehen bei Rot-Grün-Brillen im Kino
• 3D sehen bei Brillen mit Polarisationsfiltern im Kino oder zu Hause
• Sportliche Aktivitäten in Bewegung, bei denen man was Fangen muss (Handball, Völkerball, Volleyball etc.)
• Generelle Situationen, in denen mir jemand irgend einen Gegenstand zuwürft

Somit kann ich nur Präzisionssport betreiben, wo sich nicht viel bewegt (Billiard, Snooker, Darts, Golf, Bogenschießen).

Wenn ein Roboter sich gegenüber einem Objekt bewegt oder das Objekt sich gegenüber ihm bewegt, benötigt auch der Roboter zwei Kameras. Tesla verbaut nicht ohne Grund 8 Kameras im Auto.

Wo eine Navigation mit nur einer Kamera funktionieren kann wäre z.B.: Der Roboter kennt seine Position bezüglich seines persönlichen Bezugssystems (z.B. in einer Wohnung oder einer Fabrik) und der Grundriss der Wohnung oder Fabrik wurde dem Roboter zuvor einprogrammiert. Sobald aber bewegliche Objekte im Spiel sind (z.B. Haustiere, Kinder oder andere Mitbewohner oder Mitarbeiter), wird es kritisch, Kollisionen zu vermeiden.

Ergänzung (10. Juli 2026)

Das Stichwort für dieses Problem lautet monokulare Tiefenschätzung ("monocular depth estimation").

Schätzung ist aber leider nicht trivial. Die Differenz zwischen Schätzung und genauer Berechnung kann, je nach aktueller Situation, mal mehr und mal weniger stark differieren. Und wenn dann noch (schnell) bewegte Objekte im Spiel sind, die dem Roboter im wahrsten Sinne des Wortes vor der Nase herumtanzen, dann wird es schnell kritisch.

 

[malcolm]

@der-graph New Jersey bringt jetzt ein Gesetz raus, dass autonomes fahren nur mit Kameras verbietet. New York plant das gleiche. Europa ebenfalls. Andere Robotaxi Hersteller setzen auf Redundanz. Elon will Kosten sparen und will deswegen die Systeme nicht verbauen. In ein paar Jahren g gibt es sicher Kamerasysteme die speziell für Fahrzeuge hergestellt werden, wo die Nachteile des Systems nicht vorhanden sind. Jetzt ist es noch zu gefährlich

 

[der-graph]

Jetzt ist es noch zu gefährlich

Der Vergleich mit dem Roboter ist natürlich nicht 1:1, aber er zeigt doch etwas Interessantes: Moderne KI kann heute bereits mit erstaunlich wenig Sensorik arbeiten, wenn genügend Trainingsdaten vorhanden sind. Genau das ist ja die Kernaussage des Mistral-Artikels – dass selbst eine einzelne RGB-Kamera für komplexe Aufgaben ausreichen kann. Ein Auto hat dagegen gleich mehrere Kameras mit unterschiedlichen Blickrichtungen und zusätzliche Fahrdynamik- und Positionssensoren.

Dass weitere Sensoren wie LiDAR oder Radar Redundanz schaffen können, bestreiten die wenigsten. Die eigentliche Frage ist aber eine andere: Sind sie zwingend erforderlich oder nur ein möglicher Weg zum Ziel? Das sind zwei völlig verschiedene Aussagen.

Die Behauptung, Europa wolle Kamera-only verbieten, sehe ich so bisher nicht belegt. Mir ist keine EU- oder UNECE-Regel bekannt, die mehrere Sensortypen verbindlich vorschreibt. Die aktuelle Diskussion dreht sich vielmehr um den Nachweis der Sicherheit, Fahrerüberwachung, Tempolimits und Haftung – also um die erreichte Sicherheitsleistung, nicht um eine vorgeschriebene Sensor-Kombination.

Auch New Jersey ist kein Beleg dafür, dass Kamera-only grundsätzlich nicht funktioniert. Dort geht es um einen Gesetzentwurf eines einzelnen US-Bundesstaats für fahrerlose Robotaxis, nicht um einen technischen Beweis, dass Vision-only ungeeignet ist.

Es würde ja auch niemand aufgrund des geplanten Gesetzesentwurfs dort jetzt behaupten, dass ein vollkommen autonomes Fahrzeug grundsätzlich auch ein Lenkrad zum Fahren braucht, nur weil es der Entwurf so zwingend vorsehen würde. Die Idee dahinter ist natürlich eine andere.

Ob Kamera-only langfristig genauso sicher oder sogar sicherer ist als Kamera + LiDAR, wird letztlich nicht durch Meinungen entschieden, sondern durch belastbare Sicherheitsdaten. Aber zu behaupten, ein Kamera-only-System könne grundsätzlich nicht funktionieren, lässt sich heute angesichts der bereits fahrenden Flotten und der Fortschritte in der KI-Forschung ebenfalls nicht aufrechterhalten.

 

[BeBur]

Prinzipbedingt kann Camera-only theoretisch so gut navigieren wie ein Mensch. Das man den noch als Maßstab nimmt zeigt, wie viel noch zu tun ist. Wieso sollte sich ein Auto/Roboter auf die Möglichkeiten eines Menschen beschränken? Auch Teslas werden eines Tages Radar und Lidar und Ultraschall verbauen.

Woran bisher auch nur sehr wenig geforscht wird ist das Auswerten von akustischen Signalen. Das wäre generell interessant, aber insbesondere im Kontext von Indoor-Bewegung. Z.B. den Hund frühzeitig hören, der gerade um die Ecke heran rast.

Eine selbst angegebene Erfolgsquote von ~75-80% finde ich ziemlich schlecht.

Am Ende wird es wieder auf zwei Augen aka Kameras hinaus laufen.

 

[Powl_0]

Ob Kamera-only langfristig genauso sicher oder sogar sicherer ist als Kamera + LiDAR, wird letztlich nicht durch Meinungen entschieden, sondern durch belastbare Sicherheitsdaten. Aber zu behaupten, ein Kamera-only-System könne grundsätzlich nicht funktionieren, lässt sich heute angesichts der bereits fahrenden Flotten und der Fortschritte in der KI-Forschung ebenfalls nicht aufrechterhalten.

Doch. Dafür muss ich nichtmal wissen, wie genau das System mit den Kameradaten arbeitet, sondern muss mir einfach nur die technischen Schwächen der Sensoren anschauen.

Eine Mono RGB Kamera hat nunmal Schwachstellen, die in einer sicherheits-kritischen Umgebung wortwörtlich fatal enden können. Die zusätzlichen Sensoren sind nicht einfach Redundanz für den Bestfall, sondern wichtig um Situationen abzudecken, in denen ein Sensor keine belastbaren Daten liefern kann.

Auch mit KI Modellen dahinter werden Systeme mit mehreren Sensoren sicherer und genauer arbeiten können als solche mit nur einem Sensor.
Die KI bringt dir ja nix, wenn das Kamerabild in einer Edge-Case Situation schlicht nicht verlässlich ist.

Ergänzung (11. Juli 2026)

lässt sich heute angesichts der bereits fahrenden Flotten

Die Flotten, die seit Jahren trotz Versprechungen nicht annähernd autonom fahren können und berüchtigt dafür sind, im Verkehr gefährliche Fehler zu machen?
Beruhigt mich jetzt irgendwie nicht.
"Meistens gut" ist da einfach nicht gut genug.

 

[der-graph]

Ich glaube, hier werden zwei Aussagen vermischt.
Dass zusätzliche Sensoren die Redundanz erhöhen können, bestreite ich gar nicht. Die Frage ist aber, ob daraus automatisch folgt, dass ein Vision-only-System grundsätzlich nicht ausreichend sicher werden kann. Das ist bisher nicht bewiesen.

Der Mistral-Artikel ist für mich deshalb interessant, weil er gar nicht beweisen soll, dass ein Roboter einem Auto entspricht. Er zeigt vielmehr, wie leistungsfähig moderne KI inzwischen selbst mit einer einzelnen RGB-Kamera geworden ist. Die Entwicklung geht also eher dahin, aus Kameradaten immer mehr Informationen zuverlässig zu gewinnen – nicht weniger.

Außerdem ist "Vision-only" etwas irreführend. Ein Tesla nutzt nicht eine Kamera, sondern mehrere Kameras mit unterschiedlichen Blickrichtungen und verarbeitet diese gemeinsam. Hinzu kommen weitere Fahrzeugsensoren wie IMU, Raddrehzahlen und GPS. Die eigentliche Diskussion lautet also nicht "eine Kamera gegen LiDAR", sondern "mehrere Kameras gegen mehrere Kameras plus Radar/LiDAR".

Dass zusätzliche Sensoren theoretisch Redundanz schaffen können, ist unbestritten.

Aber daraus folgt nicht automatisch, dass ein kamerabasiertes System die geforderte Sicherheit grundsätzlich nicht erreichen kann. Genau das muss am Ende durch Daten und Sicherheitsnachweise belegt werden – nicht allein durch die Anzahl der Sensoren.

Und ein Gesetz ersetzt keinen technischen Beweis. Wenn New Jersey mehrere Sensortypen vorschreiben möchte, heißt das zunächst nur, dass der Gesetzgeber zusätzliche Redundanz fordert – nicht, dass ein kamerabasiertes System grundsätzlich nicht funktionieren kann.
Das wäre ähnlich, als würde ein Gesetz vorschreiben, dass Flugzeuge drei unabhängige Hydrauliksysteme haben müssen. Daraus folgt ja auch nicht, dass ein einzelnes Hydrauliksystem grundsätzlich nicht funktionieren würde – sondern nur, dass der Gesetzgeber für dieses Einsatzgebiet eine höhere Ausfallsicherheit verlangt.

Bei den Unfällen und Fehlern würde ich ebenfalls differenzieren. Dass heutige Assistenzsysteme noch Fehler machen, ist unbestritten – genau deshalb heißen sie ja auch nicht flottenweit autonomes Fahren, sondern Fahrerassistenz. Aber aus Fehlern eines aktuellen Systems folgt nicht automatisch, dass der zugrunde liegende Ansatz (z. B. kamerabasierte Wahrnehmung mit KI) grundsätzlich ungeeignet ist.

Entscheidend ist nicht, ob ein System jemals einen Fehler macht – das schaffen auch menschliche Fahrer nicht –, sondern wie häufig und in welchen Situationen Fehler auftreten und ob die Sicherheitsbilanz besser ist als beim Menschen.

Außerdem muss man unterscheiden zwischen "System kann nicht autonom fahren" und "System kann nicht mit diesem technischen Ansatz autonom fahren". Viele der heutigen Probleme entstehen nicht nur durch die Sensorik, sondern durch noch ungelöste Themen wie Entscheidungslogik, Grenzfälle, andere Verkehrsteilnehmer, Verkehrsverständnis und sichere Systemgrenzen.

Dass Tesla FSD heute noch beaufsichtigt werden muss, ist kein Beweis gegen Kameras. Es zeigt vor allem, dass allgemeines autonomes Fahren eine extrem schwierige Aufgabe ist. Auch Waymo, Cruise und andere Systeme lösen das Problem nicht allein durch zusätzliche Sensoren - sonst wären sie ja fehlerfrei -, sondern durch sehr umfangreiche Software, Training, Tests und Einschränkungen.

 

[BeBur]

Ein Grund dafür, rein auf Kameras zu setzen ist Kostendruck. Ein weiterer Grund besteht darin, dass robuste Sensorfusion bei verschiedenartigen Sensoren sehr schwer ist. Tesla hat darauf gesetzt, effektiv auf reine Kamerabasierte Workflows setzen zu können und damit relativ schnell wesentlich weiter zu kommen als die Konkurrenz und sie damit abhängen zu können. Das hat offensichtlich nicht so gut funktioniert wie erhofft und mit jedem weiteren Jahr funktioniert Sensorfusion besser.

An sich ergibt es langfristig aber überhaupt keinen Sinn, nur auf Kameras zu setzen.