News GANverse3D: Nvidia erzeugt 3D-Modelle aus nur einem 2D-Foto

[BDR529]

Wie immer eine beeindruckende Technik.

Aber meiner Meinung nach noch ganz weit davon entfernt um es wirklich sinnvoll nutzen zu können. Die Modelle sehen den Originalen bestenfalls annähernd ähnlich... da ist noch viel Feinschliff nötig.

Um ganz ehrlich zu sein: so toll wie die Technik dahinter auch sein mag - aber die Modelle sind nun echt nicht sehenswert.

 

[Pana]

Ich glaube, dass hier ein Missverständnis vorliegt. Aus dem Bild wird kein 3D Modell. Ich verstehe es so, dass der Bildinhalt erkannt wird und dann das am besten passende 3D Modell dazu aus einem Repo geladen wird. Oder täusche ich mich?

 

[tree-snake]

Andere Leute haben hier die Pionierarbeit geleistet und NVIDIA skaliert hier den Ansatz nur..

Naja wie immer halt. Siehe mp3-Format usw.
Am Ende kommt eine große Firma und bringt eben ein Endkundenprodukt raus.

 

[Plasma81]

In besserer Qualität bekomm ich das mit meinem iPhone 12 Pro Max auch hin. Dazu gibts ja LIDAR, der Rest ist softwareseitig in überschaubarem Aufwand zu erledigen. Klar nicht in Millisekunden und KI dahinter, aber deutlich schöner.

 

[miagi]

Als jemand der schon mal aus zwei Ansichten eine isometrische Ansicht eines Autos gezeichnet hat, kann ich klarstellen dass das nicht geht. Es gibt Geometrien die man auch in Front- und Seiten-Ansicht nicht erfassen kann. Wie man am Ende des Videos sieht, entsteht dabei irgendwas das so ähnlich wie ein Auto aussieht, mehr aber nicht. Ein bloobförmiges Auto. Also bei Marketing-Sachen wird ja eh weit zu viel versprochen, aber das was hier verkauft werden soll ist schon albern. Man wirft in das Video paar von Hand gemoddelte Autos und nur am Ende zeigt man kurz das traurige Ergebnis.

 

[andi_sco]

Wir sollten nicht vergessen, das alles irgendwann mal im Urschleim angefangen hat.
Man denke nur an frühe Animationen, Modelle etc. in Computer Games.
Es ist ja nur ein Schritt, einer von vielen und noch nicht das Ende.

Hier von 1986 aus einem Mercedes Benz Fahrsimulator:

Link zum Video

 

[jurrasstoil]

So richtig wichtige Anwendungen sehe ich ehrlich gesagt nicht gerade. Woran konkret denkst du?

PreViz oder Konzeptphase. Modelle die in einem fertigen Produkt vorkommen wird die Software nicht produzieren und ich vermute mal, dass das auch nicht der Anspruch ist.

 

[mylight]

Hatte diverse solcher Programme getestet, da waren es zum Teil deutlich mehr Bilder aus verschiedenen Blickwinkeln aufgenommen. Die Meshes waren teilweise extrem schlecht und mussten dann doch wieder geschliffen werden was Zeit in Anspruch nahm. Letzlich war es kein Zeitvorteil, kann mir nur schwer vorstellen das nun aus noch weniger Grundinformationen (ein Blickwinkel) bessere Ergebnisse erzielt werden sollen. Ausserdem glaube ich bei der Vielzahl von > Millionen Objekten dauert es noch eine ganze Weile bis die KI entsprechend gut genug gefüttert ist als das es wirklich eine Alternative zur manuellen Erstellung von 3dModellen sein kann. Dennoch ist die Technologie die dahinter steckt sicherlich mal interessant zu studieren, wie genau, welche Methoden da verwendet werden...

 

[PusteBlume0815]

Coole Idee. Das Ergebnis ist jetzt nicht so toll. Aber alles fängt mal irgendwie an.
Wer weiß wie's weiter geht. Vielleicht zünden die irgendwann mal den Turbo-Boost um den Bogen wieder auf Knight Ryder zu bekommen.

 

[domian]

Wie das wohl mit anderen Sachen als Autos funktioniert? Und macht nicht der Flight Simulator schon etwas sehr ähnliches?

Also wenn macht das Google und im Falle von FS Bing, aber auch nur sehr rudimentär. Viele Objekte sind auch nur statisch dazwischengepresst.

 

[beercarrier]

Als jemand der schon mal aus zwei Ansichten eine isometrische Ansicht eines Autos gezeichnet hat, kann ich klarstellen dass das nicht geht. Es gibt Geometrien die man auch in Front- und Seiten-Ansicht nicht erfassen kann. Wie man am Ende des Videos sieht, entsteht dabei irgendwas das so ähnlich wie ein Auto aussieht, mehr aber nicht. Ein bloobförmiges Auto. Also bei Marketing-Sachen wird ja eh weit zu viel versprochen, aber das was hier verkauft werden soll ist schon albern. Man wirft in das Video paar von Hand gemoddelte Autos und nur am Ende zeigt man kurz das traurige Ergebnis.

Es werden aus 2D Vorlagen 3D Koordinaten berechnet, völlig ohne Verstand, bzw Mensch, rein nach einer abstrakten Regelkette. Dafür ist das schon nicht schlecht.
Nur hat Nvidia da in bester Applemanier nicht viel selbst entwickelt sondern einfach aktuelle Techniken zusammengefasst und in ein eigenes Produkt gepresst.
Das das Ergebnis trotzdem so schlecht ist hängt natürlich am Dataset, andere Projekte haben teils erheblich bessere Ergebnisse, nehmen aber Datasets mit deutlich mehr Information, allein die Angabe Kameraabstand zum Auto würde sich schon extrem aufs Ergebnis auswirken.
Je mehr Informationen so ein Dataset hat desto kleiner und teurer ist es. Außerdem reicht so ein günstiges und ungenaues Verfahren auch für z.B. live-3d-Verkehrsüberwachung, für Unfallermittelungen würde man da was deutlich detaillierteres nehmen.

 

[Klassikfan]

Nette Spielerei, aber bis alles mögliche konvertiert werden kann, müssen viele hoch viele Fotos aller erdenklichen Objekte trainiert werden.

Und dann ist das Ergebnis immer noch nicht authentisch. Denn Daten, die nicht da sind, müssen hier erfunden werden. Das Ergebnis mag gut aussehen, aber es enthält eben eine Menge frei erfundene Informationen.

 

[Balikon]

Nach der Schlagzeile dachte ich zuerst, das wäre ein Ansatz für Autonomes fahren. Eine Technik, um aus dem Bild der Kamera eine 3D-Szene zu machen, so dass die KI Entfernungen, Geschwindigkeit von Objekten berechnen kann.

 

[DKK007]

Bei Nvidia geht es schon lange um deutlich mehr, als nur Grafikkarten für Gamer in die Regale zu stellen.

Aber gerade das gelingt ihnen aktuell nicht.

 

[BeBur]

Aber gerade das gelingt ihnen aktuell nicht.

Anhand dieses einzelne Projektes oder generell deren KI Projekte? Die anderen fand ich zum Teil recht cool.

Als jemand der schon mal aus zwei Ansichten eine isometrische Ansicht eines Autos gezeichnet hat, kann ich klarstellen dass das nicht geht. Es gibt Geometrien die man auch in Front- und Seiten-Ansicht nicht erfassen kann.

Wenn du dich gut mit Autos auskennst, dann kannst du aber fundiert vermuten, wie sich so ein Design fortsetzen könnte. Und genau das macht dann auch eine (gute) KI. Die muss aber natürlich entsprechend mit Autos aus allen Winkeln vorher trainiert worden sein.

Hatte diverse solcher Programme getestet, da waren es zum Teil deutlich mehr Bilder aus verschiedenen Blickwinkeln aufgenommen. Die Meshes waren teilweise extrem schlecht und mussten dann doch wieder geschliffen werden was Zeit in Anspruch nahm.

Das klingt mehr nach Photogrammetrie als nach KI und die Mesh-Geometrie die raus kommt ist recht gut wenn man den Dreh raus hat. Aber hat in jedem Fall nichts mit dem zu tun, woran aktuell geforscht wird.

 

[DKK007]

Ich meinte die fehlenden Grafikkarten für Gamer im Regal.

 

[SIR_Thomas_TMC]

Autos sind symetrich somit zählt das Bild doppelt!
Mehr als ein Diorama ist mit den Daten eines Bildes nicht möglich ist nur Marketing bla bla.

Mal schauen wie das Auto modelliert würde
https://www.motorsport-total.com//bilder/strecken/m1_272937/640/1540218549_mst.jpg

 

[Do Berek]

Sieht aus wie die frühen NFS Teile aus den 90ern. Das Kind muss also noch einiges lernen.

Für NFS III: Hot Pursuit gabs damals schon 'ne Knight Rider Mod, die sah schon tausenmal besser und originalgetreuer aus als das hier....

 

[BeBur]

Damit die, die KI sonst nicht verfolgen und enttäuscht waren, hier was interessanteres zum gucken. KI-generierte Potraits. Einfach Seite neu Laden für ein neues Bild: https://thispersondoesnotexist.com/
Auch von nvidia.

 

[Nureinnickname!]

Noch 30 Jahre weiter dann ist es vielleicht halbwegs brauchbar, ne mal ohne witz das sieht doch mal richtig schei*e aus