Haus innen gefilmt - Mit VR Brille virtuell betreten?

[FossilCar]

Habe diese Woche ein leerstehendes Haus abgefilmt mit einer normalen Kamera. Gibt es eine Software, welche das Hausinnere mit diesen Daten rekonstruieren kann, so dass man dieses mit einer VR Brille erkunden kann?
Habe auch schon vor Jahren einen Teil eines Hauses abgefilmt, das jetzt abgerissen ist, in der Hoffnung dass es einmal eine Software gibt, welche diesen Film als 3D Modell oder Ähnliches ausarbeitet. Ist die Technik schon so weit?

 

[BlubbsDE]

Woher soll die Technik Infos herzaubern? Für ein funktionierendes 3D brauchst Du eben zwei Quellen.

3D und VR durcheinander gehauen. Dennoch nicht ordentlich möglich. Dir fehlen auch da Infos.

 

[benneq]

Hast du mit einer 3D Kamera (also 2 leicht versetzte Videos) gefilmt? Prinzipiell geht das auch mit 2D Videos. Allerdings wirst du da wohl ein extrem gutes Programm und/oder was neumodisches mit Machine Learning brauchen, um die räumliche Tiefe zu errechnen.

@BlubbsDE Das geht schon. Selbst mein iPhone 6S hat mit iOS 12 eine "Maßband" App bekommen, womit man relativ präzise Abstände zwischen 2 Punkten im Raum messen kann. Das ganze funktioniert mit nur einer einzigen Linse. Und ich würde sagen, dass es (je nach Entfernung) mit +-1 bis +-5cm ganz passabel funktioniert. Für komplette Räume sollten solche Toleranzen gut ausreichen, solang man kein Architekt o.Ä. ist.

 

[rg88]

Was soll da 3D bringen? Es geht um eine VR-Brille. Da will man sich doch auch umdrehen können und alles. Wo sollen diese Daten herkommen um die Objekte zu berechnen?

 

[FossilCar]

Nur mit 2D. Aber durch die Bewegung/Das Durchlaufen der Räume können alle Punkte bzw. Räume und Gegenstände berechnet werden. Ist halt ein grosser Rechenaufwand.

 

[BFF]

Lies mal.

https://vrodo.de/virtual-reality-adobe-software-macht-aus-herkoemmlichen-360-videos-raumvideos/

BFF

 

[benneq]

@rg88 Dann denk mal über den Unterschied zwischen einer 2D und 3D Aufnahme nach.

Hinweis: Mit 3D Aufnahmen lassen sich Tiefeninformationen ziemlich einfach berechnen. Bei 2D Bildern muss man sich auf Heuristiken (wie z.B. bei Machine Learning) verlassen. Funktioniert inzwischen natürlich auch ganz gut, aber braucht deutlich mehr Rechenleistung.

Und warum gehst du davon aus, dass er die Räume nicht komplett gefilmt hat? Ich denke, dass ihm bewusst ist, dass man nichts errechnen kann, was nicht gefilmt wurde (Bzw. dann halt wieder nur mit Heuristiken und im Zweifelsfall ziemlich ungenau)

 

[Snooty]

So etwas gibt es, allerdings noch in der Entwicklung: https://www.golem.de/news/deepmind-...dert-3d-szene-aus-2d-bildern-1806-135004.html

Wie sieht ein auf einem zweidimensionalen Bild dargestelltes Objekt dreidimensional aus? [..] Die Entwickler von Deepmind haben einen Algorithmus entwickelt, der aus zweidimensionalen Darstellungen Objekte und Räume erzeugen kann.
[..]
Es ist in der Lage, auch eine Ansicht der nicht sichtbaren Rückseite des Objekts zu erzeugen, und berücksichtigt dabei auch den Lichteinfall und den Schattenwurf.

 

[Shaav]

Ja das ist möglich. Das Verfahren nennt sich Photogrammetrie. Agisoft Photoscan, Meshlab, Reality Capture u.s.w. sind deine Anlaufstellen um ein dreidimensionales Modell zu erstellen auf der Basis von Fotos zu erstellen. Das Video musst du also vorher zerstückeln.
Auf Sketchfab.com kannst du das Modell dann hochladen und angucken. Wenn du frei rumlaufen willst musst du das 3D-modell aber vermutlich in irgend eine Game-Engine importieren.

 

[Roesi]

Ich mache sowas mit:
https://www.autodesk.de/products/recap/overview

Das geht dann auch ganz gut mit VR Brille danach.

 

[Corros1on]

Ohne 3D Kamera sehe ich schwarz für dein Vorhaben oder dein Konto ist gut gefüllt.

Die billigere Variante wäre, dass du die Räume mit diesen 360° Kameras verwendest.

Profigeräte tasten mit Laser die Räume ab und machen gleichzeitig auch Bilder, die später über die Scannpunkte gelegt werden und bei mehreren Räumen müssen Referenzpunkte angepracht werden, das der Scanner auch weis wo er sich im Haus befindet und die Messungen ins Gesamtbild richtig eingefügt werden.

Solche Scanns kommen schon seit Jahren im Anlagenbau zum Einsatz, wenn es darum geht neue Maschinen in bestehende Anlagen einzubauen oder zu erweitern, dafür gibt es Firmen, die sich darauf spezialisiert haben.

Bei uns heißen diese Scanns Wolke, weil wenn sie ins Programm geladen werden sieht es aus wie eine richtig Wolke.

 

[KenshiHH]

Wenn das Bildmaterial gut genug ist, wäre Photogrammetry ne möglichkeit

 

[Snudl]

Sofern du den Raum aus verschiedenen, miteinander korrelierenden, gut repräsentativen Winkeln gefilmt hast, geht das sehr wohl. Das Material kannst du einer Photogrammetry Software füttern, zum Beispiel Meshroom (ist open-source). Meshroom baut auf AliceVision auf, und das kann zumindest laut Beschreibung auch direkt von Videoquellen rekonstruieren - ich müsste das erst probieren, also verlass dich nicht darauf. In jedem Fall kannst du Screenshots vom Video als Basis für die Rekonstruktion nehmen.

Ansonsten findest du vielleicht unter dem Begriff Videotrace passende Software. Das war mal ein eigenständiges Produkt, scheint aber nicht mehr zu existieren.

 

[Shaav]

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[iSight2TheBlind]

@Shaav Wobei Cristo Rei (ein Klon von Cristo Redentor) auch wirklich das Paradebeispiel für Photogrammetrie auf Videobasis ist.
Der Hintergrund ist weit entfernt und selbst bei kleinen Kamerabewegungen kann man den Hintergrund gut vom Objekt trennen.

Ich bezweifle stark, dass man einfach durch Abfilmen einer Wohnung von innen ein gutes 3D-Modell per Photogrammetrie erzeugen kann, wenn man die Filmaufnahme nicht mit genau der Sache im Hinterkopf geplant hat.
Mit viel Glück bekommt man ein 360° Panorama hin, hat da wahrscheinlich aber auch schon Lücken die man in der Aufnahme nicht abgedeckt hat.
Mehrere versetzte 360° Panoramen um dann wenigstens Streetview-Style durch die Wohnung wandern zu können wären enorm viel Glück.
Halbwegs detaillierte Photogrammetrie kann man denke ich vergessen.

 

[Kraeuterbutter]

Hallo...
ich hab vor einem Jahr mal bei einer Radltouru spontan versucht so eine Photogrammetrie zu erstellen..

quasi ein "Positiv"
ein Haus innen wäre ein "Negativ"
ob das gleich funktioniert ? denke schon...

ich hab bei einem Stop dieses Foto hier geschossen, links mein Fahrrad zu sehen

und dann kam ich auf die Idee, ich könnte mal so ein Photogrammetriegeschichte probieren:

ich hab bei der Kamera große Blende gewählt, um kurze Belichtungszeit zu haben (damit Bilder nicht verschwommen sind)
und bin dann einfach 3-4mal ums Radl herumgelaufen und hab Serienbilder gemacht
also nix 3D-Kamera.. sondern stink normale Kompaktkamera

quasi wie man auch ein 360°/180° Kugelpanorama macht, nur halt umgekehrt

dabei sind ca. 200 Bilder entstanden...
man könnte auch sagen: ich habs "abgefilmt"

also kein Stativ, Gimbel oder sonstiges..
sondern einfach mit meiner Kamera im Serienbildmodus drum rumgelaufen
das hätte keine Minute gedauert.. musste nur 2mal pausieren, weil Autos vorbeifuhren

man könnte auch eine GoPro nehmen, kurze Belichtungszeit wählen
und dann filmend drumrumlaufen

diese hab ich dann in eine Demoversion eines PHotogrammetrie-Software eingelesen
und dann etwas rechnen lassen..

das Fahrrad (ein vollverkleidetes Liegerad, Velomobil genannt) ist hier etwas undankbar bzw. schwer zu verrechnen (da eiförmig und auf der weißen glänzenden Fläche schwer Tiefeninformation rauszurechnen)
man sieht bei 2 Versuchen auch 2 verschiedene Ergebnisse mit Fehlern
(Loch hinten drinnen)

ich denke aber, bei einem haus müsste das viel besser funktionieren, da keine spiegeligen, gekrümmten "Wände" sondern eher rauhe Oberflächen

ich war vom Ergebnis jedenfalls überrascht, dass ohne Vorbereitung und ohne Vorwissen,
diese spontan aufgenommen Fotos zu so einem für mich doch tollen Ergebnis führten..

hier ein Video per FRAPS das die Software zeigt:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

hier nochmal gerechnet mit höherer Auflösung, und dann aber anderen Fehler hinten am Heck:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

und hier eine Langversion..
gegen Ende sieht man, dass sogar die Unebenheiten der Pflasterung und der rauhe Asphalt, ja sogar ein am Boden liegender Zigarettenstummel 3D-Mässig erfasst wurde...

und das alles nur durchs "einfach 3mal ums Fahrrad rumlaufen mit Serienbild-Aufnahme"


also ich denke, es sollte schon was möglich sein..
vielleicht sind dann Fehler drinnen.. würde ich nicht schlimm finden, als Erinnerung wirkt das sicher sehr gut..

die Frage ist halt: wie kann man sowas dann mit Unity / Unreal-Engine verheiraten, um das ganze in VR begehbar zu machen....

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

ich würde es auf jedenfall mal versuchen..
wahrscheinlich müsstest du als erstes mit einer software Einzelbilder aus dem Video "raus-grabben"


für mich jedenfalls wäre das der nächste logische Schritt zu 360° Panoramen, die es ja schon für VR gibt..
Photogrammetrie, begehbar - 100mal cooler

 

[BeBur]

Phtoscan ab 1.4 kann soweit ich gelesen habe Einzelaufnahmen aus Videos extrahieren.
Wie hier schon angemerkt wurde ist das Vorhaben grundsätzlich technisch möglich mit Photogrammetrie.

Aber. Ein Video ist aus technischen Gründen meist nicht identisch mit einer Aneinanderreihung von 24 (oder mehr) Bildern pro Sekunde (Hier der Grund. Video.)
Von daher ist die Wahrscheinlichkeit hoch, dass die nicht näher genannte 'normale Kamera' viele nicht sinnvoll verwertbare Frames/Bilder liefert.

Dazu kommt, dass Photogrammetrie oft nicht gute Ergebnisse erzielt indem man einfach nur ein paar Bilder von dem Ort hat. Je nach Szenario ist eine etwas bewusstere Planung der Bilder notwendig um am Ende genug Informationen über Geometrie und Farbe auf den Bildern zu haben. Das gilt erst recht, wenn man hinterher darin mit einer VR-Brille laufen möchte.

Man kann es daher mit Photogrammetrie probieren. Vielleicht klappt es. Ich würde jetzt aber auch keine sehr großen Erwartungen daran knüpfen mit der gegebenen vermuteten Grundlage.

Jedenfalls ist die Wahrscheinlichkeit groß, dass es nicht 'einfach so' geht, sondern dass du dich ein wenig ins Thema einarbeiten musst und das Video halb-manuell oder manuell in 'sinnvolle' sowie 'genug' Bilder aufteilen musst.

 

[Shaav]

Für Photogrammetrie würde ich immer folgendes empfehlen:

Eine DSLR nehmen und in RAW und alle Bilder mit identischen Einstellungen fotografieren (Belichtungszeit, ISO, Blende, Weißabgleich). Gerade in Räumen wirst du dann Blende 8-11 benötigen und ein Stativ.
Spiegelnde Flächen gilt es zu vermeiden. Etwas Staub wird hier helfen.

 

[Kraeuterbutter]

Aber. Ein Video ist aus technischen Gründen meist nicht identisch mit einer Aneinanderreihung von 24 (oder mehr) Bildern pro Sekunde (Hier der Grund. Video.)
Von daher ist die Wahrscheinlichkeit hoch, dass die nicht näher genannte 'normale Kamera' viele nicht sinnvoll verwertbare Frames/Bilder liefert.

allerdings kann es durchaus auch sein, dass hier heutige Kameras mit guter LIichtstärke ein Video mit sehr kurzer Belichtungszeit aufgenommen haben..
man hat ja- gerade mit Gopros, Smartphones, Dronen oft das Problem, dass die Belichtungszeit fürs Filmen zu kurz ist, und man mit ND-Filter sie künstlich verlängert
hier bei der Photogrammetrie wollen wir den umgekehrten Effekt haben
ist die Frage ob im Gebäudeinnern genug Licht vorhanden war...
und nicht doch lauter verwischte Frames rauskommen weil zu lange belichtet

bei der Demo der Software die ich verwendet habe, war wegen Demo glaub ich die Maximalanzahl an Bilder bei 250

für ein Objekt wie mein Fahrrad wo man drum-rum-läuft, ausreichend
für einen ganzen Raum wahrscheinlich eher nicht

hab was von 1000 und deutlich mehr Bildern gelesen, die da bei professionell gemachten Indoor-Geschichten gemacht werden

 

[BeBur]

Interessant, das wusste ich nicht.

Tausende Bilder waren eher so vor 10 Jahren aktuell. Heute ist das eher die Bildanzahl für einzelne etwas größere Objekte.
Je nach Anforderung sind zehntausende Einzelbilder eher gängige Praxis so wie ich das mitkriege.

Spannend finde ich btw. dass sich 5-6 User hier im Thread scheinbar kein bisschen vorstellen konnten, dass sowas geht. Selbst als der TE nochmal darauf hingewiesen hat... dabei spielt es ja einerseits für statische Objekte keine Rolle ob ich parallel mit zwei Kameras aufnehme oder einfach die Kamera ein Stück bewege und andererseits funktionieren unsere Augen ja auch so.

Was man mit Machine Learning erforscht ist eine ganz andere Eigenschaft, nämlich das wir auch mit einem Auge noch ganz gut '3D' sehen können indem das Hirn kluge Heuristiken verwendet.
Die selben Heuristiken werden auch auf größere Entfernungen ab einem Meter verwendet. Soweit ich gehört habe werden wir deshalb mittelfristig im Kino 3D Filme haben die komplett ohne Brille oder sonstige Hilfsmittel auskommen.