ComfyUI & 3D Modelle

[samuelclemens]

Mich würde interessieren ob es hier Leute gibt die sich auch mit dem 3D Modelle/Generierierung mit KI beschäftigen. Insbesondere natürlich was offline KI Modelle so hergeben.
Ich habe die offiziellen 4 Templates aus ComfyUI die anfangs dabei sind ausprobiert. Die Ergebnisse sind bescheiden. Die generierten modelle sind bei mir immer etwas zu sehr in die breite gezogen und ohne texturen. Ich kenne mich mit den Parametern nicht wirklich aus was man wie einstellen müsste. Try & Error hat bisher kaum zum ziel geführt.
Externe Workflows und Modelle zu implementieren scheint um ein paar ecken komplexer zu sein als bei Videos und Bildern.
Ich komm da nicht wirklich weiter ohne hilfe!

Ich würde gerne erstmal zumindest soweit kommen auch Texturen direkt mit generieren zu können. Also von Bild zu 3d Modell mit Textur. Möglichst mit ComfyUI!

Seiten wie https://www.meshy.ai zeigen wie es aussehen kann. Besonders dort das aktuellste Modell liefert sehr gute Ergebnisse meiner Ansicht nach. Doch da grätscht wieder "Abo" dazwischen wenn man zb was downloaden will oder das bessere Modell nutzen möchte.
Außerdem weiß man nie was mit dem Material das man generiert so weiter passiert bei diesen online Diensten.

 

[madmax2010]

Mit sam3d kannst du hervorragend 3d meshes aus anderen Bildern generieren. Hilft das?

 

[samuelclemens]

@madmax2010 Hab die seite nur kurz überflogen. Es scheint dasselbe System zu sein wie bas oben erwähnte meshy.
Accontzwang, creditsystem...am ende wohl wieder abo usw...
Ich will das offline hinbekommen. Auch wenn es dann am ende ne stunde für die generierung benötigt.

 

[ChatGehPeeTee]

ich hatte das damals mit pinokio gemacht. Dort gab es zumindest zwei Modelle und das Ergebnis war durchweg sehr gut.

 

[tomgit]

Muss es ComfyUI sein? mWn gibt es da auch andere Lösungen, u.A. von Nvidia.

Oder von Microsoft: https://github.com/microsoft/TRELLIS

Alternativ sich auch mal auf Reddit umschauen, gibt da ja einige Subreddits, die sich mit GenAI befassen

 

[madmax2010]

Accontzwang, creditsystem...am ende wohl wieder abo usw...
Ich will das offline hinbekommen. Auch wenn es dann am ende ne stunde für die generierung benötigt.

Ne, das Modell ist open source
Ich nutze es selbst lokal.
https://skywork.ai/blog/ai-image/install-sam-3d/
Vermutlich auch hilfreich
https://github.com/facebookresearch/sam-3d-objects/tree/main

Nur nicht sicher ob du es in comfy bekommst

 

[samuelclemens]

Muss es ComfyUI sein? mWn gibt es da auch andere Lösungen, u.A. von Nvidia.

Oder von Microsoft: https://github.com/microsoft/TRELLIS

Alternativ sich auch mal auf Reddit umschauen, gibt da ja einige Subreddits, die sich mit GenAI befassen

Es dauert jedes mal ja ne weile bis man sich halbwegs in die verschiedenen Platformen reingefuchst hat. Pinokio zb ist fein wenn alles funktioniert aber fast unmöglich als laie da was zu flicken wenn irgend ein script irgendwo hakt.
Ich komm nirgendo hin wenn ich ständig neue Platformen dazuhole.
ComfyUI hab ich iwie nen leichteren zugang.


@madmax2010 Werd mir sam3D doch nochmal genauer anschauen. Aus den YT Videos entnehem ich jedoch das sam3D zb bei Menschen keien Texturen, kleidung oder Frisuren usw aus den Bildvorlagen übernimmt. Toll finde ich jedoch das Bones und Rigging anscheinend unterstützt werden.

 

[MechanimaL]

Du kannst Trellis kostenlos in ComfyUI benutzen. Hier mal 2 Videos zu dem Thema:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

(von diesem User gibts mehrere Videos zu Trellis).

habe es selbst noch nicht benutzt (sieht cool aus aber habe keinen Use case dafür), sonst könnte ich noch Tipps dazu geben, aber auf jedenfall funktioniert es kostenlos und lokal in comfyUI