[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[MechanimaL]

Ich hab sie noch nicht getestet, kann es aber probeweise mal tun

Funktioniert prinzipiell man muss aber noch 1-3 custom nodes nach-installieren, je nachdem was man vorhat (unter Settings am Anfang müssen einmalig die Modelle gewählt werden) und beim chain-mode (also mehrere videos aneinanderhängen) hat er zwar 2 Videos generiert, aber die wurden nicht zusammengefügt, habe mich mal beim Autor erkundigt, wie das gehen soll ^^

Ich teste das gleiche mal mit dem Workflow der die Basis dafür ist (und den ich zuvor schonmal gepostet hatte). Also Erstellung und Verlängerung eines Videos.

Edit der hat gut funktioniert, krass wie man den Übergang nicht sieht zwischen den Sequenzen. Von daher würde ich tatsächlich mal eher die Verlängerungsoption testen, statt lange Sachen am Stück @WoisthierdasKlo

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Das hatte ich die Tage schonmal gesehen, grade nochmal ein H3-Video vom Ersteller gesehen (Workflow ist verlinkt, ist auch etwas all-in-one-mäßig).

 

[WoisthierdasKlo]

Gibt's hier wen mit 8 GB VRAM, der mal zeigen möchte, was er so in letzter Zeit gezaubert hat? Insbesondere würde mich interessieren, ob es jemand hinbekommen hat, Videos länger als 6 Sekunden zu generieren.

 

[MechanimaL]

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Interessante Idee, eine ganze Pipeline für Video Planung und Erstellung von Anfang bis Ende mit Verbindung zu ComfyUI und einem LLM.

 

[Keuleman]

Hmpf, da ist mir einer zuvor gekommen :-D Hatte da überlegt, für Werbung eine Pipeline zu machen: Vorne Idee rein, hinten fallen die Snippets raus. warum? Weil unsere Werbefrau Claude Code hat (ganz stolz erzählt hat sie es aber ist im Bereich KI... unfit). Da wollte ich das für mich mal lokal bauen :-P

 

[MechanimaL]

Dank claude und co sehen wir in letzter Zeit sehr viel neue Software Projekte, das muss Dich ja nicht hindern, selbst was zu bauen (oder so etwas wie das hier zu erweitern/verbessern). edit: btw ich teste das "grade" mal..

Der oben verlinkte "Fox Fur Essence" hat auf seinem Kanal eine selbst erstelle Kampfsezen inkl. How-To veröffentlicht

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[Keuleman]

Die hat das für sich und ihre Arbeit gebucht, das Abo, da komme ich nicht dran. Macht auch nichts. Aber für Pipeline gäb's auh andere Lösungen.

Allerdings finde ich auch nicht schlecht, nach jedem Step nen Blick drauf werfen zu können.

Cooles Video! Sehr geil gemacht. Da bin ich noch 30 Levels von entfernt :-D

 

[MechanimaL]

Ich habe einen Durchlauf mit dem oben verlinkten Calliope gemacht. Was ich gut fand:

• Der Aufbau an sich ist recht logisch von der Idee zu den Szenen
• Einbindung von lokalem LLM möglich (jeder Schritt/ jedes Prompt kann das zur Erstellung dazu geschaltet werden)

Was Arbeit gemacht hat:
- Die Workflows sind als API Versionen drin, dort habe ich dann mit einem Editor die Model-Speicherorte ändern müssen, da man die WF in der Form nicht einfach so in comfyui öffnen und editieren kann (soweit ich weiß). Es würde aber auch einfach gehen, eigene rein zu machen (Erstellen und zu API Version umwandeln), wollte aber mal die bestehenden (sind im Github Repo) damit testen. Es wird im Prinzip nur Prompt und Output benötigt (und automatisch erkannt), man kann allerdings nichts on the fly ändern im WF (Auflösung, Loras etc.).

Nachteile im ersten Eindruck:

• Die Assets (Bilder der Charaktere usw.) werden automatisch zugewiesen (also anhand der Story) und ich habe auf Anhieb nicht gesehen, wie ich weitere hinzufügen kann, z.B. Objekte.
• Da die Workflows die Szenen komplett getrennt generieren, hat man (im Gegensatz zu dem oben verlinkten Context Ansatz) keine sehr flüssigen Übergänge. Es wäre wohl besser, die Videos würden quasi 1 erstellt 2. als Verlängerung des ersten, drittes als Verlängerung von 1+2 usw.

 

[Keuleman]

Tscha. Kommt bisschen drauf an, was man macht (schnelle Cuts für Action, langsamer für andere Sachen). Deswegen mache ich eigentlich lieber manche Dinge manuell, um einfach mehr Kontrolle zu behalten.

Ist ja alles mittlerweile einfach, gibt ja workflows, die Dir das ganze Musikvideo zusammen dengeln aber ich bin da vielleicht einfach zu Kontroll-freakig :-D

Anbei, zur Erbauung, eine Kampfszene, hab ich zur Übung gebaut :-D

Ich weiß, völlig unperfekt und auch kein Audio drauf gelegt (bisschen fetzige Mucke dazu hätte noch mal mehr raus geholt) plus in Bewegung einige Fehler aber! es war echt ne Übung, "was geht da". Image to Video und ref2video.