[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[MechanimaL]

Ich hab sie noch nicht getestet, kann es aber probeweise mal tun

Funktioniert prinzipiell man muss aber noch 1-3 custom nodes nach-installieren, je nachdem was man vorhat (unter Settings am Anfang müssen einmalig die Modelle gewählt werden) und beim chain-mode (also mehrere videos aneinanderhängen) hat er zwar 2 Videos generiert, aber die wurden nicht zusammengefügt, habe mich mal beim Autor erkundigt, wie das gehen soll ^^

Ich teste das gleiche mal mit dem Workflow der die Basis dafür ist (und den ich zuvor schonmal gepostet hatte). Also Erstellung und Verlängerung eines Videos.

Edit der hat gut funktioniert, krass wie man den Übergang nicht sieht zwischen den Sequenzen. Von daher würde ich tatsächlich mal eher die Verlängerungsoption testen, statt lange Sachen am Stück @WoisthierdasKlo

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Das hatte ich die Tage schonmal gesehen, grade nochmal ein H3-Video vom Ersteller gesehen (Workflow ist verlinkt, ist auch etwas all-in-one-mäßig).

 

[WoisthierdasKlo]

Gibt's hier wen mit 8 GB VRAM, der mal zeigen möchte, was er so in letzter Zeit gezaubert hat? Insbesondere würde mich interessieren, ob es jemand hinbekommen hat, Videos länger als 6 Sekunden zu generieren.

 

[MechanimaL]

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Interessante Idee, eine ganze Pipeline für Video Planung und Erstellung von Anfang bis Ende mit Verbindung zu ComfyUI und einem LLM.

 

[Keuleman]

Hmpf, da ist mir einer zuvor gekommen :-D Hatte da überlegt, für Werbung eine Pipeline zu machen: Vorne Idee rein, hinten fallen die Snippets raus. warum? Weil unsere Werbefrau Claude Code hat (ganz stolz erzählt hat sie es aber ist im Bereich KI... unfit). Da wollte ich das für mich mal lokal bauen :-P

 

[MechanimaL]

Dank claude und co sehen wir in letzter Zeit sehr viel neue Software Projekte, das muss Dich ja nicht hindern, selbst was zu bauen (oder so etwas wie das hier zu erweitern/verbessern). edit: btw ich teste das "grade" mal..

Der oben verlinkte "Fox Fur Essence" hat auf seinem Kanal eine selbst erstelle Kampfsezen inkl. How-To veröffentlicht

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[Keuleman]

Die hat das für sich und ihre Arbeit gebucht, das Abo, da komme ich nicht dran. Macht auch nichts. Aber für Pipeline gäb's auh andere Lösungen.

Allerdings finde ich auch nicht schlecht, nach jedem Step nen Blick drauf werfen zu können.

Cooles Video! Sehr geil gemacht. Da bin ich noch 30 Levels von entfernt :-D

 

[MechanimaL]

Ich habe einen Durchlauf mit dem oben verlinkten Calliope gemacht. Was ich gut fand:

• Der Aufbau an sich ist recht logisch von der Idee zu den Szenen
• Einbindung von lokalem LLM möglich (jeder Schritt/ jedes Prompt kann das zur Erstellung dazu geschaltet werden)

Was Arbeit gemacht hat:
- Die Workflows sind als API Versionen drin, dort habe ich dann mit einem Editor die Model-Speicherorte ändern müssen, da man die WF in der Form nicht einfach so in comfyui öffnen und editieren kann (soweit ich weiß). Es würde aber auch einfach gehen, eigene rein zu machen (Erstellen und zu API Version umwandeln), wollte aber mal die bestehenden (sind im Github Repo) damit testen. Es wird im Prinzip nur Prompt und Output benötigt (und automatisch erkannt), man kann allerdings nichts on the fly ändern im WF (Auflösung, Loras etc.).

Nachteile im ersten Eindruck:

• Die Assets (Bilder der Charaktere usw.) werden automatisch zugewiesen (also anhand der Story) und ich habe auf Anhieb nicht gesehen, wie ich weitere hinzufügen kann, z.B. Objekte.
• Da die Workflows die Szenen komplett getrennt generieren, hat man (im Gegensatz zu dem oben verlinkten Context Ansatz) keine sehr flüssigen Übergänge. Es wäre wohl besser, die Videos würden quasi 1 erstellt 2. als Verlängerung des ersten, drittes als Verlängerung von 1+2 usw.

 

[Keuleman]

Tscha. Kommt bisschen drauf an, was man macht (schnelle Cuts für Action, langsamer für andere Sachen). Deswegen mache ich eigentlich lieber manche Dinge manuell, um einfach mehr Kontrolle zu behalten.

Ist ja alles mittlerweile einfach, gibt ja workflows, die Dir das ganze Musikvideo zusammen dengeln aber ich bin da vielleicht einfach zu Kontroll-freakig :-D

Anbei, zur Erbauung, eine Kampfszene, hab ich zur Übung gebaut :-D

Ich weiß, völlig unperfekt und auch kein Audio drauf gelegt (bisschen fetzige Mucke dazu hätte noch mal mehr raus geholt) plus in Bewegung einige Fehler aber! es war echt ne Übung, "was geht da". Image to Video und ref2video.

 

[Ozmog]

Da es bei mir mit Krea2edit nicht so recht stabil auf Dauer laufen will, um Promptlisten durchlaufen zu lassen, habe ich mir jetzt ein Workaround gebaut. Die Listen habe ich aus einem runtergeladenen Workflow, der dazu dient, Bilder für ein Lora-Training zu erstellen.

Am Ende habe ich nur die Listeneinträge übernommen und mir ein Workflow gebaut, der jedes Bild einzeln ausgibt. Ich starte also ein Batch von 8 und es werden dann 8 verschiedene Prompts nacheinander ausgeführt. Länger wird dann schon irgendwann Problematisch, wird immer langsamer und dann irgendwann auch ein Absturz. Mit Liste würde dann alle Generierungen verloren gehen, aber jetzt bleiben alle einzeln fertig ausgegeben, sodass nicht alle verloren gehen.

Insgesamt sind es aber deutlich mehr Prompts, sodass ich 8er-Batches manuell umschalte, indem ich einen Wert erhöhe. Dazu hatte ich zuvor in einem anderen Versuch mir einen Umschalter gebaut, mit dem was mir gerade so gegeben war. Eines der Index-Umschalter kann nur 10 Eingänge umschalten, also habe ich eine kleine Logik gebaut, die dann zwischen Indexumschalter umschaltet. Das hatte ich dann auch automatisiert in einem 32er-Batch getestet. Jetzt benötige ich nicht alle Eingänge für das andere Projekt, habe sie aber erst einmal mit drin gelassen, sollte ich das ganze noch erweitern wollen.

Oben links ist dann der eigentliche Krea2edit-Workflow mit zwei Referenzbilder. Die Gruppe ist mein 32-fach-Umschalter und der große Block sind dann meine Prompts mit einem Charakter-Anker vorweg. Sind so in Summe 128 Stück. Eine Reihe ist immer ein 8er-Batch. Und weil man es kann, wird automatisch ab Reihe 14 noch ein anderes LoRA zugeschaltet.
Auch noch eingebaut ist eine Textausgabe, in der der vollständige Prompt dann mit gleichen Namen wie das Bild ausgegeben wird, sodass ich einen Ordner mit allen Bildern und den Textdateien gefüllt habe.

Fleißaufgabe mit Copy/Paste als wichtigste Funktion. Aus ein paar Promptlisten mit um die 20-25 Einträgen wurden dann die Einzelabfertigungen in 8er-Packs. Wenn dann ein Batch nicht komplett durch läuft, kann ich genau da ansetzen, wo es den Fehler gab.

Edit: Ich hatte zuvor noch ein wenig mit Flux2klein rumprobiert, aber die Ergebnisse haben mir bisher nicht so zugesagt, hätte aber dagegen auch einfach ohne Probleme durchgeneriert.

 

[samuelclemens]

@Ozmog Schonmal daran gedacht das wie beim Coding mit ner Schleife zu lösen. Soviel ich weiss gibt es inzwischen Custom Nodes für Schleifen verschiedenster art. Hab mich leider noch nicht damit auseinadergesetzt da zu viele Baustellen noch offen sind.
Desweiteren wäre es dann auch noch nötig das prompt aus einer textdatei zu laden oder man bindet per api ein llm in den workflow ein oder generiert die prompts direkt im worklflow.
Ich würde aber die externe textdatei verwenden.
Dafür braucht man auch wieder custom nodes.
Eleganter wäre aber das zweite mit dem internen generieren der Workflows.

Das vorteil dabei ist das man dann nur noch festlegen muss wie oft die Schleife durchläuft und dem initialen prompt für das interne llm modell mit der Bildidee und man findet am ende im output ordner die fertigen Bilder.
Im offiziellen Krea2 Turbo Workflow ist das mit "Prompt Enhance" sogar teilweise schon eingebaut. Da wird ein prompt aus ein paar einfachen Zeilen intern im Subgraph ausgebaut.
Das in verbindung mit nem zufälligen Seed sollte bei jedem durchlauf ein etwas anderes Bild mitder ursprünglichen Bildidee liefern.
Ist die frage ob man kontrolliert vorher festgelegte Prompts testen will oder zufallsgenerierte.

In ComfyUI kann man praktischerweise beim erzeugen und speichern auch sämtliche Infos zum Workflow der das Bild genereiert hat direkt als Metadaten ins fertige bild mitgeben. So kann man später genau nachsehen wie der Prompt und seed zum Bild genau aussah. Das ist wichtig für Testreihen.

Ich würde fast wetten das es bereits solche Schleifen Workflows für die Fließbandproduktion gibt die man sich ansehn kann.

Next Level hab ich bewusst ausgelassen wodurch man das ganze Workflow als API von außen per Script ausführt und parameter mitgibt.

 

[MechanimaL]

Charmant, charmant Wäre vll auch mal ne Aufgabe, für den neuen comfyui MPC, das als Aufgabe zu stellen und zu schauen, was rauskommt, also man braucht ein LLM (wsl am besten mit webzugriff) und kann dann sagen: Ich möchte das und das und dann müsste dir das den passenden wf bauen und ausführen können, zumindest in der Theorie ^^ Habs noch nicht selbst getestet.

Ein Automatismus mit verschiedenen Prompts und LORA müsste eigtl auch mit wildards+iterator gehen, falls Du es nochmal verkleinern oder anders versuchen möchtest ^^ könntest dir dafür mal ComfyUI-Impact-Pack anschauen. Mit dem ImpactWildcardProcessor bzw. ImpactWildcardEncode kann man Prompts aus Wildcards/Listen generieren und bei den einzelnen Varianten auch unterschiedliche LoRAs hinterlegen. Ein Iterator erhöht dann bei jedem Durchlauf den Index und nimmt damit den nächsten Eintrag aus deiner Prompt-/LoRA-Liste, während die Wildcard-Node diesen Eintrag in den Prompt einsetzt bzw. daraus den jeweiligen Prompt/LoRA-Kombination erzeugt.

 

[samuelclemens]

Wie gesagt, die simpelste variante wäre die Promptliste ienfach von außen zuzuführen.
Zumal ComfyUI im "Ausführen" Buttom Dropdown auch schon sowas wie eine schleifen nonstop funktion integriert hat. Also draufdrücken und der Workflow wird nonstop ausgeführt bis man es beendet.
Das mit den zufälligen Prompts intern generieren artet erstmal arg aus. Es gibt zich stellschrauben, nodes, einstellungen zu berücksichtigen.
Ich würd daher zu anfang einfach mal ChatGPT anweisen eine ne liste mit ein paar dutzend Prompts zu ner idee zu generieren und diese dann mit nem node in comfyui laden und den worklflow nonstop laufen lassen.

 

[Ozmog]

Nun, ich komme ja quasi von was einfacheren. Die Promptlist-Node, die ich zuvor hatte, kann dann alle Zeilen (nach jeden Enter, nicht automatischen Zeilenumbruch) abarbeiten. Allerdings eben mit6 den Haken, dass zunächst alle Prompts nacheinander im Sampler umgesetzt werden und erst danach in den VAE-Encode. Eigentlich ja auch kein Problem, wenn ich nicht das Problem mit Krea2edit hätte. Daher wollte ich eben jeden Prompt einzeln komplett fertig bis in den Save bevor der Nächste begonnen wird, damit bei einem Programmabbruch nicht alle Generierungen verloren gehen. Daher bringt mir auch eine Schleife wenig, die einfach weiter macht, den genau das führt zu meinem Problem.
Daher meine Ausführung mit 8er Blöcke und manuellem Weiterschalten sowie der Möglichkeit des manuellen Auswählen. Sonst hätte ich die ganzen Prompts auch automatisiert laufen lassen können. Das kann ich machen, wenn ich nicht Krea2edit sondern nur Krea2 ohne edit oder Flux laufen lasse, dann funktioniert es auch einfach mit den Promptlisten, da rennt es dann einfach durch.

Ich habe natürlich auch noch dran gedacht, mehr auf die Suche zu gehen, ob es auch andere Lösungen gibt, habe dann aber einfach mal das genommen, was ich schon habe. Sind ja auch jetzt schon so einige extra Nodes, die ich in ComfyUI habe.

Eine externe KI kommt für mich nicht in Frage und ein Agent erst recht nicht.

 

[samuelclemens]

@Ozmog Ich glaub wir reden hier aneinander vorbei.
So wie ich das versteh versuchst du eine ganze reihe an bildern mit verschiedenen Prompts automatisch generieren zu lassen!?

Mein Ansatz geht dahin das System zu entlasten und den ganzen Workflow einmalig für nur ein Bild zu erstellen den man dann in einer endlosschleife laufen lässt.

Schleife start

Promt aus Textdatei laden
Bild generieren
Bild im Output Ordner speichern

Schleife ende, gehe zurück an Schleife Start

Und wie gesagt, zum testen des Workflows innerhalb der Schleife brauchst dich fürs erste nichtmal mit schleifen nodes befassen. Man kann in der ComfyUI oben rechts den Dropdown am Ausführen Button klicken um die Ausführung des Workflows in einer endlosscheife laufen zu lassen.
Schleifen Nodes braucht man erst wenn man mehr kontrolle über die Schleife haben möchte wie anzahl der durchläufe oder so.

 

[Ozmog]

Ich glaub wir reden hier aneinander vorbei.

Definitiv. Wie ich sagte, funktioniert der Spaß nicht mit Krea2edit unter den Bedingungen. NICHT die Automatisierung ist das Problem sondern das merkwürdige Verhalten von Krea2edit unter meinen Bedingungen. Irgendwas sorgt dafür, dass da was nicht korrekt läuft, nicht die Automatisierung selbst. Es ist sogar egal, ob ich eine Liste, kleinere Batches oder nur einige Einzeldurchläufe durchführe, nach kurzer Zeit hakt es, nicht einmal Cleanup VRAM und auch das Neustarten vom ComfyUI-Server alleine bringt da wirklich Abhilfe. Ein Neustart des Systems ist bisher das, was eben soweit abhilfe schaft, dass es dann auch zunächst läuft. Daher habe ich eben auch nur 8 Prompts pro Durchgang gewählt, und nicht einmal die laufen immer zuverlässig durch, weshalb es auch nötig ist, egal wo wieder neu einsteigen zu können. Der Workflow ist eben nur so gewachsen, weil es auch in der Minimalausführung NICHT lange läuft.
Und ich brauche auch manuelle Kontrolle, es bringt nichts, einfach mal ein größeren Batch abzuarbeiten und dann so lange laufen zu lassen, bis ComfyUI mit einem Fehler aussteigt. Manchmal bleibt er einfach nur länger im Sampler, mit jeder Generierung tendeziell länger, aber auch nicht nach einen klaren Muster. Hatte es auch schon, da habe ich ihn einfach mal machen lassen über nacht. Da gab es dann keinen Abbruch mit Fehler, sondern er blieb einfach im Sampler "hängen" und hat auf besseres Wetter gewartet oder so. Daher ist es immer noch schneller, nach jeden 8er Batch das System einmal neu zu starten und den nächsten 8er zu starten. Könnte man auch automatisieren mit Skripten, aber irgendwann hört es auch mal auf, zudem ist es dann immer noch nicht sicher, ob er einen 8er Batch einfach durcharbeitet.

Ich kann nicht Gegentesten woran genau es liegt. Es kommt nur in Verbindung mit Krea2edit vor, nicht mit einfachen generieren mit Krea2, nicht mit Flux2klein. Nur Krea2edit. Und ich kann auch nicht wirklich gegentesten woran es genau liegt, ich habe weder ein Windowssystem noch eine Nvidia-Grafikkarten, ob es vielleicht nur unter Linux so ist oder in Verbindung mit ROCm.

Aktuelles Beispiel im letzten Batch: Erster Prompt in 81 sec, zweiter in 112 sec, dritter in 175 sec, vierter in 12 Minuten, fünfter in 531 sec, sechster in 69 sec, siebter in 70 sec und der letzte in 137 sec. Nichts ist wirklich konstant. Ein nächster Batch wird tendenziell deutlich länger brauchen, aber nicht einmal sicher. Was genau da passiert, weiß ich auch nicht, das System selbst scheint auf irgendwas zu warten.

 

[samuelclemens]

Da ich mich mit Krea2 Edit noch kaum befasst habe kann ich nicht auf das eigentliche Problem in deinem Workflow eingehen.
Meiner Ansicht nach ist ComfyUI anscheinend eh nicht darauf ausgelegt mit komplexeren Konstruktionen klarzukommen. Kann aber auch an der grafischen Oberfläche liegen.
Daher auch der Vorschlag den ganzen Workflow schlanker zu machen!

Aus meiner Erfahrung bei der Fehlersuche hilft es aber oft ein komplexes System auf den kleinstmöglichen Vorgang zu reduzieren. Testen, stück erweitern, testen usw...
In ComfyUI sollte das sogar ein stück weit einfacher sein da man Nodes und ganze voneinander abhängige Ketten mit nem Bypass ausklammern kann. Es wird sogar einem immer per fehlermeldung angezeigt was zusammenhängt.

Oder versuch es andersrum es komplett neu aufbauen mit dem kleinsten vorgang und arbeite dich dann stück für stück vor. Bei jeden schritt immer auf längere zuverlässigkeit testen.
Nicht umsonst wird das Debugging beim Coden als eines der schwierigsten ud zeitaufwändigsten Teile benannt.😓

 

[samuelclemens]

Hier mal ein kleines experimetelles projekt für zwischendurch.

Das Prompt habe ich nach eigener detailierter Idee von ChatGPT schreiben lassen
Estaunlich wie gut es meine eigenen Ideen mit passenden details ergänzt.

Ziel war es möglichst weit von diesen Aalglatten aufpolierten perfekten Videos wegzukommen. Nichts außergewöhnliches oder fantastisches.
Da bin ich dann über diverse kleine lustige TikToks gestolpert.
Das Format ist perfekt für kleine Szenen wie aus dem Leben einfach mal spontan aufgenommen.
Ihr kennt das ja, es passiert irgendwas interessantes oder lustiges und sofort sind einige Leute in der Gegend am Filmen.

Ich habe hier zwei Varianten von sehr vielen Versuchen hochgeladen.
Ich habe hier absichtlich schlechte Bildqualität und schlechten Ton gewählt was die Umgebungsgeräusche angeht. Das erhöht meiner Ansicht nach den Realismus.
Leider sind mir in keinem der versuche die Bewegungsabläufe des Huhnes gelungen. Aber auch die Verfolger scheinen des öfteren eher zu gleiten.
Ich glaube auch die Kamerabewegungen sind nicht ganz authentisch. Oder das einzoomen in 00026 !?
Ich kenn mich da nicht so aus da ich nur sehr selten überhaupt was mit dem Smartphone Filme!🤔

 

[WoisthierdasKlo]

Kriege es auch nicht besser hin :/

 

[MechanimaL]

Welche Auflösungen und Framerates habt ihr getestet für die Huhn Szene? Weiß aber nicht, obs was nützt, müsste es mal testen (ggf auch mehr steps/turbo aus)

Was generell gegen "Bewegungsmatsch" eingesetzt wird ist "deroping" --> https://matlowai.github.io/ComfyUI-MAINodes/

Schöner Workflow für Faceswap/Bodyswap (WF 1 ausprobiert)

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Ich kenn mich da nicht so aus da ich nur sehr selten überhaupt was mit dem Smartphone Filme!🤔

Es geht auf jedenfall so Handheld smartphone mäßig ,habe ich schon sehr realistisch gesehen, aber war jetzt nur auf discord, war jetzt kein prompt/lora angabe dabei..

 

[Keuleman]

Bei mir hilft mega - mehr steps. 30 Steps und Audiofehler Sprache waren komplett weg und auch der Griesel bei schneller Bewegung ist start zurück gegangen.