[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[blubberbirne]

70min hat der sche.... gedauert

https://streamable.com/oqcfcr

 

[WoisthierdasKlo]

Macht doch mal was Kreatives statt 2 Minuten lang exakt das gleiche Bild ^^

 

[Keuleman]

Ich sag' es diplomatisch aber es braucht mehr... Varianz :-D

 

[blubberbirne]

I Know. Ich wollte auch erstmal nur schauen wie lange der Spass so dauert, und was Minimax da für Fehler rein ballert

 

[WoisthierdasKlo]

Also wenn ich ne 5090 hätte würd ich so viel testen und mich nie mehr beschweren bei mir dauert es 70 Minuten für 5 Sekunden.^^

 

[MechanimaL]

Es gibt übrigens vom Fox-Fur-Seedhunter WF ein Update und von Minimax H3 Easy (siehe dort auch die Workflows im entsprechenden Ordner der Custom Node). Beide haben jetzt Verlängerung und Upscale Optionen.

 

[blubberbirne]

Das ist das Problem wenn man eine 5090 hat. Man "testet" einfach zu viel. Heute abend z.b. nur mit DLSS5 rumgetestet.

Aber mir ist dann doch glatt eingefallen das ich gestern noch die MiniMax-H3 Fast runtergeladen habe.
https://huggingface.co/Kijai/MiniMax-H3-experimental/tree/main

Damit kann man sich die Turbo Loras sparen. Und die Qualität ist um vieles besser.

 

[MechanimaL]

Ah interessant, ist das bereits ganz verwendbar oder braucht man noch einen bestimmten PR? Grade dazu gelesen, es sei evtl besser als Turbo LORA, aber (erwartbar) schlechter als volle Stepzahl. Zuerst dachte ich an das hier (Minimax MAX by FAL), davon hatte ich was mitbekommen, aber es ist (noch) API only. Muss morgen nochmal genauer schauen, Modell ist schonmal runtergeladen

 

[samuelclemens]

Hat jemand fundierte Ahnung von Ostris AI-Toolkit zum LoRa Training?
Mit Krea2 Model scheint es jetz erstmal keine großen Probleme zu geben. Aber jedes mal wenn ich zb Qwen Image trainieren will "CUDA error: out of memory"
ChatGPT scheint da auch keine lösung zu finden.
Mit ner 5070TI und 32GB RAM sollte doch eigentlich das einfache Modell klappen oder?

 

[blubberbirne]

@samuelclemens Qwen Image und Ai Tookit macht erst ab 64GB RAM sinn.

DLSS5 ist in Comfyui angekommen: https://github.com/Blueforcer/ComfyUI-DLSS5-Enhancer

 

[samuelclemens]

Qwen Image und Ai Tookit macht erst ab 64GB RAM sinn.

Generell oder nur auf Qwen bezogen? Mit Krea2 scheint es zu laufen.
Welches bessere Image edit Modell würdest mir empfehlen um mit AI-Toolkit zu experimentieren?

 

[blubberbirne]

Ich habe bisher noch keine Lora für ein Image Edit Modell trainiert. Sehe ich für mich auch keinen Sinn/Nutzen drin.

 

[Keuleman]

Same here. Ein 2. Bild ist dann "das Lora". Bei Video noch extremer mit H3 nun.

 

[samuelclemens]

Naja, bei Videos ist LoRa und Edit nochmal ein ganz anderes Thema.
Mit mehren LoRas könnte man sich praktisch sowas wie ein konsistentes virtuelles Filmset bauen. Location, Requisiten, Hauptcast, Statisten usw.
Videodit wäre dann sehr gut um Fehler zu bereinigen oder nahtlose übergänge an schnittstellen neu zu generieren usw...

Bei Bildern sehe ich das Hauptproblem bei mir derzeit das man keine Mehrpersonen Bilder generieren kann ohne das "Klone" dabei rauskommen. Hier muss man sich dann in nem zweiten Workflow mit Image Edit auseinandersetzen.
Bei größeren "Projekten" mit dutzenden Bildern eine Sisyphusarbeit.

Mit Mehrpersonen LoRas hab ich mich übrigens noch nicht befasst!

 

[Keuleman]

Keine Ahnung, für mich haben Lora im Videobereich mit H3 komplett an Bedeutung verloren. Character Sheets, set location als Bild oder Video... das funktioniert so krass gut...

 

[samuelclemens]

Wie gesagt, Video und Bilder sind zwei verschiedene Bereiche. Mein Schwerpunkt/Ziel sind Storytelling via Graphic Novels zb...
Leider lasse ich mich von all den Möglichkeiten und Spielereien mit KI zu leicht ablenken.🙄

 

[Keuleman]

Joo, da bin ich bei Dir. Mir hilft es, ein Projekt zu machen. So richtig "was will ich" und dann gucken, wie ich da am einfachsten hin komme. Habe ja ein Metal Film Projekt laufen... jetzt mit H3 ist es fast lächerlich einfach geworden. Davor mit Start- und Endframes etc... da war ich auch kurz davor, ein Lora Training zu machen für die Heldin. Ich bin drumrum gekommen Editieren war bislang auch noch nicht dabei, das mache ich immer über Videoschnitt bisher. Wenn ein Snippet so gar nicht geht fällt der unter den Tisch. Seit LTX Director und nun H3 aber auch Geschichte.

 

[samuelclemens]

Charakter Sheets sind ein guter Tipp an das ich nicht gedacht habe.🤔
Aber wie soll ich das in einem Projekt anwenden mit 30 Seiten und zwei dutzend Charakteren?
Man muss ja auch Nebencharaktere und Statisten immer gleich aussehen lassen wenn zb ein Szene den Blickwinkel ändert oder ein Hauptcharakter später eine Location erneut betritt wo zb im Hintergrund der Klempner immer noch werkelt usw...
Mit einer Seite und mehr oder weniger Zufallsergebnissen und genügend anläufen bekommt man schon unglaubliche Ergebnisse. Doch die Euphorie lässt schnell nach wenn man merkt das sich die Ergebnisse nicht konstant und verlässlich reproduzieren lassen.
Ich hab sogar schon daran gedacht stattdessen sowas wie Bilderbücher mit viel Text und Bilder nur zur Untermalung. Vielleicht auch Multimedialer mix mit Text, Bildern, Musik und Hörspielelementen!

 

[Keuleman]

Statisten würde ich glaube "in den Hintergrund einbacken" und die Protagonisten "nacheinander" über character sheets realisieren.

 

[samuelclemens]

"in den Hintergrund einbacken"

Wie darf man sich das konkret vorstellen? Meinst du ein Hintergrundlayer in einem herkömmlichen Grafikprogramm?
Dabei fällt mir ein, ist es machbar die Bilder direkt mit Layern zu erzeugen in ComfyUI, also direkt in einem Layerfähigen Format?

Oder den Hintergrund als Referenzimage einbinden!?