[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[chr1zZo]

Wie ist eure Erfahrung mit "Kampf / Fight" Szenen. LTX macht da nicht so mit. Da muss ich wohl Richtung Kling.ai oder Seedance gehen wa?

 

[Keuleman]

Zu viel Action ist nix für LTX 2.3. Daher auch friedliche Dinos!

 

[samuelclemens]

Weiss wer wie man mit ComfyUI das "Out of Memory" Problem umgehen könnte?
Ich ha ne 5070TI und 32GB DDR4 Ram unter der Haube und ich finde da müsste doch mehr möglich sein als 5s Videos. Immer wenn ich darüber gehe endet es meist in nem error...
Hab auch schon versucht einzelne 5d Videos zusammenzufügen indem ich immer das letzte frame des vorhergehendes als startframe für das nächste genommen habe.
Aber das scheint eine ziemliche Fummelei zu sein und ohne Filmtricks wie Szenenwechsel, blickwinkel ändern, überblendungen oder kamera kurz abdecken schein ein nahtloser Übergang kaum möglich.

Hab mir mal das Dino video ausgeliehen. 😏
Hier sind zwei 5s teile zusammengefügt.

Das hier ist auch schon fast das maximum was bei mir läuft von der laufzeit an einem Stück. Die Fehler nehmen dann auch schon arg zu. Hier mit Wan 2.2 gemacht. Die fetteren Modelle laufen teilweise schon sehr viel eher in Out of Memory Error.

 

[Keuleman]

Ich habe das Video auf ner RTX 4070 gemacht ;-) Also 12 GB VRAM. Bei mir ein anderer VAE Decoder (siehe weiter hinten in diesem Threat).

 

[samuelclemens]

@Keuleman Könntest du mir die json mit dem Workflow mal zukommen lassen vom Dinovideo?
Irgendwas scheine ich ja falsch zu machen.

Edit:
Hmm.. ich glaub es könnte mit der pagefile.sys auf Laufwerk C zu tun haben. Ich hab sie dynamisch von der größe gemacht aber bei 46 gb geht mir der platz aus.
Das OS liegt auf ner 250 GB SSD und ich weiss beim besten willen nicht mehr wo ich noch platz dort freischaufeln kann.
Ich schau mal ob ich die pagefile.sys auf die zweite interne ssd umlagere die ich kürzlich eingebaut habe.

 

[chr1zZo]

@samuelclemens bei mir belegt Python da schon gute 22-30GB RAM aktuell. SSD ist nur zum Laden der Modelle bzw. Zwischenspeichern und natürlich für den Output. Was potentes ist da schon nicht verkehrt, hilft dir aber nicht beim Out of Memory Problem direkt. Umso mehr Szenen du hintereinander generierst, umso näher rückst du an dein Limit. Es gibt gute VAE für Lower VRAM GPUs, wie @Keuleman ihn hat. Aber ich feier deinen 2ten Clip wo der Transporter mit Dino zamrauscht

Ergänzung (Gestern um 20:41)

Was tatsächlich nicht verkehrt ist, ist das https://comfy.org/cloud/pricing 35$ Paket. Da bekommt man gut 1080p 5min hin auf Cloud Power mit einer RTX PRO 6000 und hat Zugriff auf sehr gute Modelle dank der Tokens. Wenn man regelmäßig Content macht und daraus auch was generiert an Einnahmen sind die 100$ natürlich Peanuts und da kann man schon richtung 30-60m gehen, je nachdem wie oft man Szenen neu macht.

 

[samuelclemens]

Allzuviel Zeit und vor allem Geld will ich da nicht reinbuttern (Hardware). Bis jetzt fällt mir ausser Spielereien kein einziger sinnvoller Usecase für diese KI Videoclips für mich ein.
Außer vielleicht für eigenbau Games um das ganze mit etwas Animation anzureichern.

Cloud hatte ich auch schon im Auge. Bietet sich für KI ja förmlich an. Problem ist aber auch das erstens erst einmal massig an Tests und Fehlversuchen notwendig sind bis man zu gewünschten Ergebnissen kommt. Und das geht dann extrem ins Geld.
Zweitens, vieles was man so ausprobiert möchte man aus gutem Grund nicht in eine Online Datenbank wissen.
Viel der Online KI speichern zb alles was generiert wird längerfristig. selbst wenn man den Account löscht und für Premium bezahlt hat.
Man müsste halt Hardware direkt anmieten um vollen Zugriff zu haben.

Ein kleiner Traum wäre aber zb sowas wie die berühmte Rede von Charlie Chaplin "Der große Diktator" in die heutige Zeit zu versetzten in voller länge! 😅
Also wenn das einer gut hinbekäme!

 

[chr1zZo]

@samuelclemens simple Games kannst du mit Godot Engine (2D/3D) bauen. (Idler, TowerDefense oder richtung Roblox ähnlich). Grafiken kann man mit ComfyUI Wunderbar erstellen die man dann Ingame nutzt. Wenn du ein AI Abo hast wie Claude, baut er die alles Ingame perfekt ein, auch die Logiken, Menu, UI/UX usw. Aber selbst Claude mit Roblox Studio funzt 1a.

Dann wäre sowas auch interessant: https://cloud.ionos.de/cloud-gpu-vm , dort bezahlt man pro Stunde.

 

[samuelclemens]

@chr1zZo Weis ich ja alles schon. Es ging mir aber um die Videos für Zwischensequenzen und so.
Ich verwende aber lieber GDevelop 5. Das hat inzwischen sogar einen richtigen 3D Editor. Allerdings nur teilweise mit Coding.
Liegt aber eh seit ner Weil auf Eis und anderes Thema. OT und so... 🙄

 

[Keuleman]

Anbei mein Text to Video Workflow.

 

[chr1zZo]

Hier mal ein Ghost in the Shell Edit mit Flux und LTX:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Ich geh jetzt mal an Wan 2.2 ran und probiere mich dort

 

[samuelclemens]

Anbei mein Text to Video Workflow.

Wo kann amn in dem Workflow genau die Videolänge eingeben?

 

[Keuleman]

Man gibt die Anzahl der Frames an. Anzahl der Frames durch FPS gleich Länge in Sekunden.

 

[samuelclemens]

Aber wo genau. Ich nahm an bei maxth length wo 240 stand also 24 FPS für 10 Sekunden. Scheint aber nicht der Fall zu sein da ich es zb mit 300 versucht habe und wieder nur 10s rauskamen.
Ich kenn mich mit den ganzen nodes kaum aus.
Ich kann aber Grad eh nicht an den PC um nachzusehen.

 

[Keuleman]

Siehe Beilage. Da sind jetzt 10 Sekunden drin.

 

[qualle]

Moin... ☕

Mal etwas ganz anderes.