[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[Meta.Morph]

@MechanimaL

Zunächst: Das ist verdammt Beeindruckend! Jeder, der von KI Slop pauschal faselt, sollte das mal nachmachen!
Aber: Für meine Ohren ist das nichts. Ich hör da oft nur Sound der Plechern ist oder die Unterschiede in den Tönen sind zu krass und wahllos.

Das ist noch der Unterschied. Für den Konsum reicht KI aus. Wer Kunst will, muss zu einem Menschen gehen.

 

[Tr8or]

Meine Nemesis: aus den erzeugten Liedern ein Video machen. Nemesis #2: aus generierten Stimmen ein Video generieren, wo eine Person mit Mundbewegung spricht :-D

Evtl kann man als Input ein mp3 anhängen, vielleicht geht das.
Zumindest den anderen Weg hat jemand bei reddit schon berichtet, AniGif geladen dass dann mit Sprache versehen wurde. Nebenbei ein lustiger Thread, es war, wie kann man es anders erwarten, ein Porno AniGif

Ansonsten werde ich mir die Gesangs-/Musikerstellung 100%ig mal angucken. Finde ich megainteressant, ob man eigene Gitarrensounds einpflegen kann?

 

[Keuleman]

Workflow von ihr gefunden. Uff.... ja, not bad. Wird mit meinem Setup nix :-D Aber ja, krass, was sie da auf die Beine gestellt hat!

 

[MechanimaL]

https://huggingface.co/Alissonerdx/BFS-Best-Face-Swap-Video

Das gabs bereits als LORA für Bild-Editoren, jetzt auch für LTX2. Beispiele sehen gut aus.

Ergänzung (Mittwoch um 21:04)

Ansonsten werde ich mir die Gesangs-/Musikerstellung 100%ig mal angucken. Finde ich megainteressant, ob man eigene Gitarrensounds einpflegen kann?

ALso LORA für bestimmten Stil/Sound hat es schonmal und es ist auch eine Funktion zur Erstellung solcher dabei (zumindest bei der gradio-interface version), das werde ich safe noch testen. Von Deiner Lieblingsband, die es nicht mehr gibt, oder die ihren alten Stil nicht mehr spielt, einfach mal versuchen was neues erschaffen zu lassen ^^ Ob man auch eigene Sounds (Input) geben kann, weiß ich noch nicht, aber gehe davon aus, dass es - sofern es jetzt noch nicht gehen sollte - bestimmt in Zukunft geht, das können ja andere (online) Generatoren auch schon länger. Edit: getestet hab ichs zwar noch nicht, aber im Interface ist Audio Reference und Input als Upload und es gibt neben text2music auch cover+inpaint als option, sollte also gehen mit dem Gitarren-Input

 

[blubberbirne]

Hat sich schon jemand ACE Step 1.5 angeschaut?
Das ist soooooooooooooooo gut

 

[Keuleman]

@blubberbirne Es ist mega und ich habe einem unserer Verkäufer schon eine 3 Minuten Hymne geschrieben. Und die Tochter hat jetzt 2 Weck-Musikstücke :-D

 

[blubberbirne]

Ich bin so froh das ich mein Suno Abo pausiert habe

 

[Keuleman]

Unglaublich... das Lied für den Verkäufer heute morgen im Auto laufen gehabt. Gute Laune, Konsistent und für lau. Und eigener Text... mega. Der Oberhammer.

 

[MechanimaL]

Ein User (Urabewe) trainiert grade eine Lora. Sie ist grade bei 700Epochs gewesen, als er das Teil hier erstellt hat. Hat einen richtig geilen Trip-Hop Vibe, wenn jemand was mit der Musikrichtung an sich anfangen kann Ja es ist teilweise übersteuert, das hat aber auch einen gewissen Charme, der Bass flowt sehr gut, die Vocals sind eingängig haben Dynamik und schöne Nuancen und auch die Instrumente ("Bläser" und ähnliches) mit den Fades passen gut. Einzig die Scratches klingen irgendwie whack, aber das ist nur ein kleiner Kritikpunkt, der den Gesamteindruck nicht schmälert. Darauf hätte ich sicher auch in meiner "Jugend" hart gechilled

 

[MechanimaL]

Noch ein Alternatives Interface für Ace-Step: https://github.com/fspecii/ace-step-ui und ein Video dazu.

 

[Meta.Morph]

Bin hart im RAM Cap... in einer normalen Welt würde ich tatsächlich einfach in den Laden gehen und von 32 auf 64 GB aufrüsten. Aber irgendwie hat man uns selbst diese Verheißung - alles im Überfluss zu haben - weggenommen...

Soll heißen, ich glaub ich lass das mal mit Video Erstellung auf meinem Rechner.

Darüber hinaus Funktionieren die Pormpts bei mir nicht so richtig. Entweder mach ich grob was falsch oder es liegt tatsächlich an den abgespeckten Modellen, die ich verwenden muss (Q4 oder Q5) oder es ist tatsächlich eher Glück: dem richtigen Bild und dem richtigen Prompt. Ich bin diesem Guide gefolgt, hab nur ein anderes Bild verwendet:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Hab ähnliche Prompts verwendet. Gleicher Aufbau. Das Modell macht was es will. Ein Charakter soll aufstehen, er bleibt sitzen usw.

Dann dauert die Erstellung weniger Sekunden auch so ewig lang. Kein Ding, wenn die Pormpts halbwegs zuverlässig funktionieren würden. Aber so kann man echt nicht arbeiten, wenn man erst noch ausprobieren muss.

 

[Tr8or]

Bin hart im RAM Cap... in einer normalen Welt würde ich tatsächlich einfach in den Laden gehen und von 32 auf 64 GB aufrüsten.

Ja, ich habe mich die Tage schon mehrmals geärgert letztes Jahr nur 32GB und nicht direkt 64 (für 115€) oder 128 (~230€) gekauft zu haben.

Aber seitdem ich eine permanente Auslagerungsdatei mit 128GB auf C: und ComfyUI auf E: liegen habe, geht es zumindest ohne Abstürze und ein Stück flüssiger.

 

[Meta.Morph]

Ja, ich habe mich die Tage schon mehrmals geärgert letztes Jahr nur 32GB und nicht direkt 64 (für 115€) oder 128 (~230€) gekauft zu haben.

Genau so geht es mir. Frei nach dem Motto kaufe niemals auf Vorrat.

---

Muss doch mal schauen, was ich mit LTX so machen lässt.
Hab gerade etwas generiert, hat fast 18 Min, gebraucht:

Nicht ganz was ich wollte und das Audio ist Quark aber wenigstens hab ich das Gefühl, mit einem verbesserten Prompt da noch etwas machen zu können.

Ich kann den Anspruch, Audio und Video in einem rutsch generieren zu können, nicht 100% nachvollziehen. Gut, vielleicht schadet es nicht, wenn die Charaktere sprechen, wenn sie sollen. Dann kann man das Video noch nach synchronisieren usw.

Kann es sein, das es sogar einfacher ist, gleich alles generieren zu lassen?

 

[Keuleman]

RAM rettet... alles. Ohne die 64 GB wäre bei mir mit LTX2 auch völlig Essig. Selbst die Kiste mit 128 GB hab ich schon mal ausgereizt. Dafür hab ich nur max. 16 GB VRAM daheim.

Und ja, Audio und Video zusammen in LTX2 geht definitiv super einfach, zu einem Wave oder MP3 ein Video machen... das ist der tricky spot.

EDIT: Tochter heute morgen im Bett: "woher kennt die Sängerin Erzieherin XYZ?" :-P

 

[Meta.Morph]

RAM rettet... alles. Ohne die 64 GB wäre bei mir mit LTX2 auch völlig Essig.

Danke fürs neidisch machen 👍

Aber mit WanGP scheint man einen anderen Weg gefunden zu haben, RAM und VRAM zu managen. Keine Ahnung, wie die das gemacht haben. In ComfyUI bekomm ich das Full Model nicht ans laufen.

Muss noch das Distilled Model testen. Hab versehentlich die Dev Variante geladen 😣

 

[Keuleman]

Ich bin immer so "maximal kaufen". Hatte im i9-13900T erst 64 GB. Dann kamen die Module mit je 64 GB, dann direkt auf 128 GB gegangen (Mini ITX Rechner bei mir, daher "nur" 2 RAM Slots). Die 64 GB sind dann in einen i9-12900T Rechner geflossen :-D Rechnerpark daheim.. vielleicht mal SwarmUI angucken...

 

[Meta.Morph]

Wer hat, der kann.

Je nach dem, was man macht, sind 64GB auch heute noch dezent übertrieben. Fürs Gaming reichen 32 GB völlig.

 

[Keuleman]

Keine Ahnung, ja, habe ich aber immer schon so getrieben. Älterer Rechner mit i7-4770S hat auch 32 GB RAM... RAMDisk ist immer praktisch gewesen. Obwohl die Möhre halt alt ist gehen dank RAM und RTX 2060 sogar leichte KI Sachen problemlos.

 

[Meta.Morph]

Tochter heute morgen im Bett: "woher kennt die Sängerin Erzieherin XYZ?" :-P

Süß 😁

---

Ich weiß ja nicht. Gerade hist du natürlich Glück aber ich bin lange Zeit mit 8, 16 und jetzt 32 sehr gut gefahren. Das wegen privater KI Projekte mehr RAM nett wären, hat sich auch erst im letzten Jahr so ein wenig abgezeichnet, war da zu geizig -> "später". Wäre ja auch kein Problem, würden diese Firmen nicht dieses ganz miese Spiel abziehen...

 

[Keuleman]

Ja, auf jeden Fall Glück gehabt. War bisher immer Luxus aber jetzt brauche ich es tatsächlich mal. Und der RAM war halt echt günstig, hatte einen 16er DDR 4 rumliegen, noch einen 16er für kleine Euro dazu gekauft und mit nem billigen H610er Board und nem rumliegenden i5-12500T plus rumliegender RTX 4060 einen Rechner aufgebaut, weil ich doch so gerne schraube und es halt eh nix dafür gegeben hätte... das Ding ist inzwischen im Wert gestiegen... wirklich hart, was bei den Preisen abgeht.

Aber gut, genug OT, heute Projekt: Sichern des ComfyUI. 1,2 TB inzwischen, die Portable Installation :-O Natürlich monatlich die generierten Sachen weg gesichert, also pur Comfy, Workflows und Modelle...