[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[samuelclemens]

@blubberbirne Versuch mal das voice clone plus Workflow. Das hat bei mir zunächst funktioniert bis ich was vertüddelt habe.
Ist aber deutlich umfangreicher und hat ne Menge Optionen.

Achja, ich seh auf dem Screenshot deines Links das in den Loadern überall "AuK\" vorangestellt ist. Bei mir in der portablen ComfyUI Version führt das immer zu Fehlern. Dateipfad und so... vielleicht ist es bei dir auch so eingestellt?🤔

 

[MechanimaL]

Der Ersteller hatte selbst dazugesagt, dass es "fiddely" war mit diesem Tool. Stimmen ändern, klonen, Texte sprechen lassen, oder auch Stimme des Sängers ändern, ist ja alles kein Problem: Da gibt viele Tools (TTS/RVC). Der Einsatzzweck einen Gesang textlich zu verändern, ohne dass sich die Melodie oder Stimme ändert, ist aber etwas speziell, da wüsste ich jetzt auf Anhieb keine Alternative. Eine Möglichkeit mit großem Spaßpotential für Projekte im Weird Al Jankovic oder "misheard lyrics" - Stil, wenn es mal reibungslos funktioniert ^^

 

[Keuleman]

Hat sich schon jemand "Yue2" angeschaut (ein neues Musik-Modell)? Ich habe gestern mal einen "Klonversuch" gestartet. Ergebnis war nicht schlecht... gelegentlich jage ich mal einen Schlager durch und gucke, wie "sparkly" der ist :-)

Nach dem Metal Projekt brauche ich nun was Seichtes :-D

 

[samuelclemens]

@Keuleman Ja, das Teil ist sehr einfach und bringt sehr gute Ergebnisse.

Bei einigen sehr markanten Stimmen gelingt jedoch das klonen nicht so ganz.
Zb wollte ich den Text von "Anti Country Song" ändern und ich hab die Stimme nie auch nur ansatzweise hinbekommen in zehn versuchen.
Dagegen "Ever seen the rain" von Crearwater für mein ungeübtes Gehör nahezu perfekt in meine Heimatsprache übersetzt. Sowas will ich schon fast nicht mehr unter "KI Musik" einordnen ... 🤔
Ich glaube das die Bandbreite der Stimmen sehr begrenzt ist.

Es gibt ja zwei Version des Modells in ComfyUI, eins mit referenzaudio und eins ohne.
Das ohne Referenz ist auch sehr stark wenn man sich etwas mühe mit dem Prompt gibt.
Ich hab mir zb von ChatGPT zu einer meiner Kurzgeschichten ein Song schreiben lassen sammt Prompt.
YuE2 hat sofort die perfekte Stimmung und Sound getroffen sammt richtiger Stimmlage.
Ich wünschte das würde mit Hörspielen und Hörbüchern genausogut klappen.

Ich werde weiter damit experimentieren. Jedoch fürchte ich das auch hier besondere, markante Stimmen ein Problem bleiben werden.
Oder ich versteh immer noch nicht ganz wie man solche Stimmen ganz gezielt promptet!? 🤔

Ich frage mich aber wie es mit dem Copyright aussieht wenn man eben keine direkte Referenz verwendet wie in meinem Test mit der Kurzgeschichte.
Irgendwoher muss die KI ja wesentliche Bestandteile von Melodie, Stimme usw ja herholen!

 

[Keuleman]

Ich find's super für meine "Sängerin", kann ich Schlager mit ihrer Stimme machen. Quasi voice-ID für Musik. Copyright auch kein Thema, das "Ursprungsmaterial" kommt bei mir eh immer komplett aus der KI.

 

[samuelclemens]

Doof finde ich nur das die KI bisher immer noch massiv schwierigkeiten mit Dialekten hat!

 

[MechanimaL]

Ich habe es bisher nur im Auge, Modelle auch schon mal runtergeladen, aber noch nichts damit gemacht- vielleicht am WE. Schön, dass es auch bei den Templates jetzt Workflows gibt. VR Game Dev Girl (bekannt von Loras, Musikvideo Nodes/Workflows und mehr) hat übrigens ein eigenes Projekt dafür angelegt, das bereits einen Trainer beinhaltet. Ich poste mal hier den Github und ihr neustes Erklärvideo (aus Discord) zu der aktuellen version:

https://github.com/vrgamegirl19/Yue2_Studio
https://streamable.com/mzah4u (Teil 1, 9:59 min)
https://streamable.com/zlydzz (Teil 2, 4:42 min)

Das sah auch noch interessant aus: https://github.com/pytraveler/YuE2-ComfyUI

 

[Keuleman]

Hm. H3 und Lip Sync heute Abend erfolglos probiert... Bei Musikvideos bleibt mir grad echt weiterhin LTX 2.3 erhalten :-)

EDIT: 2 Beispiele beigefügt.

 

[MechanimaL]

Das Lipsync scheint aber nicht das Problem zu sein, Du meinst, dass Dein Audio kaputt ist?

 

[Keuleman]

Hm, nein, ich bekomme nicht hin gepromptet, dass er das Referenzaudio "so nimmt, wie es ist", er nimmt es immer als Basis, sich selbst was auszudenken.

 

[MechanimaL]

Bin grad nicht sicher, ob das über Prompting geht, aber sicher ist, dass es nicht nötig ist, über Prompting zu machen, da es (wie auch schon vorher bei anderen Video-Modellen) Workflows gibt, wo das Audio zwar in der Berechnung drin ist, inkl. der Option nur die Stimme zu verwenden, damits noch besser klappt mit lipsync, aber zugleich am Ende nur das reine Original Audio im Video zu hören ist. Das ist für Musik-Videos ja Standard, dass man sein Audio nicht noch irgendwie verändert haben möchte.

 

[Keuleman]

An Mel-Band RoFormer auch schon gedacht... aber ich bin mir noch unsicher. Der LTX 2.3 Workflow steht und sieht super aus. Vielleicht 2-gleisig fahren, Lipsync Passagen mit LTX und den Rest auf H3.

Im aktuellen LTX Workflow schreibe ich nur was wie "lip-synced to the provided audio", da ist der nicht mal drin, der Mel-Band. Der nimmt das stumpf 1:1.

Ich habe gestern Abend auch noch mal geguckt, nur das Video genommen und mit dem Musik Snippet im KDEnlive "aneinander gelegt", ne, der hat sich wirklich immer komplett eigene Musik und Lippenbewegungen ausgedacht, war nicht aneinander zu legen.

EDIT: ach so, im Mai hatte ich arge Probleme mit Audio - Lip Sync bzw. dem Workflow mit Sprachsynthese, der da für LTX kam (das ID Lora Gedönzel). Das lag damals tatsächlich am Standard-Node, das hat "zu viel rein gefüttert"... habe dann ein custom node genommen, wo ich Startzeit und Länge bestimmen kann. 8 Sekunden ab Sekunde 4, meinetwegen, das hat damals dafür gesorgt, dass das dann geklappt hat.

 

[samuelclemens]

Schon versucht das Audio separat zu reparieren mit Yue2? Also den kompletten Songtext einzugeben korrekt formatiert?
Wenn es Lippensynchron sein soll muss man halt auch arg darauf achten nicht zu viel zu ändern.

Musikvideo ist halt wirklich noch eine Herausforderung. Besonders wenn es "live" sein soll!
Ich würde eher andersrum ran gehen und zuerst den Song als Audio perfektionieren und danach ein Video drumrum erzeugen.
Gibt es überhaupt schon solche Workflows und Modelle die das können?

Und immer dran denken, auch echte Musikvideos von früher sind nur seltenst wirklich live. Die unnatürlichkeit rührt schon daher das die meisten performances schon Physisch so nicht möglich sind wie zb auf der Bühne rumturnen und dabei kein einziger Ton verrutscht.

 

[Keuleman]

Achwas, Musikvideos kann er:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Dachte nur, ich gucke mal, ob ich das auch auf H3 bekomm :-D

EDIT: Oder hier ab 01:23... ich bin immer noch verliebt:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[MechanimaL]

hattest Du eigtl. die Musik korrekt (Syntax) referenziert, wie bei minimax vorgesehen? hatte grad mal ein 8sek Audio als Referenz mit einem BIld gegeben (minimax h3 easy) und das klappte auch ohne melband usw.. allerdings würde ich trotzdem schon rein aus Qualitätsgründen bei einem Musikvideo immer das Original-Audio nochmal einfügen lassen, das ist ja ohne weiteres möglich, wie man es aus den üblichen Musik-Video Workflows kennt.

(Kann aber auch an anderen Gründen liegen, wenn das Audio generell degradiert wird. kostet es auch das Referenz-Audio).

 

[blubberbirne]

Qwen image 2.1 ist raus

 

[Keuleman]

Ich hab eh immer das Lied als Main Audio. Der muss also gar nicht die Audioqualität halten, wichtig ist, dass es lippensynchron ist. Ist mir mit H3 einfach noch nicht geglückt, bei LTX war es nie ein Thema. Und jo, habe eigentlich immer die offiziellen Prompting Guides in die LLMs rein gelernt und auch selber gelesen... hm. Ich teste morgen noch mal ein bisschen: Habe in dem Beispiel oben 8 mal getestet, kein Ergebnis. 1x LTX Workflow - zack, fertig.

 

[samuelclemens]

Qwen image 2.1 ist raus

Kann es sein das der etwas schwer von Begriff ist!?
Ich habe mal schnell die beigefügten Workflows ausprobiert und gerade bei dem mit den Referenzbildern scheint der gern was durcheinanderzubringen bei mir! 🤔

 

[blubberbirne]

@samuelclemens Ich sage mal so. Qwen Edit 2511 läuft bei mir besser. Kann aber auch am TextEncoder liegen. Muss ich noch weiter testen.

 

[samuelclemens]

Bisher kommt für mein Graphic Novel Projekt keines an Krea2 heran. Jedoch immer noch massiv schwirigikeiten mit Editieren. Nachträglich was an den Sprechblasen und einzelnen Panelen zu ändern geht fast immer schief.
Ich fürchte ich komm da nicht weiter ohne mich mit komplexeren LoRas zu beschäftigen!