[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[chr1zZo]

@samuelclemens Ja und Nein. LTX kann das durchaus, da es beides Unterstützt. Aber ich finde T2I mit Flux und mit T2V/I2V in Kombi auf LTX/WAN dann Animieren. Flux für Video wäre Useless ^^

Ergänzung (11. Juni 2026)

Hier mal ein Zwischenstand zu WAN 2.2

Videogenerierung dauert durchaus länger. Hat aber Vorteile weil Bewegungen weitaus besser verlaufen als bei LTX. Wie @Keuleman immer schon sagte, LTX ist King bei ruhigen Videos, weil es eben auch echt Flott ist in der Generierung, und auch Gesichtszüge sehr gut hinbekommt. Aber WAN kann sogar Ballerei ganz gut. Kampfsituationen muss man extrem Nachbearbeiten um es perfekt hinzubekommen.

Da ich aber auch total auf Kampfszenen und Ballerei stehe, werde ich mal größere Modells via Cloudpower testen. Für Shorts/Reels und kurze/knackige Image bzw Werbevideos ist Flux/LTX und ChatGPT (gutes Image Modell) echt eine Solide Kombi.

 

[samuelclemens]

@Keuleman Wie kann man in dein Dinoworkflow ein Node für ein Startframe korrekt einbinden?
Ohne ist es kaum möglich mehrere Szenen mit Kontinuität zu erzeugen. Egal wie exakt das Prompt ist, es kommt immer was anderes raus.

Für das Audio bräuchte man auch noch ein Node mit dem man Stimmproben hunzufügen kann damit sprecher immer gleich klingen!

 

[Keuleman]

Jetzt bist Du an der schwierigen Stelle der KI gekommen. Da gehe ich folgenden Weg: Bild, Person oder Gegenstand oder... rein editieren, das dann als Startframe für LTX 2.3 image to video. Es gibt auch Workflows mit keyframes, ich habe bis heute keinen lauffähig bekommen leider. Sprache generiere ich separat, die nehme ich dann für LTX als audio to video Grundlage (bzw. noch genauer audio und image to video). So zum Beispiel bei Manuela ;-D Oder aber Du fängst an, eigene LORA zu trainieren für LTX, da bin ich selber (noch) raus.

 

[MechanimaL]

@samuelclemens

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Stimmprobe hinzufügen ist damit möglich. (unter dem Video ist alles verlinkt, inkl. wf mit i2v/t2v switch)

 

[Keuleman]

Jo, gibt ja sogar ein Standard-ID-Lora Template aber leider weniger als 40% brauchbare Ergebnisse bei mir.

 

[qualle]

Guten Morgen

so fühl ich mich heut...

 

[Keuleman]

Stress' Dich nicht!

 

[chr1zZo]

Da ich mich ja auch mit dem EU AI Act beschäftige der ja bald eine neue Version im Herbst bekommt und mich auch mit Voice Kloning usw. beschäftige stelle ich mir folgende Fragen:

- Ich sehe viele YT sowie Insta Kanäle die Deutsche Sync Stimmen von Hollywood Schauspielern nutzen, sowie deren Person (Gesicht), sagen wir Qui-Gonn (Liam Neeson) oder Chuck Norris. Ich vermute das sich früher oder später Kanzleien darauf stürzen werden (Die dies aktuell gerne bei Musik tun die Gewerbetreibene in den Reels genutzt haben, erst Recht wenn Personen damit A. Geld erwirtschaften B. das Gewerblich nutzen.

Jetzt schwirt noch viel Content rum und wir erfreuen uns daran. Aber ich vermute keiner von denen hat die Einwilligung der Personen bekommen für AI Voice Training oder deren Gesicht verwenden zu dürfen ^^

Klar könnte man es unter "Parodie" einordnen, dennoch eine harte Grauzone.

Ich vermute da wird es Zeitnah wieder viele erwischen die dann teuer blechen müssen. Wie seht ihr das?

 

[Keuleman]

Entspannt. Ein 10 Sekunden LTX Video generiert, in der eine Person spricht nach genauen Vorgaben. Das nutze ich dann als Vorlage für Stimmen.

 

[qualle]

Moin...



Die Kanne rechts dampft ein wenig, obwohl ein Deckel drauf ist...

Leider ist SD nicht immer physikalisch ganz korrekt bzw. realistisch, auch wenn man es vorher sagt.

 

[Keuleman]

Ich mag Ideogram sehr! Kommt leider grad bisschen sehr kurz bei mir wegen einem Filmprojekt.

 

[Tr8or]

Wenn man auf https://civitai.com/models nach "nude" oder "uncensored" sucht, kommt ein Warnhinweis:
Also nein, ich denke, das geht mittlerweile nicht mehr. Zumindest nicht direkt.

Porn/Nudes/Explicit sind jetzt unter https://civitai.red
Selber Login/Passwort

 

[qualle]

Moin. ☕

SD war bei mir wieder am Werkeln...

Prompts:

rainy landscape, curving wet asphalt road, roadside trees, low clouds, light fog, grey blue tones, overcast sky, cinematic wide shot, realistic reflections, ultra detailed puddles, grass

Negative:

people, animals, buildings, text, watermark, logo, cartoon, low resolution, blurry, artifacts, gore

Porn/Nudes/Explicit sind jetzt unter ...

Gut zu wissen, danke. Wo ist eigentlich der Unterschied zwischen SD und LoRa? Geht beides auf CPU?

 

[MechanimaL]

Newsflash:

Turbo Lora für Ideogram:
https://huggingface.co/ostris/ideogram_4_turbotime_lora

Neues Bild+Edit-Model:
https://huggingface.co/Boogu/Boogu-Image-0.1-Base
https://huggingface.co/Comfy-Org/Boogu-Image (Models für Comfy)

Stand jetzt noch nicht unterstützt, sollte aber sehr bald drin sein (innerhalb der nächsten Stunden schätze ich).

 

[chr1zZo]

Ich bastel derzeit mit Kling.ai und ElevenLabs. Ist schon Stark beides. Openart.ai finde ich auch klasse, weil man so ziemlich die meisten Modelle nutzen kann über ein Abo.

 

[MechanimaL]

Gut zu wissen, danke. Wo ist eigentlich der Unterschied zwischen SD und LoRa? Geht beides auf CPU?

Eine Lora lädst du zusätzlich zum Modell ist idR deutlich kleiner und ergänzt das Modellwissen sozusagen inhaltlich, z.B. um einen Gegenstand, eine Person, einen Stil usw. Wenn ein Modell auf Deiner CPU gut funktioniert, wird es mit einer zusätzlichen LORA wahrscheinlich auch gehen.

Was genau benutzt Du denn womit, aktuell?

 

[qualle]

Was genau benutzt Du denn womit, aktuell?

Zurzeit Stable Diffusion mit AUTOMATIC1111 (A1111) und webui.sh --skip-torch-cuda-test --use-cpu all --precision full --no-half auf einer 8-Core CPU, wobei ich gerade las, dass:

• ControlNet & LoRAs: Add custom model extensions for highly specific poses, character styles, or atomic style art.
• Tiling & High-Res Fix: Create seamless, tileable textures or upscale your images for high-definition rendering.

damit auch möglich sind.

Danke für die Erklärung. Also sind LoRAs so etwas wie VAEs (beides für SD)?

An ComfyUI (der "Goldstandard") hab ich mich auch mal heran gewagt, aber das war mir dann doch viel zu kompliziert noch...

 

[Keuleman]

Lora sind wie ein DLC zu einem Spiel... oder anders, vorher weiß das Modell, wie ein Mensch aussieht (und bestimmte Person meist "so ungefähr"), mit Lora ist dann genau das Wissen da ("wie sieht Person xy genau aus"). Wenn man zum Beispiel von einem Celebrity spricht und da ein Lora für ein Bildmodell nimmt.

 

[qualle]

Danke! Also bringen LoRas noch mehr Details ins Spiel, ohne dabei zu überinterpretieren/halluzinieren. Auch gut zu wissen.

 

[samuelclemens]

Wobei ich immer noch nicht dahintergestiegen bin wie man LoRa mit ComfyUI selbst trainieren kann!? 🤔
Und vor allem wieviel Material man dazu benötigt. Würden schon eine Handvoll Bilder reichen?