[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[Keuleman]

Spoiler: Retro KI Bild

auf einem Ivy Bridge Rechner, 16 GB RAM, NMKD Stable Diffusion, RealisticVision V6 mit Nature_SDXL Lora. Acutally, nicht schlecht!

 

[MuhSagtDieKuh]

Ryzen 9600X
Radeon 9070XT 16 GB
32 GB RAM
Laut der Beschreibung bei Flux 2 Dev FP8 werden 16 GB VRAM und wenigsten 64 GB System-RAM benötigt. Flux 2 selber ist 60 GB groß.

Flux 2 Klein 9B + Qwent 3 4B + AE habe ich mal kurz angeworfen:
Anhang anzeigen 1707677
ZRAM = so eine Art Auslagerungsdatei
Noch läuft es, aber ich erwarte, dass es mangels Speicher abstürzt. Bei der Performance ist das Ganze aber eh nicht praktikabel.

Was ist denn die Performance? Vom Speicher sollte das locker gehen und die Flux 2 klein 9b FP8 non-base sollte schnell sein…wobei ich keine Ahnung habe, wie AMD rocM vs CUDA performt…fp8 dürfte die Radeon nativ können.

Ich hab 96 GB System-RAM im Hintergrund, macht vieles entspannter…hatte vorher auch 32 GB und das 64 GB Upgrade hat nur knapp über 100 € gekostet 🫣

 

[Krik]

Flux9b sollte aber eigtl bei Dir laufen, es läuft auch bei nem Bekannten von mir mit 12GB Vram und 32GB Sysram.

Was ist denn die Performance? Vom Speicher sollte das locker gehen und die Flux 2 klein 9b FP8 non-base sollte schnell sein

Flux 9B läuft auch, aber die Kombination mit Qwent für die Prompt-Verabreitung und das extra VAE-Model dazu, weil beides nicht im Checkpoint-Modell enthalten ist, ist einfach zu viel.
Die Performance ist unterirdisch, weil er permanent die Daten zwischen VRAM, RAM und Auslagerungsdatei hin- und herschiebt.

Ich hab mich dann umgeschaut und dieses Flux-Modell mit integriertem CLIP-Verarbeiter und VAE gefunden. Damit experimentiere ich gerade. Das hier scheint die maximale Auslastung zu sein, wenn ich es zusammen einem 4x-Upscaler-Modell laufen lasse.

Es läuft immerhin durch, aber mit dem Ergebnis bin ich noch nicht zufrieden. Ich muss noch herausfinden, mit welchen Parametern ich die besten Ergebnisse erziele.

Spoiler

Flux 1 Compact - 512x512, Step 20, CFG 1.0, Euler
Upscaler - djz4XLandscapes_v1

An oil painting with delicate brush strokes. The subject is an Irish woman with long, bright red hair, pale skin, green eyes. She is happy and carefree. She is dressed in a translucent white smock dress. She is barefoot. The setting is a field of wildflowers. The flowers are almost as big as the woman. In the background is an ancient forest, and to the subject's left is a small pond. The woman is frolicking among the flowers. Bright, cheerful light, midday sunshine. Painting in a pre-Raphaelite artistic style, with visible sunbeams. The painting is old and slightly faded with age.

Generell bin ich mit allen Upscalern bis jetzt unzufrieden. Aber ohne sie dauert ein Bild locker 20 Minuten, mit ihnen 1 Minute. Hmph!

 

[MechanimaL]

Du bist unter Linux und benutzt einen aktuellen Build von comfy für linux, korrekt? Die Frage ist auch ob fp8 oder fp8 mixed für dich das ganze zusätzlich verlangsamen (wäre möglich). Musst Du mal selbst testen.

Hast du Z-Image Turbo schon probiert? 4-8 Steps, cfg1 bei guter Qualität. (workflow template in comfy.)

https://civitai.com/models/2168935/z-image-turbo (mal zuerst probieren)
https://civitai.com/models/2170391/z-image-turbo-fp8-kijai

 

[MuhSagtDieKuh]

Flux 9B läuft auch, aber die Kombination mit Qwent für die Prompt-Verabreitung und das extra VAE-Model dazu, weil beides nicht im Checkpoint-Modell enthalten ist, ist einfach zu viel.
Die Performance ist unterirdisch, weil er permanent die Daten zwischen VRAM, RAM und Auslagerungsdatei hin- und herschiebt.

Was für ein Tool benutzt du den für die Generierung? ComfyUI oder was anderes?

Ob Qwen und VAE separat geladen werden oder in einem Checkpoint stecken, ist für die Geschwindigkeit der Ausführung komplett irrelevant.

Der Flow ist immer

• Load Text-Encoder => Encode Prompts => Unload Text-Encoder
• Load Model => Run Generation => Unload Model
• Load VAE => Generate final image => Unload VAE

Es ist also nur immer ein Teil gleichzeitig im VRAM...wenn der System-RAM dann zum Limit wird, kann man auch Caching in ComfyUI deaktivieren...braucht dann etwas länger zum Laden.

 

[Novasun]

@All Mal ne Frage ich nutze AMUSE von AMD. Da kann man ja verschiedenste Modelle nutzen. Mit welchen habt Ihr schon Erfahrungen gesammelt?

Eine Schwäche bei den jetzigen Modellen bisher - das ich es nicht fertig bringe das weitere Objekte ins Bild generiert werden. Hat wer einen guten Einstieg fürs Prompting - vielleicht liegt es ja nur an mir - und meinem unzureichenden Wissen...

Ach und noch was - hat wer von euch schon sein eigenes Modell trainiert?