[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[MechanimaL]

Kannst ja einfach gegen-testen indem Du mal die gleiche Auflösung ohne LORA probierst, ob es damit zu tun hat. Aber klar, es gibt einen Sweetspot und danach fängts sukzessive mit Problemen an. Es lässt sich aber gut mit Upscaling arbeiten bei dem Modell sowohl pixel/latent als auch außerhalb des Modells mit Seedvr.

Ggf auch mal diesen Finetune probieren, die dort empfohlenen sampler/scheduler Kombi fand ich für das Turbo std. Modell auch nicht schlecht (ddim/beta57).

Coole Bilder, das ist diese Lora ?

 

[zidius]

Richtig, ich muss mehr testen
Die verfügbare Zeit ist da mein größter Feind.

Mit samplern habe ich auch schon etwas rumgespielt. ddim performt sehr gut, ähnlich wie euler. dpm 2 macht einen etwas reduzierteren Stil.
Die Kombi mit unterschiedlichen schedulern muss ich aber auch noch ausprobieren.

Coole Bilder, das ist diese Lora ?

Korrekt

Ergänzung (Samstag um 16:45)

Kämpfe beim LoRA gerade nur mit einem Problem, was den künstlichen "film grain" angeht.
Ein leichtes Rauschen gehört zu dem gewünschten Ergebnis und zImage Turbo hat das mit den Trainingsdaten super umgesetzt, bei Krea2 (Turbo) macht das aktuell leider Probleme.
Es ist momentan eher ein "Gematsche" als ein feines Rauschen.

 

[blubberbirne]

Krea-2 ist für mich das bisher beste kostenlose Bild Modell. Wie gut das ohne Loras auskommt ist schon extrem gut. Das prompt Verständnis ist sehr gut. Lora Training mit Ai Studio geht auch extrem gut und vor allem schnell.

Mal schauen was als nächstes kommt. Flux 3 eventuell?

 

[samuelclemens]

Bekommt es mit Krea2 jemand hin das sich in einem Portraitfoto in 8k oder höher der "Fotograf" in den Augen spiegelt. Also eine bestimmte Person mit Wiedererkennungswert wegen der Zielgenauigkeit.
Aber schon erstaunlich (und beängstigend 🙄 ) was inzwischen so geht, feinste Hauttexturen, Äderchen, unreinheiten usw... ich wette man könnte den Personen auf den Bildern sogar ganz bestimmte Fingerabdrücke von realen Personen verpassen wenn man das mit den Referenzbildern besser hinbekommt.

 

[MechanimaL]

Korrekt

Ergänzung (Samstag um 16:45)

Kämpfe beim LoRA gerade nur mit einem Problem, was den künstlichen "film grain" angeht.
Ein leichtes Rauschen gehört zu dem gewünschten Ergebnis und zImage Turbo hat das mit den Trainingsdaten super umgesetzt, bei Krea2 (Turbo) macht das aktuell leider Probleme.
Es ist momentan eher ein "Gematsche" als ein feines Rauschen.

Vielleicht findest Du ja noch eine Sampler/Scheduler Variante, bei der es passt. Hast Du mal Vergleichstabellen erstellt? Das erleichtert die Arbeit das beste zu finden. Ansonsten vielleicht auch ein Problem im Training für Krea2?

Edit: Hast Du eigtl mit Turbo oder Raw trainiert? Grade noch ein Video gesehen, in dem der Ersteller dargestellt hat, wie beim Training auf das Turbo Modell danach der Hintergrund matschig wurde und musste an Deinen Post denken. Im Video wurde darauf plädiert, Krea2-LORAs immer auf das RAW Modell zu trainieren.

 

[zidius]

Danke für die Infos.
Ich nutze das Training von der civitai Seite. Da gibt es aktuell nur das Raw Modell.

Erstaunlicherweise habe ich bei Krea2 das erste Mal keinen direkten Favoriten bei der Sampler-Scheduler Wahl.
Hier funktioniert (für mich mit meinem LoRA) mehreres auf unterschiedlicher Weise.
Interessant finde ich z.B. euler mit linear_quadratic und dann einen zweiten KSampler mit 0.06 denoise drüber mit euler simple zum "glätten".

Kann aber auch daran liegen, dass mein LoRA aktuell etwas overcooked ist.
Bin schon an einer neuen Version dran.

Testreihen habe ich auch ein paar erstellt. Glaube die größte Stellschraube ist bei mir aber das LoRA-Training / der Datensatz selbst.

 

[samuelclemens]

EDIT: Ich habe gesehen, vom AI Toolkit Ostris gibt es eine portable Installation? Verdammt, muss ich doch mal mein erstes Lora selber machen?

Welche genau meinst du?
Ich finde nur die hier und das sieht mir stark nach installation aus.
https://github.com/Tavris1/AI-Toolkit-Easy-Install

 

[blubberbirne]

Schonmal mit AI-Toolkit trainiert?

 

[MechanimaL]

Welche genau meinst du?
Ich finde nur die hier und das sieht mir stark nach installation aus.
https://github.com/Tavris1/AI-Toolkit-Easy-Install

Da bist Du schon richtig. Da es eine eigene Umgebung erstellt, die systemunabhgängig läuft, wird es als portable bezeichnet.

PS: Werde auch die nächsten Tage mal LORA Training für Krea2 damit probieren

 

[Keuleman]

Danke. Da warst Du schneller :-)

Anbei ein Snippet aus meinem immer noch laufenden Spaßprojekt. 20 Minuten geht es schon, Musik liegt schon parat, damit werden es gesichert schon mindestens 30 Minuten 🤘

 

[samuelclemens]

@MechanimaL Danke. Hab's inzwischen.
Ist es normal das dabei alles so Elends lange dauert? Bin schon an der Erstellung eines Datasets mit nur einem Bild gescheitert. Der Job lief ca 1h durch und war immer noch unter 10%. Jedoch die Hardware kaum ausgelastet.

 

[MechanimaL]

Versuche vielleicht entlang eines Tutorials zu arbeiten. Wenn Du genauer darstellst, wo es hängt, z.B. durch das posten von Logs oder Screenshots, kann Dir vielleicht jemand helfen, ich persönlich habe es allerdings noch nicht benutzt und kann somit noch keine Hilfe anbieten.

 

[D0m1n4t0r]

Fungamer vs Progamer

 

[blubberbirne]

@MechanimaL Danke. Hab's inzwischen.
Ist es normal das dabei alles so Elends lange dauert? Bin schon an der Erstellung eines Datasets mit nur einem Bild gescheitert. Der Job lief ca 1h durch und war immer noch unter 10%. Jedoch die Hardware kaum ausgelastet.

Nimm das diese Config. Die sollte mit 16GB funkionieren.

---
job: "extension"
config:
  name: "my_first_lora_v1_copy_copy_copy_copy_copy_copy_copy_copy_copy_copy"
  process:
    - type: "diffusion_trainer"
      training_folder: "R:\\pinokio\\api\\ai-toolkit.git\\output"
      sqlite_db_path: "./aitk_db.db"
      device: "cuda"
      trigger_word: "1gawker"
      performance_log_every: 10
      network:
        type: "lora"
        linear: 32
        linear_alpha: 32
        lokr_full_rank: true
        lokr_factor: -1
        network_kwargs:
          ignore_if_contains: []
      save:
        dtype: "bf16"
        save_every: 250
        max_step_saves_to_keep: 4
        save_format: "diffusers"
        push_to_hub: false
      datasets:
        - folder_path: "G:\\Training Datasets/Gawker_40_images"
          mask_path: null
          mask_min_value: 0.1
          default_caption: ""
          caption_ext: "txt"
          caption_dropout_rate: 0.05
          cache_latents_to_disk: false
          is_reg: false
          network_weight: 1
          resolution:
            - 512
          controls: []
          shrink_video_to_frames: true
          num_frames: 1
          flip_x: false
          flip_y: false
          num_repeats: 1
      train:
        batch_size: 1
        bypass_guidance_embedding: false
        steps: 2000
        gradient_accumulation: 1
        train_unet: true
        train_text_encoder: false
        gradient_checkpointing: true
        noise_scheduler: "flowmatch"
        optimizer: "automagic3"
        timestep_type: "sigmoid"
        content_or_style: "balanced"
        optimizer_params:
          weight_decay: 0.0001
        unload_text_encoder: true
        cache_text_embeddings: false
        lr: 0.0001
        ema_config:
          use_ema: false
          ema_decay: 0.99
        skip_first_sample: false
        force_first_sample: false
        disable_sampling: true
        dtype: "bf16"
        diff_output_preservation: false
        diff_output_preservation_multiplier: 1
        diff_output_preservation_class: "person"
        switch_boundary_every: 1
        loss_type: "mse"
      logging:
        log_every: 1
        use_ui_logger: true
      model:
        name_or_path: "krea/Krea-2-Raw"
        quantize: true
        qtype: "qfloat8"
        quantize_te: true
        qtype_te: "qfloat8"
        arch: "krea2"
        low_vram: true
        model_kwargs: {}
        compile: false
        layer_offloading: true
        layer_offloading_text_encoder_percent: 1
        layer_offloading_transformer_percent: 0.35000000000000003
      sample:
        sampler: "flowmatch"
        sample_every: 250
        width: 1024
        height: 1024
        samples:
          - prompt: "you shall not pass"
        neg: ""
        seed: 42
        walk_seed: true
        guidance_scale: 4
        sample_steps: 30
        num_frames: 1
        fps: 1
meta:
  name: "[name]"
  version: "1.0"

 

[samuelclemens]

@blubberbirne Danke, werd ich versuchen. Sobald ich rausgefunden habe wie man die einpflegt.
Hab mich bisher nur oberflächlich kurz mit der Oberfläche befasst.
Ich muss mir da erstmal ein paar Tutorials reinziehn!

Kann man für jedes Bild ein eigenes Triggerwort vergeben oder nur für die ganze LoRa an sich?

 

[blubberbirne]

Du kannst für jeses Bild ein Triggerword in der Caption einfügen. Das sollte man immer an Anfang einfügen. Da ich bisher aber immer nur eine Person trainiert habe, braucht man das eigentlich nicht, da das Triggerwort in der Trainingsconfig eingetragen wird.

 

[samuelclemens]

Kann es sein das Krea2 Turbo paar Probleme mit dem Textverständniss hat?
Es ist schon mehrmals vorgekommen dass zb statt 2 Personen 3 auftauchten. Gerne mal auch "Zwillige".
Und manchmal kommen komplett andere dinge raus als das Prompt vorgibt.
Besonders wenn der Prompt etwas detaillierter und komplizierter wird.
Ich verwende gerne Prompts die ich mit ultradetailliert von nem llm über ein Foto erstellen lasse.
Man traut sich fast gar nicht Krea2 unzensiert zu versuchen. 🙈

 

[Keuleman]

Zwillinge gibt's bei mir in Krea 2 immer mit Auflösung 4k. Bis 2k ist das Modell gedacht, habe ich gestern auf der Huggingface Seite (meine ich) gelesen. Und ja, bis da immer alles gut.