[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

Hab ich das mit dem Audio im MiniMax Workflow so richtig gemacht?
Leider kann man keine .json direkt anhängen!

Javascript:
{
  "id": "e3f2b845-8f2c-4b5a-9caf-eac1029d3e7e",
  "revision": 0,
  "last_node_id": 141,
  "last_link_id": 283,
  "nodes": [
    {
      "id": 92,
      "type": "SaveVideo",
      "pos": [
        1150,
        4880
      ],
      "size": [
        1210,
        126
      ],
      "flags": {},
      "order": 23,
      "mode": 0,
      "inputs": [
        {
          "name": "video",
          "type": "VIDEO",
          "link": 260
        }
      ],
      "outputs": [
        {
          "name": "video",
          "type": "VIDEO",
          "links": null
        }
      ],
      "properties": {
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "video/MiniMax_H3",
        "auto",
        "auto"
      ]
    },
    {
      "id": 115,
      "type": "ResolutionSelector",
      "pos": [
        -1480,
        5610
      ],
      "size": [
        270,
        170
      ],
      "flags": {},
      "order": 0,
      "mode": 0,
      "showAdvanced": false,
      "inputs": [],
      "outputs": [
        {
          "name": "width",
          "type": "INT",
          "links": [
            276
          ]
        },
        {
          "name": "height",
          "type": "INT",
          "links": [
            277
          ]
        }
      ],
      "title": "Resolution Selector (Size)",
      "properties": {
        "Node name for S&R": "ResolutionSelector",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "16:9 (Widescreen)",
        0.4,
        32
      ],
      "color": "#322",
      "bgcolor": "#533"
    },
    {
      "id": 116,
      "type": "MarkdownNote",
      "pos": [
        -2030,
        4850
      ],
      "size": [
        450,
        889.7000122070312
      ],
      "flags": {},
      "order": 1,
      "mode": 0,
      "inputs": [],
      "outputs": [],
      "title": "Note: MiniMax H3",
      "properties": {
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "## MiniMax H3\n\n[MiniMax H3](https://www.minimax.io/blog/minimax-h3) is MiniMax's general-purpose, omni-modal generation model. It jointly understands text, image, video, and audio, and generates video with **native stereo audio**: voice, sound effects, and music are modeled jointly in a single forward pass, not layered on afterward. Output is up to 2K resolution, 24fps, and up to about 15 seconds.\n\n## ComfyUI links\n- [ComfyUI#15224](https://github.com/Comfy-Org/ComfyUI/pull/15224)\n- [🤗 Comfy-Org/MiniMax-H3](https://huggingface.co/Comfy-Org/MiniMax-H3)\n\n## About this workflow\n\nThis template runs the **reference-to-video (ref2va)** task using the `MiniMaxH3ReferenceToVideo` node. It takes any mix of reference images, videos, and standalone audio, and weaves them into the generation to lock in a character's identity, a style, a motion, a camera move, or a voice.\n\n**Key inputs**\n\n- **ref_images / ref_videos / ref_video_audios / ref_audios**: up to 9 reference images, 3 reference videos (each may carry its own paired soundtrack), and 3 standalone reference audio clips\n- **prompt**: reference the inputs by tag, in the exact order they were connected, for example `<Picture 1>`, `<Video 1>`, `<Audio 1>`, then describe the target scene, motion, and audio\n- **ref_image_size**: `match` scales references down to the generation's resolution (faster); `max` keeps up to a 2048px short edge for stronger identity fidelity, at the cost of speed since reference tokens ride along every sampling step\n- **width / height**: set via Resolution Selector.\n- **duration (seconds)**: converted to a valid frame `length` by the Math Expression node\n\n**Sampling and decode**\n\n- Sampler: `res_multistep`. `beta` or `normal` scheduler tends to outperform `simple` for reference-heavy prompts like this one\n- The sampler's joint audio+video `LATENT` output feeds directly into both `VAEDecode` (video, `minimax_h3_video_vae_fp16`) and `VAEDecodeAudio` (audio, `minimax_h3_audio_vae_fp32`); each decode node automatically pulls its own half out of the packed latent. `CreateVideo` then muxes the two into a single MP4 with synced sound\n- The diffusion model here is `minimax_h3_ref2va_pruned_int8_convrot.safetensors`, a different set of weights from the `fl2va` model used by the t2v/i2v templates\n\nRef2va's output is very sensitive to prompt wording; matching the reference tags precisely and being explicit about which reference drives which part of the shot tends to work best."
      ],
      "color": "#222",
      "bgcolor": "#000"
    },
    {
      "id": 117,
      "type": "MarkdownNote",
      "pos": [
        -2500,
        4850
      ],
      "size": [
        440,
        740
      ],
      "flags": {},
      "order": 2,
      "mode": 0,
      "inputs": [],
      "outputs": [],
      "title": "Note: Model Links",
      "properties": {
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "## Model Links\n[🤗 Comfy-Org/MiniMax-H3](https://huggingface.co/Comfy-Org/MiniMax-H3)\n\n**vae**\n\n- [minimax_h3_video_vae_fp16.safetensors](https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/vae/minimax_h3_video_vae_fp16.safetensors)\n- [minimax_h3_audio_vae_fp32.safetensors](https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/vae/minimax_h3_audio_vae_fp32.safetensors)\n\n**diffusion_models**\n\n- [minimax_h3_ref2va_pruned_int8_convrot.safetensors](https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/diffusion_models/minimax_h3_ref2va_pruned_int8_convrot.safetensors)\n\n**text_encoders**\n\n- [qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors](https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/text_encoders/qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors)\n\n\n## Model Storage Location\n\n```\n📂 ComfyUI/\n├── 📂 models/\n│   ├── 📂 vae/\n│   │   ├── minimax_h3_video_vae_fp16.safetensors\n│   │   └── minimax_h3_audio_vae_fp32.safetensors\n│   ├── 📂 diffusion_models/\n│   │   └── minimax_h3_ref2va_pruned_int8_convrot.safetensors\n│   └── 📂 text_encoders/\n│       └── qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors\n```\n\n## Report Issue\n\nNote: Please update ComfyUI first ([guide](https://docs.comfy.org/installation/update_comfyui)) and prepare required models. Desktop/Cloud updates follow stable releases, so some nightly-supported models may not be available yet.\n\n- Cannot run / runtime errors: [ComfyUI/issues](https://github.com/comfyanonymous/ComfyUI/issues)\n- UI / frontend issues: [ComfyUI_frontend/issues](https://github.com/Comfy-Org/ComfyUI_frontend/issues)\n- Workflow issues: [workflow_templates/issues](https://github.com/Comfy-Org/workflow_templates/issues)\n"
      ],
      "color": "#222",
      "bgcolor": "#000"
    },
    {
      "id": 119,
      "type": "VAELoader",
      "pos": [
        -1490,
        5270
      ],
      "size": [
        640,
        70
      ],
      "flags": {},
      "order": 3,
      "mode": 0,
      "inputs": [],
      "outputs": [
        {
          "name": "VAE",
          "type": "VAE",
          "links": [
            251,
            273
          ]
        }
      ],
      "properties": {
        "Node name for S&R": "VAELoader",
        "models": [
          {
            "name": "minimax_h3_video_vae_fp16.safetensors",
            "url": "https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/vae/minimax_h3_video_vae_fp16.safetensors",
            "directory": "vae"
          }
        ],
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "minimax_h3_video_vae_fp16.safetensors"
      ]
    },
    {
      "id": 120,
      "type": "VAELoader",
      "pos": [
        -1490,
        5400
      ],
      "size": [
        650,
        70
      ],
      "flags": {},
      "order": 4,
      "mode": 0,
      "inputs": [],
      "outputs": [
        {
          "name": "VAE",
          "type": "VAE",
          "links": [
            250,
            274
          ]
        }
      ],
      "properties": {
        "Node name for S&R": "VAELoader",
        "models": [
          {
            "name": "minimax_h3_audio_vae_fp32.safetensors",
            "url": "https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/vae/minimax_h3_audio_vae_fp32.safetensors",
            "directory": "vae"
          }
        ],
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "minimax_h3_audio_vae_fp32.safetensors"
      ]
    },
    {
      "id": 121,
      "type": "VAEDecodeAudio",
      "pos": [
        480,
        5180
      ],
      "size": [
        230,
        60
      ],
      "flags": {
        "collapsed": false
      },
      "order": 21,
      "mode": 0,
      "inputs": [
        {
          "name": "samples",
          "type": "LATENT",
          "link": 281
        },
        {
          "name": "vae",
          "type": "VAE",
          "link": 250
        }
      ],
      "outputs": [
        {
          "name": "AUDIO",
          "type": "AUDIO",
          "links": [
            259
          ]
        }
      ],
      "properties": {
        "Node name for S&R": "VAEDecodeAudio",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": []
    },
    {
      "id": 122,
      "type": "VAEDecode",
      "pos": [
        480,
        5060
      ],
      "size": [
        230,
        60
      ],
      "flags": {
        "collapsed": false
      },
      "order": 20,
      "mode": 0,
      "inputs": [
        {
          "name": "samples",
          "type": "LATENT",
          "link": 280
        },
        {
          "name": "vae",
          "type": "VAE",
          "link": 251
        }
      ],
      "outputs": [
        {
          "name": "IMAGE",
          "type": "IMAGE",
          "links": [
            258
          ]
        }
      ],
      "properties": {
        "Node name for S&R": "VAEDecode",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": []
    },
    {
      "id": 123,
      "type": "KSamplerSelect",
      "pos": [
        -260,
        5190
      ],
      "size": [
        370,
        70
      ],
      "flags": {},
      "order": 5,
      "mode": 0,
      "inputs": [],
      "outputs": [
        {
          "name": "SAMPLER",
          "type": "SAMPLER",
          "links": [
            255
          ]
        }
      ],
      "properties": {
        "Node name for S&R": "KSamplerSelect",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "res_multistep"
      ]
    },
    {
      "id": 124,
      "type": "BasicScheduler",
      "pos": [
        -260,
        5310
      ],
      "size": [
        370,
        130
      ],
      "flags": {},
      "order": 15,
      "mode": 0,
      "inputs": [
        {
          "name": "model",
          "type": "MODEL",
          "link": 252
        }
      ],
      "outputs": [
        {
          "name": "SIGMAS",
          "type": "SIGMAS",
          "links": [
            256
          ]
        }
      ],
      "properties": {
        "Node name for S&R": "BasicScheduler",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "simple",
        20,
        1
      ]
    },
    {
      "id": 125,
      "type": "SamplerCustomAdvanced",
      "pos": [
        150,
        5110
      ],
      "size": [
        230,
        140
      ],
      "flags": {},
      "order": 19,
      "mode": 0,
      "inputs": [
        {
          "name": "noise",
          "type": "NOISE",
          "link": 253
        },
        {
          "name": "guider",
          "type": "GUIDER",
          "link": 254
        },
        {
          "name": "sampler",
          "type": "SAMPLER",
          "link": 255
        },
        {
          "name": "sigmas",
          "type": "SIGMAS",
          "link": 256
        },
        {
          "name": "latent_image",
          "type": "LATENT",
          "link": 271
        }
      ],
      "outputs": [
        {
          "name": "output",
          "type": "LATENT",
          "links": [
            280,
            281
          ]
        },
        {
          "name": "denoised_output",
          "type": "LATENT",
          "links": []
        }
      ],
      "properties": {
        "Node name for S&R": "SamplerCustomAdvanced",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": []
    },
    {
      "id": 126,
      "type": "BasicGuider",
      "pos": [
        -260,
        5080
      ],
      "size": [
        360,
        60
      ],
      "flags": {},
      "order": 18,
      "mode": 0,
      "inputs": [
        {
          "name": "model",
          "type": "MODEL",
          "link": 257
        },
        {
          "name": "conditioning",
          "type": "CONDITIONING",
          "link": 270
        }
      ],
      "outputs": [
        {
          "name": "GUIDER",
          "type": "GUIDER",
          "links": [
            254
          ]
        }
      ],
      "properties": {
        "Node name for S&R": "BasicGuider",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": []
    },
    {
      "id": 127,
      "type": "UNETLoader",
      "pos": [
        -1490,
        4940
      ],
      "size": [
        640,
        90
      ],
      "flags": {},
      "order": 6,
      "mode": 0,
      "inputs": [],
      "outputs": [
        {
          "name": "MODEL",
          "type": "MODEL",
          "links": [
            252,
            257
          ]
        }
      ],
      "properties": {
        "Node name for S&R": "UNETLoader",
        "models": [
          {
            "name": "minimax_h3_ref2va_pruned_int8_convrot.safetensors",
            "url": "https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/diffusion_models/minimax_h3_ref2va_pruned_int8_convrot.safetensors",
            "directory": "diffusion_models"
          }
        ],
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "minimax_h3_ref2va_pruned_int8_convrot.safetensors",
        "default"
      ]
    },
    {
      "id": 128,
      "type": "CLIPLoader",
      "pos": [
        -1490,
        5090
      ],
      "size": [
        640,
        120
      ],
      "flags": {},
      "order": 7,
      "mode": 0,
      "inputs": [],
      "outputs": [
        {
          "name": "CLIP",
          "type": "CLIP",
          "links": [
            272
          ]
        }
      ],
      "properties": {
        "Node name for S&R": "CLIPLoader",
        "models": [
          {
            "name": "qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors",
            "url": "https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/text_encoders/qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors",
            "directory": "text_encoders"
          }
        ],
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors",
        "minimax",
        "default"
      ]
    },
    {
      "id": 129,
      "type": "RandomNoise",
      "pos": [
        -260,
        4940
      ],
      "size": [
        360,
        90
      ],
      "flags": {},
      "order": 8,
      "mode": 0,
      "inputs": [],
      "outputs": [
        {
          "name": "NOISE",
          "type": "NOISE",
          "links": [
            253
          ]
        }
      ],
      "properties": {
        "Node name for S&R": "RandomNoise",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        157368968253448,
        "randomize"
      ]
    },
    {
      "id": 130,
      "type": "CreateVideo",
      "pos": [
        790,
        5090
      ],
      "size": [
        270,
        110
      ],
      "flags": {},
      "order": 22,
      "mode": 0,
      "inputs": [
        {
          "name": "images",
          "type": "IMAGE",
          "link": 258
        },
        {
          "name": "audio",
          "shape": 7,
          "type": "AUDIO",
          "link": 259
        }
      ],
      "outputs": [
        {
          "name": "VIDEO",
          "type": "VIDEO",
          "links": [
            260
          ]
        }
      ],
      "properties": {
        "Node name for S&R": "CreateVideo",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        24,
        8
      ]
    },
    {
      "id": 131,
      "type": "ComfyMathExpression",
      "pos": [
        -1450,
        5940
      ],
      "size": [
        225,
        0
      ],
      "flags": {
        "collapsed": true
      },
      "order": 16,
      "mode": 0,
      "inputs": [
        {
          "label": "a",
          "name": "values.a",
          "type": "FLOAT,INT,BOOLEAN",
          "link": 261
        },
        {
          "label": "b",
          "name": "values.b",
          "shape": 7,
          "type": "FLOAT,INT,BOOLEAN",
          "link": null
        }
      ],
      "outputs": [
        {
          "name": "FLOAT",
          "type": "FLOAT",
          "links": []
        },
        {
          "name": "INT",
          "type": "INT",
          "links": [
            275
          ]
        },
        {
          "name": "BOOL",
          "type": "BOOLEAN",
          "links": []
        }
      ],
      "properties": {
        "Node name for S&R": "ComfyMathExpression",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "max(5, round(a * 24)) + (5 - (max(5, round(a * 24)) % 17)) % 17"
      ]
    },
    {
      "id": 132,
      "type": "PrimitiveFloat",
      "pos": [
        -1480,
        5830
      ],
      "size": [
        270,
        70
      ],
      "flags": {},
      "order": 9,
      "mode": 0,
      "inputs": [],
      "outputs": [
        {
          "name": "FLOAT",
          "type": "FLOAT",
          "links": [
            261
          ]
        }
      ],
      "title": "Float (Duration)",
      "properties": {
        "Node name for S&R": "PrimitiveFloat",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        5
      ],
      "color": "#322",
      "bgcolor": "#533"
    },
    {
      "id": 136,
      "type": "MiniMaxH3ReferenceToVideo",
      "pos": [
        -750,
        4940
      ],
      "size": [
        410,
        530
      ],
      "flags": {},
      "order": 17,
      "mode": 0,
      "inputs": [
        {
          "name": "clip",
          "type": "CLIP",
          "link": 272
        },
        {
          "name": "vae",
          "type": "VAE",
          "link": 273
        },
        {
          "name": "audio_vae",
          "type": "VAE",
          "link": 274
        },
        {
          "label": "ref_image_0",
          "name": "ref_images.ref_image_0",
          "shape": 7,
          "type": "IMAGE",
          "link": 278
        },
        {
          "label": "ref_image_1",
          "name": "ref_images.ref_image_1",
          "shape": 7,
          "type": "IMAGE",
          "link": 282
        },
        {
          "label": "ref_image_2",
          "name": "ref_images.ref_image_2",
          "shape": 7,
          "type": "IMAGE",
          "link": null
        },
        {
          "label": "ref_video_0",
          "name": "ref_videos.ref_video_0",
          "shape": 7,
          "type": "IMAGE",
          "link": null
        },
        {
          "label": "ref_video_audio_0",
          "name": "ref_video_audios.ref_video_audio_0",
          "shape": 7,
          "type": "AUDIO",
          "link": null
        },
        {
          "label": "ref_audio_0",
          "name": "ref_audios.ref_audio_0",
          "shape": 7,
          "type": "AUDIO",
          "link": 283
        },
        {
          "label": "ref_audio_1",
          "name": "ref_audios.ref_audio_1",
          "shape": 7,
          "type": "AUDIO",
          "link": null
        },
        {
          "name": "prompt",
          "type": "STRING",
          "widget": {
            "name": "prompt"
          },
          "link": 279
        },
        {
          "name": "width",
          "type": "INT",
          "widget": {
            "name": "width"
          },
          "link": 276
        },
        {
          "name": "height",
          "type": "INT",
          "widget": {
            "name": "height"
          },
          "link": 277
        },
        {
          "name": "length",
          "type": "INT",
          "widget": {
            "name": "length"
          },
          "link": 275
        }
      ],
      "outputs": [
        {
          "name": "positive",
          "type": "CONDITIONING",
          "links": [
            270
          ]
        },
        {
          "name": "LATENT",
          "type": "LATENT",
          "links": [
            271
          ]
        }
      ],
      "properties": {
        "Node name for S&R": "MiniMaxH3ReferenceToVideo",
        "ue_properties": {
          "widget_ue_connectable": {
            "prompt": true,
            "width": true,
            "height": true,
            "length": true
          },
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "",
        1344,
        768,
        124,
        "match"
      ]
    },
    {
      "id": 137,
      "type": "LoadImage",
      "pos": [
        -930,
        5630
      ],
      "size": [
        290,
        350
      ],
      "flags": {},
      "order": 10,
      "mode": 0,
      "inputs": [],
      "outputs": [
        {
          "name": "IMAGE",
          "type": "IMAGE",
          "links": [
            278
          ]
        },
        {
          "name": "MASK",
          "type": "MASK",
          "links": null
        }
      ],
      "properties": {
        "Node name for S&R": "LoadImage",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "red_superboy_on_city_roof.png",
        "image"
      ]
    },
    {
      "id": 138,
      "type": "PrimitiveStringMultiline",
      "pos": [
        -1480,
        6000
      ],
      "size": [
        370,
        390
      ],
      "flags": {},
      "order": 11,
      "mode": 0,
      "inputs": [],
      "outputs": [
        {
          "name": "STRING",
          "type": "STRING",
          "links": [
            279
          ]
        }
      ],
      "title": "Input Text (Prompt)",
      "properties": {
        "Node name for S&R": "PrimitiveStringMultiline",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "Bold comic-book ink style, heavy linework, red and blue-black palette, night city. Use <Picture 2> and <Picture 1> as reference frames and <Audio 1> exactly as it is.\nCUT 1: top-down view of the little boy superhero on the rooftop — red cape fluttering in the wind, hands planted on his hips, freckles and a cocky grin as he looks straight up into the camera. The camera slowly descends toward him as he delivers his line — as he speaks, comic-book graphic overlay text word by word in sync with his voice: \"GET READY TO\" - \"MEET\" — \"YOUR\" — \"MAKER\" — huge jagged comic lettering, white with heavy black outlines and red drop shadows, tilted at scrappy angles, until the three words hang stacked in the air above him between his face and the lens.\nTRANSITION: a violent WHIP PAN off the rooftop that SMEARS the floating words away with it, motion-streaked —\nCUT 2: low hero angle on the colossal black mech-kaiju towering over the skyline as it rears back and unleashes a GIANT terrifying ROAR — jaws wide with fangs, red eyes and chest-core flaring blinding bright, blue lightning arcing off its head, the roar's shockwave rippling dust and rattling windows down the buildings, comic-style speed-lines and ink splatter bursting from the impact of the sound. It leans INTO the camera as the roar peaks. Hold on the roar."
      ],
      "color": "#322",
      "bgcolor": "#533"
    },
    {
      "id": 139,
      "type": "LoadImage",
      "pos": [
        -580,
        5630
      ],
      "size": [
        290,
        350
      ],
      "flags": {},
      "order": 12,
      "mode": 0,
      "inputs": [],
      "outputs": [
        {
          "name": "IMAGE",
          "type": "IMAGE",
          "links": [
            282
          ]
        },
        {
          "name": "MASK",
          "type": "MASK",
          "links": null
        }
      ],
      "properties": {
        "Node name for S&R": "LoadImage",
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "mecha_dragon_lightning.png",
        "image"
      ]
    },
    {
      "id": 140,
      "type": "MarkdownNote",
      "pos": [
        -1890,
        5830
      ],
      "size": [
        300,
        520
      ],
      "flags": {},
      "order": 13,
      "mode": 0,
      "inputs": [],
      "outputs": [],
      "title": "Note: Size Settings Reference",
      "properties": {
        "ue_properties": {
          "widget_ue_connectable": {},
          "version": "7.8",
          "input_ue_unconnectable": {}
        }
      },
      "widgets_values": [
        "| megapixels | Aspect | Output (multiple=32) |\n|---|---|---|\n| 0.2 | 16:9 | 608 x 352 |\n| 0.3 | 16:9 | 736 x 416 |\n| 0.4 | 16:9 | 864 x 480 |\n| 0.5 | 16:9 | 960 x 544 |\n| 0.6 | 16:9 | 1056 x 608 |\n| 0.7 | 16:9 | 1152 x 640 |\n| 0.8 | 16:9 | 1216 x 672 |\n| 0.9 | 16:9 | 1280 x 736 |\n| 0.98 | 16:9 | 1344 x 768 |\n| 1.0 | 16:9 | 1376 x 768 |\n| 1.2 | 16:9 | 1504 x 832 |\n| 1.5 | 16:9 | 1664 x 928 |\n| 1.8 | 16:9 | 1824 x 1024 |\n| 2.0 | 16:9 | 1920 x 1088 |\n"
      ],
      "color": "#222",
      "bgcolor": "#000"
    },
    {
      "id": 141,
      "type": "LoadAudio",
      "pos": [
        -177.5315515465909,
        5684.612502188962
      ],
      "size": [
        282.8333435058594,
        136
      ],
      "flags": {},
      "order": 14,
      "mode": 0,
      "inputs": [],
      "outputs": [
        {
          "name": "AUDIO",
          "type": "AUDIO",
          "links": [
            283
          ]
        }
      ],
      "properties": {
        "ue_properties": {
          "widget_ue_connectable": {},
          "input_ue_unconnectable": {}
        },
        "Node name for S&R": "LoadAudio"
      },
      "widgets_values": [
        "BV_DEUTSCH - MALE - Egger - Bernd - Synchron - Paramount Pictures Terminator 6 - Dark Fate als Arnold Schwarzenegger.mp3",
        null,
        ""
      ]
    }
  ],
  "links": [
    [
      250,
      120,
      0,
      121,
      1,
      "VAE"
    ],
    [
      251,
      119,
      0,
      122,
      1,
      "VAE"
    ],
    [
      252,
      127,
      0,
      124,
      0,
      "MODEL"
    ],
    [
      253,
      129,
      0,
      125,
      0,
      "NOISE"
    ],
    [
      254,
      126,
      0,
      125,
      1,
      "GUIDER"
    ],
    [
      255,
      123,
      0,
      125,
      2,
      "SAMPLER"
    ],
    [
      256,
      124,
      0,
      125,
      3,
      "SIGMAS"
    ],
    [
      257,
      127,
      0,
      126,
      0,
      "MODEL"
    ],
    [
      258,
      122,
      0,
      130,
      0,
      "IMAGE"
    ],
    [
      259,
      121,
      0,
      130,
      1,
      "AUDIO"
    ],
    [
      260,
      130,
      0,
      92,
      0,
      "VIDEO"
    ],
    [
      261,
      132,
      0,
      131,
      0,
      "FLOAT"
    ],
    [
      270,
      136,
      0,
      126,
      1,
      "CONDITIONING"
    ],
    [
      271,
      136,
      1,
      125,
      4,
      "LATENT"
    ],
    [
      272,
      128,
      0,
      136,
      0,
      "CLIP"
    ],
    [
      273,
      119,
      0,
      136,
      1,
      "VAE"
    ],
    [
      274,
      120,
      0,
      136,
      2,
      "VAE"
    ],
    [
      275,
      131,
      1,
      136,
      13,
      "INT"
    ],
    [
      276,
      115,
      0,
      136,
      11,
      "INT"
    ],
    [
      277,
      115,
      1,
      136,
      12,
      "INT"
    ],
    [
      278,
      137,
      0,
      136,
      3,
      "IMAGE"
    ],
    [
      279,
      138,
      0,
      136,
      10,
      "STRING"
    ],
    [
      280,
      125,
      0,
      122,
      0,
      "LATENT"
    ],
    [
      281,
      125,
      0,
      121,
      0,
      "LATENT"
    ],
    [
      282,
      139,
      0,
      136,
      4,
      "IMAGE"
    ],
    [
      283,
      141,
      0,
      136,
      8,
      "AUDIO"
    ]
  ],
  "groups": [
    {
      "id": 1,
      "title": "Models",
      "bounding": [
        -1520,
        4840,
        700,
        670
      ],
      "color": "#3f789e",
      "flags": {}
    },
    {
      "id": 2,
      "title": "Sampling",
      "bounding": [
        -280,
        4840,
        690,
        670
      ],
      "color": "#3f789e",
      "flags": {}
    },
    {
      "id": 3,
      "title": "Conditioning",
      "bounding": [
        -790,
        4840,
        480,
        670
      ],
      "color": "#3f789e",
      "flags": {}
    },
    {
      "id": 4,
      "title": "Decoding and create video",
      "bounding": [
        440,
        4840,
        670,
        670
      ],
      "color": "#3f789e",
      "flags": {}
    },
    {
      "id": 5,
      "title": "User Inputs",
      "bounding": [
        -1520,
        5540,
        1930,
        900
      ],
      "color": "#3f789e",
      "flags": {}
    }
  ],
  "config": {},
  "extra": {
    "ds": {
      "scale": 0.6957878432459027,
      "offset": [
        1475.3459399563392,
        -4811.633441712382
      ]
    },
    "frontendVersion": "1.47.12",
    "VHS_latentpreview": false,
    "VHS_latentpreviewrate": 0,
    "VHS_MetadataImage": true,
    "VHS_KeepIntermediate": true,
    "ue_links": []
  },
  "version": 0.4
}
 
@samuelclemens Dein Reference Audio muss nach ref_audio.ref_audio_0

Ansonsten einfach mit niedriger Auflösung durchlaufen lassen und prüfen.
 
  • Gefällt mir
Reaktionen: samuelclemens
Ostris AI-Toolkit
Wollte nun die zweite LoRa versuchen mit den gleichen Einstellungen wie die erste nur mit 100 statt 15 Bildern.
Aber immer dieselbe Fehlermeldung.
Was einer was da los ist?

401 Client Error. (Request ID: Root=1-6a742246-63945b47322bd37b49056e3b;71e18220-801a-463a-8b2b-781862903090)Cannot access gated repo for url https://huggingface.co/krea/Krea-2-Raw/resolve/main/raw.safetensors.Access to model krea/Krea-2-Raw is restricted. You must have access to it and be authenticated to access it. Please log in.​


Ist das Modell jetzt nicht mehr frei zugänglich oder wie?
Ich hatte es ja runtergeladen, deshalb verstehe ich nicht wieso man sich plötzlich einloggen sollte!?
Blöderweise hab ich den huggingface cache beim versuch den error zu lösen gelöscht nach der Fehlermeldung. Deshalb ist das runter geladene Krea2 raw Modell nun auch weg. 🤔

Giibt es eigentlich einen weg ein LoRa Modellübergreifend zu trainieren?
 
Zuletzt bearbeitet:
Du bist bei Hugging Face nicht angemeldet.

Fehlermeldung von Comfyui oder anderen KI Tools kann man immer gut mit ChatGPT füttern.
Claude ist auch ganz gut. Damit habe ich sogar schon Workflows gebaut.

Die Fehlermeldung bedeutet, dass nicht der Download fehlschlägt, sondern dass Hugging Face den Zugriff verweigert (HTTP 401 Unauthorized).


Der entscheidende Teil ist:


Cannot access gated repo

Access to model krea/Krea-2-Raw is restricted. You must have access to it and be authenticated.

Das bedeutet, dass mindestens einer der folgenden Punkte zutrifft:


  1. ❌ Du bist nicht bei Hugging Face angemeldet.
  2. ❌ Dein Hugging Face Token wurde nicht hinterlegt.
  3. ❌ Du hast die Lizenz des Modells noch nicht akzeptiert.
  4. ❌ Dein Token besitzt keine Leseberechtigung.

Lösung​


1. Zugriff auf das Modell beantragen​


Öffne die Modellseite:


https://huggingface.co/krea/Krea-2-Raw


Falls dort ein Button wie


Request Access
oder
Agree and access repository

erscheint, musst du ihn anklicken.




2. Prüfen, ob du angemeldet bist​


Im Browser auf Hugging Face einloggen.




3. Token erzeugen​


Unter


Settings → Access Tokens


einen neuen Token erzeugen.


Rechte:


  • ✅ Read



4. Token lokal hinterlegen​


Falls du huggingface_hub nutzt:



huggingface-cli login


oder




hf auth login


Dann den Token einfügen.


Alternativ:




export HF_TOKEN=hf_xxxxxxxxx


unter Windows:




setx HF_TOKEN "hf_xxxxxxxxx"


Terminal anschließend neu starten.




5. Test​




huggingface-cli whoami


oder




hf auth whoami


Wenn dein Benutzername erscheint, funktioniert die Anmeldung.




Falls ComfyUI den Download übernimmt​


Viele Custom Nodes laden Modelle automatisch herunter.


Dann muss ComfyUI ebenfalls Zugriff auf den Token haben.


Je nach Node funktioniert das über:


  • HF_TOKEN Umgebungsvariable
  • huggingface-cli login
  • eine .env-Datei
  • eine Konfigurationsdatei des jeweiligen Nodes



Ich kann dir gezielt helfen​


Schreib mir bitte:


  • Welcher Node oder Installer versucht das Modell herunterzuladen? (ComfyUI-Manager, ComfyUI-KREA, Pinokio, Forge, SwarmUI usw.)
  • Oder poste die komplette Fehlermeldung bzw. das Log.

Dann kann ich dir genau sagen, an welcher Stelle der Token hinterlegt werden muss.
 
@blubberbirne Genau das ist doch der Punkt. Vorher ging es auch ohne das ich ComfyUI/Ai-Toolkit mit meinem huggingface account fest verdrahte.

Das war übrigens die komplette Fehlermeldung und das Ostris AI-Toolkit hab ich ja schon am anfang erwähnt.

​

Es scheint aber auch ungated mirrors für das Modell zu geben (Krea2 Turbo Raw). Nur kein plan wie man genau an die herankommt und einbaut.
Der Witz an einem lokalen Modell ist doch der das man den ganzen Account mist umgeht.
Schon allein der Umstand das es diesmal nicht funktioniert sagt mir das im Hintergrund, obwohl schon runtergeladen, trotzdem jedes mal erneut online Daten abgefragt werden. 🤔
 
Zuletzt bearbeitet:
Hat schon mal jemand Wan2GP mit H3 Minimax FL2VA Pruned 20B ausprobiert und etwas Brauchbares rausbekommen? Wan2GP ist ja für Low (V)RAM-PCs gedacht. Ich muss aber leider feststellen, dass die Qualität extrem schlecht ist (kaum identifizierbare Gesichter vor allem, verwischtes Bild insgesamt, Tonqualität ist gut, die Szenerie wird auch treffend wiedergegeben).
 
samuelclemens schrieb:
Leider kann man keine .json direkt anhängen!
Einfach in ein .zip packen ;)
samuelclemens schrieb:
@blubberbirne Genau das ist doch der Punkt. Vorher ging es auch ohne das ich ComfyUI/Ai-Toolkit mit meinem huggingface account fest verdrahte.

Das war übrigens die komplette Fehlermeldung und das Ostris AI-Toolkit hab ich ja schon am anfang erwähnt.

​

Es scheint aber auch ungated mirrors für das Modell zu geben (Krea2 Turbo Raw). Nur kein plan wie man genau an die herankommt und einbaut.
Der Witz an einem lokalen Modell ist doch der das man den ganzen Account mist umgeht.
Schon allein der Umstand das es diesmal nicht funktioniert sagt mir das im Hintergrund, obwohl schon runtergeladen, trotzdem jedes mal erneut online Daten abgefragt werden. 🤔
Das Model wurde zwischenzeitlich evtl "gegated". Aber Zugriff erhalten ist eine einmalige Aktion. Normalerweise, wenn Du davor schon was gemacht hast, würde ich eigtl. annehmen, dass das nur eine automatische Anzeige im Toolkit ist und das Modell im Cache weiterverwendet wird, außer der wurde mittlerweile gelöscht. Standardmäßig ist der Cache im C:\Users\...\ .cache\huggingface Verzeichnis oder mit set HF in CMD-Fenster mal anzeigen lassen, was eingestellt ist. Diese Bestätigung von HF ist harmlos und dient lediglich der rechtlichen Absicherung der Modell-Anbieter.
 
Zuletzt bearbeitet:
MechanimaL schrieb:
Einfach in ein .zip packen
Aus Rücksicht an die eher unbedarften Menschen die solche gezippten anhänge einfach so gedankenlos öffnen habe ich mich für den gefahrloseren weg entschieden. ;)
Das hat man uns damals schon im EDV Unterricht so eingeimpft. Naja, die Zeiten ändern sich!

Das mit huggingface und dem Accesstoken hab ich halt so gelöst wie ChatGPT empfohlen hat. Mal sehen ob die freischaltung wirklich nur temporär am anfang benötigt wird.

Dennoch bin etwas unzufrieden. Die bearbeitungszeit ist wieder extrem hoch dabei hab ich die Anzahl der Bilder nur um 10 erhöht und die exakt gleichen Einstellungen benutzt.
Nur das Modell krea 2 Raw musste halt neu runter geladen werden.

Mit dem flux 2 klein 4b war es hingegen ordentlich schnell. Aber in der qualität unzureichend.

MiniMax H3 hängt sich einfach auf. Keine lust mich jetzt damit auseinderzusetzen.

Nicht durcheinanderbringen. Alles in diesem Post bezieht sich auf Ostris AI-Toolkit.
 
Joa, das H3 kann schon was. Ich denke, das wird mir im Heavy Metal Projekt (hoffentlich) bei einer Szene helfen, bei der LTX leider struggelt. Ich werde aber tatsächlich LTX nicht komplett in Rente schicken, es ist wesentlich schneller und für das Meiste reicht es bzw. habe ich gute Workflows für mich gefunden / gemacht.

Anbei mal ein H3 Video, was ich heute zum Testen gemacht habe.
 

Anhänge

  • MiniMax_H3_00005_.mp4
    2 MB
  • Gefällt mir
Reaktionen: WoisthierdasKlo
H3 hilft auf jeden Fall, habe vor dem Urlaub hart an einer Szene fest gesessen (war mit LTX so nicht machbar einfach). Jetzt mit H3 weiter gekommen. Für komplexen Kram, wo LTX einfach nicht weiter weiß definitiv top Modell. LTX aber wesentlich schneller und... ich habe in H3 noch nicht mehr als 15 Sekunden gemacht (soll ja offiziell maximale Länge sein) - hat schon wer getestet?
 
Eine generelle Frage zu Video KI Workflows.
Ist es prinzipiell möglich ganze längere Videos häppchenweise zu verarbeiten um das Hardwarelimit zu umgehen?
Also wenn man zb von nem Film/Serienfolge ne Synchro mit Originalstimmen umzusetzen wollte?
Oder auch eigene generierte, zusammengestückelte Videos weiter zu verarbeiten.
Oder ein komplexes Video zuerst mit niedriger auflösung zu generieren und später upscalen. Aber eben immer unter der prämisse das Video intern aufzuteilen und stückweise zu verarbeiten.
 
Junge junge, seit zwei Tagen versuche ich einen Worklow mit Speed Loras ans laufen zu bekommen und ärgere mich dass das Audio nicht korrekt übernommen wird. Und was war es am Ende. Ein einziges Wort das fehlt. Und zwar "exact" :D

In diesem Sinne, achtet auf den korrektn Prompt bei Minimax :daumen:
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Keuleman
Ich wollte grad LTX anwerfen (brauche ein "schnelles Video Snippet")- Nodes mögen nicht. Scheint grad ein bekanntes LTX Problem zu sein... mal den Standard VAE Decoder (Tiled) wieder raus geholt. Vielleicht kommt ja bald ein neues LTX und auf dem Weg dahin haben die was kurzfristig zerschossen.... (träume ein bisschen).

Jedenfalls, @samuelclemens : Kann man bestimmt "verketten" aber ich bin ein Fan von "händisch anpacken" und werfe das in KDENlive (Schnittprogramm gratis). Das Heavy Metal Projekt hat inzwischen 9 Audio- und Videospuren... so wird es richtig "custom" und wie ich es haben will :-D
 
@Keuleman Man muss dann aber schon mit einem extrem komplexen "händischen" Workflow arbeiten. Das kann man mal für ein kleines Testprojekt machen.
Versuch aber mal eine Serie mit 10 einstündigen Folgen zu synchronisieren.
Wobei man das Ergebniss dann auch nur rein privat verwenden könnte.🤔

Meine Traumprojekte wären Cliffhanger auflösungen von einigen Serien die mich schon immer getriggert haben.🤩

Edith: @Keuleman Ich schick dir dann die Drehbücher und du machst den Rest, OK?
 
Zuletzt bearbeitet:
WoisthierdasKlo schrieb:
Wegen den OOM-Fehlern
Mal probiert Windows eine feste(!) Auslagerungsdatei zu geben? Kann ruhig 100Gb sein.
 
Ich probiere jetzt gerade mal 30 Sekunden H3. Soll ja 15 Sekunden maximale Länge können... Ich lasse mich mal überraschen. Dauert ne geschmeidige Stunde insgesamt laut Comfy.

Edit: ja, hat geklappt. RTX 4070 Ti (12 GB VRAM) und 64 GB DDR4. Sehr schick geworden! Und ich habe es erst mit LTX probiert, das ist aber mega-weird geworden da, das Ergebnis ;-D
 
Zuletzt bearbeitet:
H3 wird ab 15 Sekunden instabil. Alles danach ist "Glück". Kann klappen, muss es aber nicht.
 
Zurück
Oben