Automatic1111 für Videos

[funkmasterflow]

Hallo zusammen,
ich habe mich dieses Wochenende mit der Bild-Generierung via automatic1111 beschäftigt. Also der Web-UI, die man lokal auf dem PC verwenden kann. Um da ein bisschen mehr rein zu kommen haben mir die Videos von https://www.youtube.com/@wossi86 sehr weitergeholfen. Ein paar Models von https://civitai.com/ heruntergeladen und los ging es.
Ich würde das ganze auch mal mit Videos versuchen wollen. Habt Ihr da Anlaufstellen, die ähnlich einfach zu bedienen/erweitern sind?

 

[CB_KeinNameFrei]

Die Extensions, die du brauchst, sind "sd-webui-animatediff" und "sd-webui-controlnet".

Sei dir aber bewusst, das es sowas wie "ich schreibe einen Prompt wie mein Video sein soll und dann macht die KI das" nicht gibt. Grundlegend hast du zwei Optionen:

- du kannst eine Art Bewegtbild erstellen, in dem AnimateDiff ein durch deinen Prompt erzeugtes Einzelbild nimmt, es in ControlNet steckt, das dann verwendet um eine leicht abgewandeltes nächstes Bild zu erstellen, dieses wieder in ControlNet steckt, undsoweiter. Erzeugt im Endeffekt ein zwei bis drei Sekunden langes GIF mit einer relativ zufälligen, langsamen Bewegung, die von dem Bewegungsmodell abhängt, das du installierst. Ziemlich begrenzt im Nutzen, aber auch mal nett zum mit Rumspielen.

- du kannst AnimateDiff/ControlNet ein existierendes Video füttern, und die KI malt dann deinen Prompt da drüber. Damit kannst du alles machen was du dir nur erträumen kannst... vorausgesetzt, du hast bereits ein Video davon, dass du zum Übermalen bereitstellen kannst. Du bist also hauptsächlich durch deine Fähigkeit limitiert, die Quellvideos zu finden, die das bieten, was du suchst.

 

[funkmasterflow]

Danke Dir, werde ich am Wochenende sicherlich mal ausprobieren.
Ich hätte meine Frage noch besser formulieren können. Bin mir darüber bewußt, dass ich nicht irgendwas in den Prompt schreiben kann und mir dann "aus dem Nichts" ein Video generiert wird.