[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[samuelclemens]

Das soll die letzten 5 frames Untersuchen und dann bei mismatch die Farben an den vorherigen anpassen.

Bisher hab ich den firstlastframe extractor genutzt um wirklich nur unkompliziert das letzte frame rauszuziehen.
Zusammengesetzt hab ich die clips dann extern.

Interessieren würde mich ob man nicht gleich die ganze letzte Sekunde oder so als Videoreferenz einbinden könnte!?
Ein entsprechenden eingang gat ja der minimax node.

Problematisch beim testen ist halt das Videoframes vergleichsweise ne miese Qualität haben und demensprechend als Referenzbild eher ungeeignet sind.
Da muss man schon von vorn herein in der bestmöglichen Qualität generieren lassen.
Die alternative ist halt von vorn herein start und endbild als referenz vorzugeben. Ist aber auch immer sehr kompliziert je nach szene.

 

[John Connor]

Der mit den Wölfen tanzt

Gemini Pro

 

[MechanimaL]

Bisher hab ich den firstlastframe extractor genutzt um wirklich nur unkompliziert das letzte frame rauszuziehen.
Zusammengesetzt hab ich die clips dann extern.

Interessieren würde mich ob man nicht gleich die ganze letzte Sekunde oder so als Videoreferenz einbinden könnte!?
Ein entsprechenden eingang gat ja der minimax node.

Die Methoden Videos zu Verlängern mit "Seamsless transition" wurden hier schon z.T. genannt bzw. workflows dazu verlinkt. Das löst nicht generell das Konsistenz Problem einer "Welt", aber auf jedenfall das, was Du als Probleme genannt hast (Übergänge/Cuts). Zum Thema "World Model":

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Ich mache selbst grade nichts mit Video, aber lese / sehe öfter Themen, die vielleicht noch nicht jeder mitbekommen hat bzgl. Minimax, also kurz ein paar Dinge der letzten Wochen:

Refmods:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Alternative H3 Modelle: PIKA (Singularity weiter unten)

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Nvidia Open H3 Upscaling:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Beides kombiniert:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

von Singularity ist kürzlich V2 erschienen:
https://www.youtube.com/watch?v=YsPVEOQ8kE0

 

[Keuleman]

@MechanimaL Mal an Dich die Frage: schnelle Kameraaktion, ohne "Streifen" und Fehler, welches Modell nehme ich denn da am Besten (nein, doof gefragt, welche H3 Variante ist da am besten)?

 

[MechanimaL]

https://huggingface.co/PrunaAI/P-H3-Image-Comfy

Bilderstellung und Bildeditierung auf Basis von H3.

Habe momentan keine praktischen Anwendungen, was genau probierst Du, mit welchem Ergebnis?

Wenn Du den reinen effekt eines anderen Models mal testen willst, probiere doch mal Singularity2 oder 1.3 + ActionLORA statt dem was du bisher hast. Gibt aber noch etliche andere Punkte, die sicher auf die Qualtiät insb. bei Bewegungen eine Auswirkung haben (sowie Steps/welche und ob Turbo Lora), welche Auflösung/en (2nd Sampler) usw. und es gibt spezielle Techniken gegen Bewegungs - "Probleme" in h3 wie "derope" und anderes. Hier ne Methode namens Motion Adapter:


Wenn du ein Beispiel schickst, kann man vll gemeinsam damit probieren.
Hier auch noch eine H3 Knowledgebase basierend auf den Chats im Banodoco Discord, da kann man Fragen zu H3 stellen (das ganze gibts auch zu anderen Modellen).

 

[RyzA]

Ich habe mal mit Chat GPT zwei ältere Zeichnungen von mir neu interpretieren lassen:

Im Originalbild waren die Perspektiven schon nicht korrekt. Aber interessant was die KI draus gemacht hat.

Hier hat die KI eine Schlange interpretiert. Aber es sollte eigentlich eine Art Rankenpflanze sein.

 

[AndreasF1975]

@RyzA
Sehr geil. Ja so etwas ähnliches mache ich mit einigen meiner Photos. Allerdings mit meiner Lokalen KI.