[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

MechanimaL schrieb:
Welche Auflösungen und Framerates habt ihr getestet für die Huhn Szene? Weiß aber nicht, obs was nützt, müsste es mal testen (ggf auch mehr steps/turbo aus):)
Bei den bisherigen hab ich 20 Steps benutzt im bekannten Minimax Easy Workflow.

Der neueste Versuch 00001 hat 30 Steps.
Es sieht etwas besser aus. Allerdings scheint das Huhn immer noch etwas zu gleiten.
Hat mit 34,3m auch fast doppelt so lang gedauert für 7s.

Vielleicht kann man ja noch was am Prompt feilen wegen den gleitenden Huhn!
Die 10s hab ich drin gelassen weil das Projekt ursprünglich auf 10s ausgelegt war/ist. Aber bei den tests und den immer höheren werten will ich nicht jedes mal ne stunde warten.
Create a ~10-second ultra-realistic vertical smartphone video (9:16) that looks like a completely accidental, spontaneous TikTok recording, not staged or cinematic.

The scene takes place in a small, slightly run-down Southern European or Mediterranean coastal town. A narrow street is lined with a mixture of weathered apartment buildings, faded storefronts, peeling paint, old balconies, cracked sidewalks, and slightly shabby local shops. Despite the decay, the location feels strangely picturesque and authentic. In the distance, between buildings, there is a subtle glimpse of the coast and the sea.

It is early evening / blue hour, with warm remaining daylight—dark enough to feel like evening, but still bright enough for a smartphone camera to capture everything naturally.

Two ordinary men suddenly chase a chicken down the mostly empty street. The chicken runs unpredictably, causing the men to stumble, laugh, and change direction. There are only a few cars passing occasionally. Several pedestrians notice the chaos and are visibly amused. One or two people in the background casually pull out their phones and start filming.

The camera operator appears to have noticed the situation unexpectedly and quickly starts recording. Use natural handheld smartphone movement, imperfect framing, slight camera shake, autofocus adjustments, motion blur, occasional exposure changes, and realistic phone-camera image processing. The action should feel chaotic, funny, unscripted, and genuinely captured by chance.

Audio: lively, upbeat Latin American street music playing naturally over the video, combined with authentic ambient sounds: distant voices, laughter, footsteps, the men shouting and laughing, the chicken clucking, and subtle evening street noise.

Style: hyper-realistic, authentic viral TikTok footage, raw smartphone video, documentary-like spontaneity, imperfect composition, believable human behavior, no cinematic camera moves, no polished commercial look, no artificial staging.

Duration: approximately 10 seconds.

Edit:
Beim zweiten Video 0002 hab ich das Prompt etwas abgepasst und folgendes hinzugefügt:
Pay special attention to the natural movement patterns of the chicken and the pursuers as they run. Don't let them glide!
Hat aber anscheinend auch nicht viel geholfen!😕


Meine nächste Videoidee wäre ein Tutorial fürs Keyboard für das Stück "When the Saints Go Marching In" laut ChatGP ein recht komplexes unterfangen wo ich auch noch eine midi zur unterstützung einpflegen muss. Ich glaub nicht dass das so einfach klappt. Vielleicht sollte ich eher andersrum rangehen und ein Vorhandenes Tutorial ändern?
Wobei das Problem mit der Videolänge noch nichtmal in die überlegung eingeflossen ist. Man muss mit lokaler KI das Video mindestens alle 10s, besser 5s aufteilen. 🤔
Das kann nur in die Hose gehen wenn ich das so probiere (natürlich dann auf Englisch):

Videotutorial: „When the Saints Go Marching In“ auf dem Keyboard​

Erstelle ein hochwertiges, realistisch wirkendes und didaktisch sehr klares Videotutorial für Anfänger zum Spielen von „When the Saints Go Marching In“ auf einem elektronischen Keyboard/Piano.

Grundanforderungen​

Das Video soll eine klassische „Follow-along Piano Tutorial“-Darstellung verwenden.

Bildaufteilung​

Der Bildschirm ist horizontal in zwei klar getrennte Bereiche geteilt:

Obere Hälfte: Notendarstellung

  • Zeige ein gut lesbares Notensystem im Violinschlüssel.
  • Das Stück steht in C-Dur und im 2/4-Takt.
  • Zeige die Melodie als echte Notenschrift.
  • Über bzw. direkt unter jeder Note steht zusätzlich der entsprechende Buchstabe:
    • C
    • D
    • E
    • F
    • G
  • Unter der aktuell zu spielenden Note erscheint ein deutlich sichtbarer Punkt bzw. Marker.
  • Der Marker bewegt sich exakt synchron mit der Musik von Note zu Note.
  • Die aktuell gespielte Note darf zusätzlich leicht hervorgehoben werden.
  • Bereits gespielte Noten bleiben sichtbar.
  • Noch kommende Noten bleiben normal sichtbar.
  • Die Notendarstellung darf niemals eine andere Tonfolge anzeigen als die tatsächlich gespielte Melodie.
Untere Hälfte: Keyboard und Hände

  • Zeige ein realistisches elektronisches Keyboard/Piano.
  • Die Hände eines Spielers sind sichtbar.
  • Für diese Anfänger-Version wird ausschließlich die rechte Hand für die Melodie verwendet.
  • Die rechte Hand befindet sich in einer natürlichen Position rund um das mittlere C.
  • Vor jedem Ton soll klar erkennbar sein, welche Taste als Nächstes gedrückt wird.
  • Beim Anschlagen einer Taste soll diese Taste kurz optisch hervorgehoben werden.
  • Der Finger soll tatsächlich die korrekte Taste berühren.
  • Es darf niemals eine andere Taste gedrückt werden als die im Notensystem angezeigte Note.

Wichtigste Anforderung: perfekte Synchronisation​

Die drei Elemente müssen exakt synchron sein:

  1. beweglicher Punkt unter der aktuellen Note
  2. tatsächlich gedrückte Keyboard-Taste
  3. erklingender Ton
Wenn beispielsweise die Note E angezeigt und markiert wird, muss gleichzeitig die E-Taste gedrückt werden und ausschließlich der Ton E erklingen.

Keine falschen Töne.
Keine vertauschten Noten.
Keine zusätzlichen Noten.
Keine improvisierten Verzierungen.
Keine Akkorde in der rechten Hand.
Keine zufälligen Bewegungen der Finger.

Tonhöhe​

Verwende folgende konkrete Oktavlage:

  • C4 = mittleres C
  • D4
  • E4
  • F4
  • G4
Alle Melodietöne werden in dieser Lage gespielt.

Tempo​

Verwende:

Tempo: 120 BPM

Taktart: 2/4


Die Melodie beginnt mit einer kurzen Achtelpause, bevor der erste Ton C4 erklingt.

Die Audiospur muss exakt mit diesem Timing übereinstimmen.

Exakte Tonfolge und Timing​

Verwende exakt folgende Notenabfolge.

Die Zeitangaben beziehen sich auf den Beginn des Videos bzw. den Beginn der musikalischen Sequenz.

Nr.​
Zeit​
NoteTonhöhe
Dauer​
1​
00:00.50​
CC4
0,25 s​
2​
00:00.75​
EE4
0,25 s​
3​
00:01.00​
FF4
0,25 s​
4​
00:01.25​
GG4
1,00 s​
5​
00:02.25​
CC4
0,25 s​
6​
00:02.50​
EE4
0,25 s​
7​
00:02.75​
FF4
0,25 s​
8​
00:03.00​
GG4
1,00 s​
9​
00:04.00​
CC4
0,25 s​
10​
00:04.25​
EE4
0,25 s​
11​
00:04.50​
FF4
0,25 s​
12​
00:04.75​
GG4
0,50 s​
13​
00:05.25​
EE4
0,50 s​
14​
00:05.75​
CC4
0,50 s​
15​
00:06.25​
EE4
0,50 s​
16​
00:06.75​
DD4
1,00 s​
17​
00:07.75​
EE4
0,50 s​
18​
00:08.25​
EE4
0,50 s​
19​
00:08.75​
DD4
0,50 s​
20​
00:09.25​
CC4
1,00 s​
21​
00:10.25​
EE4
0,50 s​
22​
00:10.75​
GG4
0,50 s​
23​
00:11.25​
GG4
0,50 s​
24​
00:11.75​
FF4
0,75 s​
25​
00:12.50​
EE4
0,25 s​
26​
00:12.75​
FF4
0,25 s​
27​
00:13.00​
GG4
0,50 s​
28​
00:13.50​
EE4
0,50 s​
29​
00:14.00​
CC4
0,50 s​
30​
00:14.50​
DD4
0,50 s​
31​
00:15.00​
CC4
1,00 s​

Darstellung der Noten​

Die Noten sollen rhythmisch korrekt dargestellt werden:

  • kurze C-, E- und F-Noten entsprechend ihrer tatsächlichen Achtel-/Viertelwerte
  • lange G- und C-Noten entsprechend ihrer längeren Notenwerte
  • die punktuelle Markierung muss exakt auf dem jeweiligen Notenkopf liegen
  • die Markierung wandert nicht zu früh und nicht zu spät weiter
Der Zuschauer muss eindeutig erkennen können:

„Dieser Punkt ist jetzt aktiv → diese Note ist zu spielen → diese Keyboardtaste wird gedrückt → genau dieser Ton erklingt.“

Fingerführung​

Zeige eine natürliche Anfänger-Fingerposition der rechten Hand.

Empfohlene Position:

  • Daumen = C
  • Mittelfinger = E
  • Ringfinger = F
  • kleiner Finger = G
  • D wird mit dem Zeigefinger gespielt
Die Fingerbewegungen müssen anatomisch plausibel und realistisch sein.

Die Finger dürfen nicht durch die Tasten hindurchgehen oder mehrere Tasten gleichzeitig berühren.

Audio​

Erzeuge einen klaren, natürlichen Keyboard-/Piano-Klang.

Jeder Tastendruck muss einen eindeutig hörbaren einzelnen Ton erzeugen.

Der Audio-Track muss exakt der oben angegebenen Tonfolge entsprechen:

C4 – E4 – F4 – G4 – C4 – E4 – F4 – G4 – C4 – E4 – F4 – G4 – E4 – C4 – E4 – D4 – E4 – E4 – D4 – C4 – E4 – G4 – G4 – F4 – E4 – F4 – G4 – E4 – C4 – D4 – C4

Keine zusätzliche Begleitmusik während der Lernphase.

Keine falschen Harmonien.

Keine zusätzlichen Töne.

Kein Hall, der die einzelnen Töne unklar macht.

Einführung​

Beginne mit einer kurzen Einblendung:

When the Saints Go Marching In

Darunter:

Keyboard Tutorial – Beginner – C Major – 120 BPM

Danach kurz das Keyboard zeigen.

Markiere das mittlere C und erkläre visuell:

C = mittleres C

Anschließend beginnt das Tutorial.

Lernfreundlicher Ablauf​

Das Video soll nicht hektisch wirken.

Die Kamera bleibt stabil.

Die obere Notendarstellung und das Keyboard sind während des gesamten Tutorials gleichzeitig sichtbar.

Der aktuelle Ton wird immer eindeutig hervorgehoben.

Optional kann über der aktuellen Note zusätzlich eine kleine Anzeige erscheinen:

C4

E4

F4


usw.

Die Buchstaben sollen groß genug sein, damit auch Anfänger sie problemlos erkennen können.

Qualitätskontrolle​

Vor der finalen Ausgabe muss die Sequenz intern überprüft werden.

Prüfe insbesondere:

  • exakt 31 gespielte Melodienoten
  • richtige Reihenfolge
  • richtige Oktave
  • C4, D4, E4, F4 und G4
  • kein B, A oder anderer Ton
  • keine fehlenden Töne
  • keine zusätzlichen Töne
  • korrekte rhythmische Dauer
  • korrekte Pausen
  • exakt 120 BPM
  • korrekte Synchronisation zwischen Notenschrift, Punkt, Fingerbewegung und Audio
  • jeder erklingende Ton muss exakt der aktuell markierten Note entsprechen
Die musikalische Genauigkeit hat höchste Priorität. Eine optisch schöne Animation ist wertlos, wenn auch nur eine Note oder ein Einsatzzeitpunkt falsch ist.

Abschluss​

Nach dem letzten C4 soll die Hand kurz auf der Tastatur ruhen.

Die letzte Note C4 klingt vollständig aus.

Danach erscheint:

Gut gemacht!

Übe langsam und werde anschließend Schritt für Schritt schneller.

Wie würdet ihr das umsetzen? Vielleicht möchte sich jemand mit mehr Erfahrung an der Idee versuchen!?😁
 

Anhänge

  • MiniMax_H3_00001_(1MP_24FPS_30Steps).mp4
    2,7 MB
  • MiniMax_H3_00002_(1MP_24FPS_30Steps).mp4
    4 MB
Zuletzt bearbeitet:
 
  • Gefällt mir
Reaktionen: Keuleman
Hrmpf... ich wusste es würde sofort probleme geben.😒
Ich habe das Tutorialvide Idee unächst stark vereinfacht um zu testen wie die synchronisierung und visualisierung der töne aus der Midi Datei klappt.
Nur leider scheint der Load Audio Node im MiniMax Easy workflow die midi nicht verarbeiten zu können obwohl der Node die datei als audiodatei aktzeptiert!
Jemand ein Plan?

Ich probier das jetzt erstmal mit ner wave datei. Midi wär natürlich eleganter weil es echte Steuerungsbefehle enthält die exakt angeben wie ein Stück zu spielen ist.

Edit: OK, vergessen wir den ka***. Das artet sonst wieder in ein endloses Kaninchenbau aus...
Vielleicht greif ich die Idee mal als eigenständiges Tool/App wieder auf!
Bis man ein perfektes Videotutorial hat brauch ich das Video dann auch nicht mehr zum lernen weil man es dann längst auswendig kann! 😓
Es geht mir übrigens nicht primär um dieses eine Stück, sondern die Möglichkeit für Stücke wo man kein passendes Audiovisuelle Tutorial findet selbst schnell eins zu erstellen.
 
Zuletzt bearbeitet:
Für Minimax-H3 gibt es nun auch einen Latent Upscale :)

https://www.patreon.com/aifuturetec...-c9ee-4608-9f08-05ee4ce08401&utm_medium=email

Ok, der erste Test war kacke. Wer ist so verpeilt und stellt im Sampler Workflow für den ersten durchgang 0.2 Megapixel ein. Und man muss aufpassen. Der AR wird an zwei stellen eingetragen.

diese Lora nicht verwenden: minimax_h3_fl2v_lightx2v_turbo_4step_v0.1_comfy.safetensors (auch wenn sie im Sample Workflow verwendet wird). Das Input Bild wird mehr oder wenig ignoriert. Keine Konsistenz mehr.

Es wird so langsam. Die 5090 Glüht beim zweiten Pass. 100% VRAM Auslastung, aber gerade noch so wenig luft, das sie voll ausgelastet wird. Das untere Video wurde in knapp 11min generiert :daumen:


 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: MechanimaL
samuelclemens schrieb:
Edit: OK, vergessen wir den ka***. Das artet sonst wieder in ein endloses Kaninchenbau aus...
Vielleicht greif ich die Idee mal als eigenständiges Tool/App wieder auf!
Bis man ein perfektes Videotutorial hat brauch ich das Video dann auch nicht mehr zum lernen weil man es dann längst auswendig kann! 😓
Es geht mir übrigens nicht primär um dieses eine Stück, sondern die Möglichkeit für Stücke wo man kein passendes Audiovisuelle Tutorial findet selbst schnell eins zu erstellen.
Also Du oder Dein LLM oder beide, haben evtl. eine etwas zu krasse Vorstellung, was ein Videomodel (lokal insb.) alles weiß oder versteht :D Wenn das ansatzweise gehen sollte, wäre ich natürlich wiederum überrascht, es setzt halt einfach sehr viel (insb. musikalische) Kenntnis voraus (Notenschrift erstellen, Tonhöhen exakt kennen usw.), die vll nicht unbedingt gegeben ist.

Videos länger machen in cuts die man nicht sieht, habe ich schon etwas passendes verlinkt. Aber es sind einfach viele Anforderungen auf einmal. Da würde ich generell vll mal in kleinen Schritten testen, was davon überhaupt verstanden wird und umgesetzt werden kann.

Wenn du schon ein Midi hast könntest Du ja einfach die Melodie mit einer DAW erstellen lassen zb. Reaper und ein Klavier-Plugin (Instrument). Aber, wie gesagt, ist die Frage, was vom Rest überhaupt erstmal grundsätzlich geht ^^
Ergänzung ()

samuelclemens schrieb:
Es geht mir übrigens nicht primär um dieses eine Stück, sondern die Möglichkeit für Stücke wo man kein passendes Audiovisuelle Tutorial findet selbst schnell eins zu erstellen.
Aschso, das könnte (halt nicht mit Hand und Video aber mit Klaviatur und Noten) durchaus bereits bei mancher Software mit an Board sein, gibt ja Notationssoftware, die Midi in Notenschrift umwandelt und anzeigen welche Taste grade gespielt wird, ist auch kein Problem und könnte schon enthalten sein. Falls nicht hast Du vll grad ne Marktlücke entdeckt und könntest per Vibe Coding eine App erstellen, in die man einfach Midi füttert (oder die es per Internet sucht) und dann automatisch Noten und Tasten zeigt. Zu wissen, welche Fingersätze zu empfehlen sind, ist aber nochmal ein anderes Thema..
 
Zuletzt bearbeitet:
@MechanimaL Wie bereits erwähnt hab ich die Idee erstmal begraben.
Dazu geht es zu tief in die Materie rein mit zu vielen Abzweigungen.
Vielleicht später mal per vibe Coding was eigenständiges basteln. Eine Midi enthält ja bereits alle notwendigen Daten. Diese müssen im Prinzip nur genutzt werden um eine Abfolge von einzelframes zusammenzustellen für ein Video zb. Das später dann evtl per KI videoedit aufgepeppt werden kann.

Markzlücke glaub ich eher weniger. Aber die meisten Apps in der Richtung die ich halbwegs für brauchbar empfand haben knebelabos jenseits von Gut und böse. SimplyPiano um nur eins zu nennen.🙄
Solche horrenden Abopreise würden einen nur unter Druck setzen und aus einem reinen Spasshobby nebenher Zwang machen.

Im übrigen hat ChatGPT das sehr bekannte teststück sehr gut erkannt und im Prompt auch korrekt dargestellt und mir sogar eine korrekte Midi dafür erstellt.
Daher hatte ich die Hoffnung daß es einfacher wäre. Hab aber dann recherchiert und mitbekommen das die direkte Midi Verarbeitung in ComfyUI eher komplex als simpel ist und für mein zielzwrck zu aufwändig und unpräzise.
 
Zuletzt bearbeitet:
blubberbirne schrieb:
Für Minimax-H3 gibt es nun auch einen Latent Upscale :)

Ok, der erste Test war kacke. Wer ist so verpeilt und stellt im Sampler Workflow für den ersten durchgang 0.2 Megapixel ein. Und man muss aufpassen. Der AR wird an zwei stellen eingetragen.
Ja, man sollte nicht zu niedrig starten, hab ich auch schon gelesen, also 0.4 aufwärts, war die Empfehlung. Vll geht je nach Fall auch 0.3 (hat der WF unten als Start).

Der zuvor bereits verlinkte "Fox-Fur-Essence Films" hat seinen Workflow auch upgedated mit einer Seedhunter Option, d.h. 3 Clips generieren in niedrigerer Qualität und dann einen Auswählen mit Upscale. Das Video enthält ein paar praktische Tipps zu verschiedenen Werten und der WF noch ein paar QOL Optionen:
 
Zuletzt bearbeitet:
Kennt eigentlich ein gutes offline tool womit man aus einer größeren Auswahl an Bildern ein Auswahl für ein gutes Dataset nach bestimmten Vorgaben heraussuchen lassen kann?
Es muss nicht Captioning können, nur eine möglichst ausgewogene Auswahl treffen aus dem zur Verfügung stehenden Material.
 
Das wäre eine Aufgabe für einen Agenten zb aus Hermes, dann brauchst du noch ein Modell das Vision kann um sich die Bilder anzusehen.

Btw: in dem Huhn-WF hattet ihr euler benutzt oder? ich habe generell das Gefühl, dass er_sde (und res_multistep) etwas besser sind. Also mit er_sde meinte ich jedenfalls, dass mein Huhn weniger gleitet, auch wenn es lange nicht perfekt war..
 
Zuletzt bearbeitet:
@MechanimaL Bei mir war res_multistep voreingestellt. Ich kann ja auch er_sde versuchen später mal.
Das ganze testszenario ist aber extrem ungenau weil das video inhaltlich immer sehr unterschiedlich ausfällt und zu komplex aufgestellt ist vom Prompt her.
Man müsste ein reproduzierbares Szenario bauen. Zb nur das Huhn das immer die exakt gleiche route rennt im gleicher umgebung. 🤔

Das mit dem Bilderdataset meinte ich eher ein bestehendes Standalone Tool. Es gab ja auch schon vor dem KI Hype ähnliche tools. Ich mag keine 500 Bilder durch eine KI Bildanalyse jagen! Und mit Agenten mag ich mich auch derzeit noch nicht beschäftigen.
 
@blubberbirne Was bringt der Minimax-H3 Latent Upscale nun genau für vorteile. Gut, ich kann ein gelungenes Testvideo in geringer Qualität hochrechnen lassen. Aber auch da gibt es das risiko das neue Fehler eingebaut werden.
Außerdem scheint es so zu sein das man das Video eh in einem Stück hochrechnen muss was einen dann widerrum in den berüchtigten oom error führt.
Vorher aufteilen und dann hochrechnen geht ja nur an geeigneten seltenen stellen wo eine nahtlose zusammenführung nicht auffällt.
So oder so glaub ich kaum das man also ein nahtloses 1 minuten Video in 2 MP hinbekommt. Was so ziemlich unterer Standard bei nem YT Short wäre.
 
Ich weiß nicht woher immer der Glaube kommt das man mit minimax clips erstellen kann die eine Minute gehen. Das Model kann offiziell nur 15 sekunden. Bis 30 Sekunden Sekunden sind möglich, aber ohne Garantie das es fehlerfrei läuft.

Zum LatentUpscale: Ohne diesen Workflow kann ich kein 2MP Video mit 15 Sekunden erstellen. Es schont also Ressourcen.
 
Hmm... ich versuch es erstmal mit dem 7s Huhn Video.
Wenn ich das richtig verstehe berechnet der Workflow erstmal das Video mit niedriger Qualität und dann rechnet es dasselbe in einem zug hoch!?
Kann ich nicht gleich als Startwert 1MP nehmen und als Target 2 MP? Müsste doch ein besseres Ergebniss liefern oder?

Ich fände es allerdings besser wenn ich den Zwischenschritt in niedriger qualität erstmal prüfen könnte um dann das langwierigere 2 MP abwürgen zu können falls es zu heftige Fehler enhält.

blubberbirne schrieb:
diese Lora nicht verwenden: minimax_h3_fl2v_lightx2v_turbo_4step_v0.1_comfy.safetensors (auch wenn sie im Sample Workflow verwendet wird). Das Input Bild wird mehr oder wenig ignoriert. Keine Konsistenz mehr.
Und welche würdest empfehlen?
 
Eine 8 Step halt. (zb eine von den 3 hier) das sind kleinere Varianten von diesen, bei sehr geringem Qualitätsverlust.

Vorteil bei einem Seedhunter WF wie von Fox Fur Essence: Du lässt nachdem das Prompt steht das Teil mal mehrere Versionen in niedrigerer Auflösung generieren (zb 0.4 mit 6 Steps) und anschließend machst Du einen Upscale von der Variante, die gut war. Dadurch wartest Du nicht auf ein höher aufgelöstes Video, dass dann nachher doch nicht so ist, wie du es Dir vorgestellt hast.

Bzgl. Länge: es geht nur durch entweder Zusammenbauen von Clips oder erweitern lassen von Clips, aber es werden immer in einzelnen Abschnitten Berechnungen gemacht, wie blubberbirne schon sagte, man kann nichts längeres in einem Stück erstellen. Aber wie gesagt und bereits verlinkt: Es geht Videos zu erstellen, wo Du nicht siehst, wo die Cuts sind, mit entsprechenden Workflows. Andererseits hat RuneX, den wir noch von LTX WFs kennen auch einen mit hardcuts gemacht, extra für "lower spec" computers, also mehrere Szenen, zb. gleiche Person an verschiedenen Orten/Musikvideo.
Multi-Scene Long Video
Lighter wf for lower spec computers
generates the final video in parts, so each part should not be more heavy than just generating a normal H3 video
merges all the parts into one video at end, with synced audio

This does not continue video from previous part, so not a continuous camera video, rather scene by scene. Only the audio continue.
1787860663230.png
 

Anhänge

Zuletzt bearbeitet:
Ich werd die vorgeschlagenen Loras demnächst ausprobieren.
Das Testhuhnvideo hat jetzt geschlagen 2h gedauert.

Da ich nur das upscaling testen wollte hab ich die Steps deutlich runtergeschraubt und. Das Audio ist auch mist. Aber iwe dadurch sehr authentisch. 🤔
Huhn gleitet weiterhin.

Für 30 Steps, 15s und 2MP braucht die Kiste wohl die Ganze Nacht. 😓
Das mach ich nicht für Testvideos.
Das Upscaling wär für mich nur dann brauchbar wenn ich ein gelungenes Testvideo in geringer Qulität direkt upscalen könnte.


Nebenfrage: Hat irgend jemand schon was mit ner 3D und Videogen Kombi probiert oder davon gehört?
Ich stell mir das so vor das man zusätzlich zu LoRa oder Referenzbilder oder Referenzvideos auch sowas wie virtuelle 3D Filmsets für Location und Requisiten hinzufügt.
Ähnlich wie man es bei der 3D Animation macht. Nur das die KI das statt zu rendern in ein realistisches Video umwandelt.
 

Anhänge

  • MiniMax_H3_00002_(2MP_24FPS_10Steps).mp4
    9,5 MB
Zuletzt bearbeitet:
Also ohne Turbo Lora würd ich glaub ich nix machen, außer ich wüsste exakt was rauskommt und es wäre ein deutlich sichtbarer visueller Vorteil. Ich würde auf 8er Turbo Lora gehen, da kann man auch noch mit Steps spielen und außerdem schauen, dass die aktuellen Beschleunigungsmöglichkeiten und VRAM Spar-Optionen im WF ausgewählt werden können und im System drin sind (comfy kitchen attention ist zb ohne weitere Installation möglich).

https://streamable.com/rbd4qo

Das Huhn ist schon ganz ok, bei den Gesichtern gibts noch Schwachstellen, ist halt auch sehr klein, müsste wohl die Auflösung noch höher. Muss da noch bisschen probieren (Anfangsauflösung/wie weit hoch/wieviele Steps pro Sampling (primär/upscale) usw. Standard sind da zb nur 6 +3 Steps drin :) Das geht auch schon im Prinzip und ist natürlich nochmal schneller, ich schicke vll nachher noch ein Video, das ich grade mache ;)

12 steps 0.6 mit turbo lora 1.0
1.5 upscale (=1.8mp) mit 5 steps (beachte das wird x4 gerechnet)
comfy kitchen und sparse SLA zusätzlich aktiviert

Mit dem Seedhunter Fox Fur WF (siehe Video).
 
Zuletzt bearbeitet:
Turbo Lora ist super, würde auch nix ohne mehr machen wollen. Und Länge... eigentlich nicht viel anders als in LTX. Man kann auch da länger machen aber sollte dann wenig, sehr wenig "passieren", damit es stabil bleiben kann. 20 Sekunden Snippets gemacht gestern, war kein Ding für H3.
 
Mein erstes Musik Video.

https://streamable.com/964b06

Bei weitem nicht perfekt. Den Song habe ich letztes Jahr mit Suno erstellt. Ist leider nicht komplett. Dazu muss ich den Workflow noch etwas erweitern :freak:
 
  • Gefällt mir
Reaktionen: Tr8or und Keuleman
Zurück
Oben