Test Neues AI-Tool: Was mit der Video-KI in Adobe Firefly möglich ist

[futzi]

wenn man bedenkt, dass die ganze AI Industrie bereits mehr Co2 produziert als der ganze Flugverkehr... und wofür? mehrwert kaum erkenntbar, vor allem nicht im Vergleich zu echten Industrien die änlich verschmutzend sind

Na ja Google, Amazon, Microsoft bauen dafür halt die ganzen Atomkraftwerke, die erzeugen angeblich kein Co2.

Und wofür? So wie ich das sehe um der grafischen (inkl. Video) Industrie an den Kragen zu gehen. Der Bedarf für solche Videoschnipsel und Bilder und Audio ist definitiv da und soll idealerweise auch von nicht dafür ausgebildeten Arbeitskräften erledigt werden können. Einfaches Beispiel: Schraubenfabrik braucht Schulungsvideos für Mitarbeiter, diese sind bisher nur teuer zu produzieren mit Fachkräften die sich auf ihre Fähigkeiten was einbilden und hohe Stundensätze in Rechnung stellen, also ermächtigt die KI Industrie die Sekretärin solche Videos in Zukunft zu produzieren. Manchmal müssen auch Sachen dargestellt werden die sich für Videodrehs nicht nachstellen lassen. Wenn das irgendwann mal fluffig läuft, dann kann man auch während einer Präsentation in Echtzeit Dinge visualisieren, z.B. auf Fragen mit einer ruck-zuck erstellten Animation antworten etc. Einsatzzwecke und Mehrwert sehe ich da schon.

 

[ErnstHaft99]

Für die Filmindustrie und Pornoindustrie sicher ein Gottesgeschenk.

 

[Turrican101]

Das mit der Grafikkarte ist schon top. Der schwimmende Fuchs scheint auch eher durch den Fluss zu laufen...

Zeigt halt, dass KI immer noch nur gut aussehende Dinge generieren kann, aber keine korrekten Dinge.

 

[Whitehorse1979]

Was bringt der 5 Sekundenquatsch in Lowquality jetzt genau? Hat das irgendeinen Nutzen? Film kann man das ja eher nicht nennen.

 

[catch 22]

Adobe goes Spielepublisher!?! Echtgeld -> Ingamewährung -> Skin…
Fehlt nur noch die Lootbox, in der sehr geringe Mengen einer weiteren Parallelwährung drin ist, mit der man sehr teure, geringfügig bessere aber dennoch essentiell notwendige (eigenständig aber nicht nutzbare) Dinge bekommen kann, natürlich auch nicht Dauerhaft, sondern auf Quartalsbasis

 

[Blaexe]

Was bringt der 5 Sekundenquatsch in Lowquality jetzt genau? Hat das irgendeinen Nutzen? Film kann man das ja eher nicht nennen.

https://x.com/threejs/status/1898301943887618306

Hast du wirklich so wenig Weitblick?

 

[Xes]

Das zeigt auch die Probleme. Video ist teuer, ein Bild geht für 1cent oder lokal...

Wie sehen denn die Hardwareanforderungen aus, wenn man die Videogenerierung lokal betreiben will?
Mit meiner RTX 3070 mit den 8GB kann ich das aktuell noch vergessen, da braucht die Berechnung eines einzelnen SD1.5 Bildes in 720p ja teils schon über 1min. Da brauche ich mit 25fps Videos garnicht erst anfangen.

Mit deiner RTX 4080 sollte das doch aber schon wesentlich besser laufen oder?
Mit dem nächsten GPU-Upgrade im Herbst, wenn die Preise hoffentlich einigermaßen vernünftig geworden sind (vermutlich auf eine RTX 5070Ti, RX 9070 XT, oder gebrauchte 4080(s)/4070Ti S), wollte ich mir das Thema mal näher anschauen.

 

[Easy1991]

Schon krass was alles mit ai möglich ist

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

So nah an er Realität 👀

 

[chillipepper]

Es käme mir nicht in den Sinn, 5 Sekunden Videos oder überhaupt Videos erstellen zu lassen.
Dafür wäre mir mein Geld zu schade.
Selbst für die Werbeindustrie wünschte ich mir, dass weiter kreative Köpfe tätig werden,
als dass wir mit diesen ganzen hirnlosen Fake Videos überschwemmt werden.
Ich hoffe es wird gesetzlich bindend, dass KI Videos gut sichtlich gekennzeichnet werden müssen.
Dann würde ich an der Stelle immer skippen...

 

[Ayo34]

Mit deiner RTX 4080 sollte das doch aber schon wesentlich besser laufen oder?
Mit dem nächsten GPU-Upgrade im Herbst, wenn die Preise hoffentlich einigermaßen vernünftig geworden sind (vermutlich auf eine RTX 5070Ti, RX 9070 XT, oder gebrauchte 4080(s)/4070Ti S), wollte ich mir das Thema mal näher anschauen.

Nein, interessant und ordentlich wird es eigentlich ab 60GB VRAM. Dann z.B. lokal mit Hunyuan von Tencent als Open Source.

Bei Bildern sind wir ja eher bei 16GB bis 24GB VRAM, wenn man mit Flux prompten möchte.

Ergänzung (14. März 2025)

Es käme mir nicht in den Sinn, 5 Sekunden Videos oder überhaupt Videos erstellen zu lassen.
Dafür wäre mir mein Geld zu schade.
Selbst für die Werbeindustrie wünschte ich mir, dass weiter kreative Köpfe tätig werden,
als dass wir mit diesen ganzen hirnlosen Fake Videos überschwemmt werden.
Ich hoffe es wird gesetzlich bindend, dass KI Videos gut sichtlich gekennzeichnet werden müssen.
Dann würde ich an der Stelle immer skippen...

Warum, wenn man keinen Unterschied sieht? Interessant ist z.B. bei guten KI-Texten, dass die Leute sich überwiegend für den menschlich geschriebenen Text entscheiden, aber nur wenn sie vorher Wissen, welcher Text von der KI kommt. Sagt man den Leuten, dass der KI Text vom Menschen kommt, entscheiden sich die Leute auf einmal für den KI-Text.

Bei Youtube, Tiktok und Co. gibt man übrigens schon jetzt an, wenn etwas mit KI bearbeitet wurde und es wird gekennzeichnet. Allerdings hat quasi jeder Text und jedes Video irgendwo eine Bearbeitung mit KI drin. Und sei es zur Korrektur oder zur Recherche.

Hollywood verwendet auch KI-Effekte... am Ende kommt es doch nur drauf an wie die Tools eingesetzt werden und ob es das Endprodukt besser oder schlechter macht.

 

[ali7566]

@Andy Wie seid ihr denn auf mein schönes Marburg gekommen?

Aktuell sieht das nicht wirklich brauchbar aus. Geld würde ich dafür keines zahlen.
Ich habe bereits Zugriff auf SORA von OpenAI im Rahmen des ChatGPT Abos, aber auch da sind die Ergebnisse nicht wirklich für ernsthafte Sachen zu gebrauchen.

Grüße von Gießen nach Marburg. Bin immer sehr gerne bei euch :-D

 

[Xes]

@Ayo34
Uff, schlägt sich das so heftig auf den VRAM durch? Gibt es da keine Möglichkeiten das halbwegs erträglich performant auf dem RAM auszulagern? (Also nur die Berechnung des jeweils aktuellen Frames im VRAM.)
60GB VRAM, das ist als interessierter Laie / Privatperson ja vollkommen utopisch, da bräuchte man ja gleich zwei RTX 5090 im System (oder drei gebrauchte 3090er wenn man "sparen" will...)

Aber gut, das erklärt dann auch die Preise.
Da müssen ja richtig dicke Multi-GPU Server stehen, damit die das einer breiten Masse anbieten können.

 

[Ayo34]

@Xes Darum benutze ich für Tests lieber Anbieter wie replicate. Da bezahlt man einfach für das, was man macht. Um mal ein Überblick zu bekommen, was da dann für GPUs im Einsatz sind:

Da hat man auch die Möglichkeit mal eine Stunde auf 640GB VRAM zuzugreifen und hat wirklich viele Modelle zur Auswahl.

Das deutlich teuerste VEO von Google kostet da pro Sekunde dann 50Cent. Hört sich zwar teuer an, kann aber je nach Einsatz auch sehr günstig sein. Kommt immer auf die Sichtweise an.

Spoiler: Kosten Generierung

Pricing​

You only pay for what you use on Replicate, billed by the second. When you don’t run anything, it scales to zero and you don’t pay a thing.

Hardware​	Price​	GPU​	CPU​	GPU RAM​	RAM​
CPU cpu​	$0.000100/sec $0.36/hr​	-​	4x​	-​	8GB​
Nvidia A100 (80GB) GPU gpu-a100-large​	$0.001400/sec $5.04/hr​	1x​	10x​	80GB​	144GB​
2x Nvidia A100 (80GB) GPU gpu-a100-large-2x​	$0.002800/sec $10.08/hr​	2x​	20x​	160GB​	288GB​
4x Nvidia A100 (80GB) GPU gpu-a100-large-4x​	$0.005600/sec $20.16/hr​	4x​	40x​	320GB​	576GB​
8x Nvidia A100 (80GB) GPU gpu-a100-large-8x​	$0.011200/sec $40.32/hr​	8x​	80x​	640GB​	960GB​
Nvidia L40S GPU gpu-l40s​	$0.000975/sec $3.51/hr​	1x​	10x​	48GB​	65GB​
2x Nvidia L40S GPU gpu-l40s-2x​	$0.001950/sec $7.02/hr​	2x​	20x​	96GB​	144GB​
4x Nvidia L40S GPU gpu-l40s-4x​	$0.003900/sec $14.04/hr​	4x​	40x​	192GB​	288GB​
8x Nvidia L40S GPU gpu-l40s-8x​	$0.007800/sec $28.08/hr​	8x​	80x​	384GB​	576GB​
Nvidia T4 GPU gpu-t4​	$0.000225/sec $0.81/hr​	1x​	4x​	16GB​	16GB​
Additional hardware​
Nvidia H100 GPU gpu-h100​	$0.001525/sec $5.49/hr​	Flux fine-tunes run on H100s; additional H100 capacity is reserved for committed spend contracts.​
2x Nvidia H100 GPU gpu-h100-2x​	$0.003050/sec $10.98/hr​	Flux fine-tunes run on H100s; additional H100 capacity is reserved for committed spend contracts.​
4x Nvidia H100 GPU gpu-h100-4x​	$0.006100/sec $21.96/hr​	Flux fine-tunes run on H100s; additional H100 capacity is reserved for committed spend contracts.​
8x Nvidia H100 GPU gpu-h100-8x​	$0.012200/sec $43.92/hr​	Flux fine-tunes run on H100s; additional H100 capacity is reserved for committed spend contracts.​

 

[Robert.]

Früher hab ich das bei diversen Künstlern in Auftrag gegeben.
Heute macht das ne KI , die ich per Abo kaufen muss.
Im Endeffekt miss ich so oder so zahlen, nur das Geld läuft ins Ausland.

 

[Zornica]

Forschung, Medizinwesen, Gesundheit, etc. gerade Aerzte koennten bei Diagnosen gross profitieren.

Also ich will von keinem Verarztet werden der zu seiner Diagnose über einen schlecht "gerenderten" 5 sekunden clip kommt
ist doch alles Nischenprogram und rechtfertigt den Schaden der da verursacht wird in keinster weise.

 

[savuti]

Hmm, ich kann mit dem Stil rein gar nichts anfangen. Es wirkt einfach billig. Es fehlt Aura.

 

[daVinci]

Ich finde es aber trotzdem extrem faszinierend, wie krass realistisch manche Effekte aussehen... Wie z.B. das mit dem Fuchs im Fluss.

Ich finde es fast schon erschreckend, dass die KI im Vergleich zu sehr vielen CGI Profis im Film Geschäft es scheinbar besser weiß, was sie tun muss, damit es echt aussieht. Zumal deren Tools ja auch vieles von physikalischen Gesetzen ableiten. Bei dem Qualitätsunterschied, muss sich die kreative Branche dann doch vor der neuen Technologie fürchten. So sehe ich keine Chance, dass KI nicht grundsätzlich Einzug in Hollywood & Co. hält. Der Scorpion King würde sich im Grabe umdrehen 😂.

 

[Xes]

Hört sich zwar teuer an, kann aber je nach Einsatz auch sehr günstig sein. Kommt immer auf die Sichtweise an.

Danke für die Infos aus den beiden letzten Beiträgen. 👍
Ich beschäftige mich nur hobbymäßig aus Interesse nebenher mit dem Thema. Ohne daraus jetzt einen finanziellen Nutzen zu ziehen ist meine Bereitschaft dafür zusätzlich zur eh schon teuren Grafikkarte noch Geld auszugeben doch eher weniger vorhanden.

Das Thema Ai Videogenerierung ist aber schon super spannend, ein wenig in die Zukunft gedacht dürfte das (zusammen mit Voice Gen Ai) irgendwann ermöglichen, dass z.B. Fans fehlende Buchinhalte in Filmen ergänzen, eigene Fortsetzungen zu längst abgesetzten Serien bauen, oder alternative Storylines/Enden oder gar komplette Verfilmungen zu Storys die es bisher erst in Büchern gibt erstellen.
Wenn man sich die Fortschritte im KI Bereich in den letzten drei Jahren so anschaut, dauert das eventuell garnicht mehr so lange.
Eventuell wird das dann irgendwann in 10 Jahren als toller Usecase / großes Feature für eine RTX 100X0 angepriesen.

 

[iSight2TheBlind]

https://x.com/threejs/status/1898301943887618306

Hast du wirklich so wenig Weitblick?

Bei dem Bild in deinem Link sind die Erscheinungstermine der verschiedenen Midijourney-Releases falsch, da bei MJ 5.0 und 5.1 das falsche Jahr 2022 statt korrekt 2023 steht, was sie zwischen Version 1 und 2 bzw. 2 und 3 platzieren würde.
Und dir fällt hoffentlich auch auf, dass das ein verdammt ironischer Fehler ist, wenn man sich auf die (steigende) Qualität von KI-generiertem Content bezieht.

 

[chillipepper]

Hollywood verwendet auch KI-Effekte... am Ende kommt es doch nur drauf an wie die Tools eingesetzt werden und ob es das Endprodukt besser oder schlechter macht.

Siehst Du nicht den Unterschied? Damals hatte es eine andere Qualität, da war es etwas Besonderes und manche Dinge lassen sich in der Realität nur schlecht realisieren. Und mir geht es natürlich auch nicht um kleinere Tools im Bereich "processing" oder Nachbearbeitung, das habe ich nicht gesagt und natürlich auch nicht gemaint.

Aber heutzutage wird man mit dem ganzen Zeug überschwemmt und es steckt nur noch wenig Expertise dahinter, die wirklich bewundernswürdig wäre. Jetzt kann jeder irgendeinen Blödsinn damit machen und das Netz wird mit solch einem Blödsinn, der auch noch viel Speicherplatz und Internet Bandbreite benötigt, regelrecht überflutet.

Mal ganz abgesehen davon, dass Fakes, die so echt wirken, dass sie für betroffene Personen sehr ärgerlich sein können dadurch auch immer einfacher werden. Aber dagegen gibt es ja anscheinend schon Normen / Regelungen oder sind zumindest angedacht und auf dem Weg.