Ja klar. Der Punkt ist, dass man mit der Spark zwar viel RAM hat, das alles aber deutlich langsamer als eine klassische GPU ist. Insbesondere auch bei Video-KI geht die Rechnung also eher nicht auf an der Stelle; entsprechende Dienste werden eher auf Cloud setzen (für "Premium"-Qualität) oder für lokal kleinere Abstriche an den Modellen machen (kenne mich aber in dem Markt nicht aus, mag mich irren).
Bei LLMs kann man ggf. mit der geringeren Geschwindigkeit leben, aber da sind ~128GB auch schon wieder etwas wenig: die guten kleineren LLMs wie Qwen 3.8 27B bekommt man auch auf 32GB; die wirklich großen LLMs wie Kimi oder GLM wollen 512GB oder mehr. Gibt's dazwischen irgendwas Relevantes?
Die Leute mit Spark/Thor, die ich kenne, machen damit eigentlich nur Unsinn ("Schau wie schnell Qwen 3.6 A3B hier läuft!!1!") und wenn man sie drauf aufmerksam macht, dass das selbst auf einer billigen Intel Arc schneller läuft, kommen sie mit 10€ gesparten Stromkosten im Jahr.
Bei LLMs kann man ggf. mit der geringeren Geschwindigkeit leben, aber da sind ~128GB auch schon wieder etwas wenig: die guten kleineren LLMs wie Qwen 3.8 27B bekommt man auch auf 32GB; die wirklich großen LLMs wie Kimi oder GLM wollen 512GB oder mehr. Gibt's dazwischen irgendwas Relevantes?
Die Leute mit Spark/Thor, die ich kenne, machen damit eigentlich nur Unsinn ("Schau wie schnell Qwen 3.6 A3B hier läuft!!1!") und wenn man sie drauf aufmerksam macht, dass das selbst auf einer billigen Intel Arc schneller läuft, kommen sie mit 10€ gesparten Stromkosten im Jahr.
