Die harte Wahrheit ist, dass ab einer RTX 20xx der Sprung von 12 auf 16GB VRAM in Diffusion-Modellen oder sonst auch bei Matrizenmultiplikation kaum was bringt - eine 4070 TI 12GB mag viel schneller sein als eine 3060 12GB, aber in KI-Modellen kriegt man das nicht auf die Straße. Viel wichtiger ist immer der VRAM. Insofern wäre selbst ein 3060 12GB eine Verbesserung gegenüber deiner 3070 oder einer 3080 10GB oder div. 4060 8GB usw. AMD ist mit ROCM aktuell leider nicht vergleichbar und Nvidias einzige Karte, die Sinn ergibt, ist die 4090, die aktuell vom Preis zu hoch läuft wg. Ban und künstlicher VRAM-Verknappung seitens Nvidia, was jede andere Karte unter einer 4090 betrifft. Im LLM-Bereich mal außerhalb von SD gesprochen gibt es z.B. kaum Modelle, die mit 16GB laufen, aber mit 12GB nicht. Dagegen tut sich mit 24GB schon deutlich mehr auf.
Es gibt natürlich auch die Möglichkeit, gebraucht eine unbekannte 3090(TI) zu kaufen. Ich habe eine Zeitlang diesen Weg verfolgt, nur wollte ich über Kleinanzeigen vorher bei Abholung (Versand ist ein NoGo, weil gerade durch den KI-Boom viele Fake-3090er angeboten werden) testen mit Furmark und Co. und das hat nicht geklappt. Ich kann nicht zählen, bei wievielen Anfragen ich kurze Zeit später die Info bekommen habe, dass der Account des Verkäufers gehackt wurde. Die preiswerten 3090 und 3090TI unter 700 EUR sind extrem schwierig zu kaufen (schnell weg) oder sowieso dubios. Oder es werden Fantasiepreise aufgerufen, die in Preisrichtung einer neuen 7800XT/4070 TI und drüber gehen, was wirtschaftlich nicht klug ist.
Vorteil dieses Weges ist aber, sich per NVlink die Möglichkeit offen zu halten, irgendwann mit zwei Karten auf 48GB aufzurüsten. Man muss nur schauen, ob man diesen Weg wirklich gehen will, mit geeignetem Board und Gehäuse, vielleicht auch über Blowerkarten nachdenken wenn zu wenig Slots und Netzteilseitig muss das Thema 2x3090 auch betrachtet werden.
Daher führt kein Weg an der 4090 vorbei. Ich bin den Weg gegangen (allerdings für den Bereich LLMs) und wenn die 4090 außerhalb des Budgets ist, würde ich direkt in die Cloud zu gehen und dort die richtige SD-Maschine zu mieten, Thinkdiffusion, Rundiffusion oder ganz plain und einfach Google Colab (Pro).
Je nach Einsatzzweck würde ich mir auch MidJourney anschauen - ja, es gibt auch Vorteile, SD zu bevorzugen, aber MJ ist inzwischen so stark, das kaum was nachkommt. Und das Abo ist monatlich kündbar. Ich arbeite hier auch am Training von Llama und Mistral und habe trotzdem einen ChatGPT Pro Account, denn das eine schließt das andere nicht aus.
Cheers
