Sind 2 parallel laufende 4070 (TI) geeignet als Ersatz für eine 4090?

[eddy131]

Ich wollte mir irgendwann Anfang nächsten Jahres einen neuen PC zulegen. Gaming ist nett, aber meine Prio ist vor allem AI lokal auf dem PC laufen zu lassen. Dafür ist vor allem der Grafikspeicher wichtig, weshalb ich gerne eine 4090 oder eine 3090 hätte (haben beide ja 24GB). Und wegen AI muss es ja NVIDIA sein, weshalb die GraKas von AMD aktuell keine Alternativen sind. Da die 4090 aber gerade preislich durch die Decke geht, hab ich mich gefragt, warum man nicht einfach zwei schwächere Karten nehmen kann. Ich bin nicht im Thema und kenne auch niemanden, der das mal gemacht hatte, aber ich weiß, dass man früher auch gerne mal zwei gleiche Karten im Bund zusammenschalten konnte um die Leistung noch mal ordentlich zu erhöhen. Geht sowas mit aktuellen Grafikkarten immer noch? Und lohnt sich das? Bzw. was für Vor-/Nachteile hat das? Ich meine, es muss ja einen Grund geben, warum das kaum einer macht (zumindest findet man da kaum was zu und wie gesagt kenne ich auch niemanden, der so ein Setting hat). Meine Überlegung ist nämlich, dass zwei 4070 zusammen ebenfalls 24GB RAM hätten, bei teils unter 600€ das Stück aber zusammen immer noch deutlich günstiger sind als eine 4090. Da sind die Preise kaum unter 2.000€ aktuell mit Tendenz steigend. Würde ich damit ähnliche Leistungen für AI aber auch Gaming erhalten als wenn ich eine 4090 nehme? Oder vielleicht sogar mehr?

 

[MehlstaubtheCat]

Na, so funktioniert das nicht!
Du kannst keine zwei 4070Ti miteinander laufen lassen, die Zeiten von SLI sind vorbei!

 

[AMD-Flo]

Wenn das so einfach wäre, wozu gäbe dann die RTX 4090? RTX 4000 Karten unterstützen kein SLI. Für Gaming kannst du die Idee also schonmal streichen. In wie fern sich AI Anwendungen per Software auf zwei GPUs gleichzeitig ausführen lassen, kann ich dir nicht sagen. Wenn es unbedingt 24 GB sein müssen, dann eine gebrauchte völlig ineffiziente 3090. Ansonsten bist du mit einer 4080 deutlich besser bedient.

 

[abcddcba]

Würde ich damit ähnliche Leistungen für AI aber auch Gaming erhalten als wenn ich eine 4090 nehme?

nein, wie kommst du darauf? Allein schon dass man nicht jedes (AI) Problem so einfach parallelsieren kann. Und zumindest ein LLM Model kann man Stand heute auch nicht so einfach splitten und dann Inference auf 2 GPU statt einer machen, so trivial ist das nicht. Mit neueren Tools wie TensorRT-LLM wird daran aber gerade gearbeitet und Teile resp. Weight-Matrices dann auf verschiedenen GPUs bearbeitet.
Bei andere AI Modellen kann das natuerlich auch schon moeglich sein, aber da ist deine Frage zu unspezifisch was du ueberhaupt mit AI machen willst - sofern du das schon weisst.

Oder vielleicht sogar mehr?

du kannst davon ausgehen, wenn es so waere, dann wuerden 4070 massiv aufgekauft werden, meinst du nicht?

 

[wolve666]

Satzzeichen und Absätze sind auch ausgekauft?

 

[eddy131]

Mmh, ok. Danke für die Antworten. Habe selber noch ein wenig recherchiert und das mit dem SLI herausgefunden. Der Begriff kam mir sogar noch bekannt vor. ich ging aber einfach davon aus, dass es da wie beim normalen RAM funktioniert. Da steckt man ja auch einfach weitere Karten in die freien Slots um den Speicher zu vergrößern. Scheint bei GraKas wohl nur zu funktionieren, wenn die Software das ebenfalls unterstützt. Und aktuelle Karten haben noch nicht mal entsprechende Protokolle dafür (SLI bei NVIDIA eben).

Nutzen wollen würde ich vor allem ChatGPT Alternativen die ich mit meinen eigenen Daten trainiere/füttere. Ich mag den Gedanken nicht so sehr, dass all meine Dokumente irgendwo online auf Servern liegen und damit sonst was gemacht wird. Daher lokale Lösung. Hab damit noch kaum was gemacht, aber rein Hobbymäßig hätt ich mir da dann auch gerne mal ne Version von Stable Diffusion auf den Rechner gepackt und damit ein wenig rumgespielt. Vermutlich. Mein Fokus liegt aber auf LLM's. Und gelegentliches Gaming (wobei ich da keine Max Einstellungen brauche um glücklich zu werden).

nein, wie kommst du darauf?

Die reine Nennleistung müsste (nach dem was ich einschätzen kann) halb so groß oder größer sein als das, was eine 4090 bietet. Aber wie gesagt brauchen LLMs vor allem Grafik-RAM. Und da hätte ich dann zusammen 24GB, also das selbe wie bei einer 4090.

du kannst davon ausgehen, wenn es so waere, dann wuerden 4070 massiv aufgekauft werden, meinst du nicht?

Wieso das? Wenn ich das mit dem SLI richtig verstanden habe, muss das Spiel das supporten. AI ist da aber denke ich einfacher strukturiert. Ich meine sogar gelesen zu haben, das GPT4ALL schon mehrere Grafikkarten unterstützt (oder es bald soll). Und selbst wenn von der zweiten Karte nur der Speicher von der AI genutzt wird, dann sollte das schon ordentlich was für das Langzeitgedächtnis bringen.
Was ich damit sagen will: Dual-Betrieb ist für zwei GraKas eventuell unpraktisch oder unmöglich, für andere Anwendungsfälle aber eventuell nützlich. Eine 4070 würde mir für Gaming mehr als ausreichen.

Ergänzung (22. November 2023)

Satzzeichen und Absätze sind auch ausgekauft?

?

 

[Aduasen]

Wenn ich das mit dem SLI richtig verstanden habe, muss das Spiel das supporten.

Das Spiel vielleicht (bei noch bestehenden SLI Konstellationen)
Da es aber kein SLI bei neuen GPUs mehr gibt, ist das keine Option.

 

[AMD-Flo]

Da steckt man ja auch einfach weitere Karten in die freien Slots um den Speicher zu vergrößern.

Ganz so einfach ist das auch nicht mehr.

 

[eddy131]

Das Spiel vielleicht (bei noch bestehenden SLI Konstellationen)
Da es aber kein SLI bei neuen GPUs mehr gibt, ist das keine Option.

Schade. Dachte das ginge dennoch irgendwie nativ oder mit Software von Drittanbietern oder anderen Bastellösungen. Also wird die zweite angesteckte Karte dann einfach nicht erkannt? Oder ginge das doch irgendwie, falls das Programm die Arbeit aufteilen kann? Oder muss tatsächlich die Hardware (also Mainboard und Grafikkarte) das unterstützen, damit die zweite Karte überhaupt angesprochen werden kann? Dann frage ich mich, warum es da keine weiteren Entwicklungen in dem Bereich gibt? Wäre doch irgendwie super, wenn man seine alte Karte im PC lassen kann, und dann mit einer neuen im Verbund nutzt, um so mehr Leistung zu haben.

Aber wie ist das dann mit den ganzen Laptops, die zwei GraKas verbaut haben? Eine schwächere (oft OnBoard, aber nicht immer) und eine stärkere. Entweder kann man manuell wechseln oder das System entscheidet ob man mehr oder weniger Leistung braucht und nutzt entsprechend die jeweilige Karte. Irgendwie hab ich immer mehr Fragen, je mehr ich mich damit beschäftige ^^

Ergänzung (22. November 2023)

Ganz so einfach ist das auch nicht mehr.

Nicht? 😧
Ich kenn das nur, dass man darauf achten sollte, dass die möglichst die gleichen Speichergrößen haben, am besten die gleichen Karten sind. Weil sonst könnte (nicht immer) es da Probleme geben. Meiner Erfahrung nach lief das aber immer super, auch wenn es gemischt wurde. Und meine Erfahrungen sind da schon etwas her. Sollte das ganze dann nicht immer einfacher und besser werden mit fortschreitendem Fortschritt?

 

[Eller]

https://www.pcgameshardware.de/Rade...279267/News/AMD-ROCm-KI-ML-Plattform-1434503/
Vielleicht dann doch eine 7900XTX?

 

[dualcore_nooby]

Wenn es finanziell irgendwie geht nimm die 4090.

 

[cscmptrbs]

Eine 4090 hat erheblich mehr Rechenleistung als zwei 4070. So im Mittel 25%.
Auf eine 3090 würde ich gar nicht gehen, die kommt bei der Rechenleistung nur auf die Hälfte der 4090 und verbraucht dabei auch noch mehr Strom. Dazu steigt auch noch die Speicherlast auf der 3090 weil ggf. das Caching schlechter läuft.
Dazu kommt noch das man die 4090 viel weiter via TDP Begrenzung runterdrehen kann als ein 3090.
Für 10% mehr Takt ggf. 50% mehr Strom zu verbraten macht nicht viel Sinn.

Bei mir laufen zwar keine KI Anwendungen auf den Karten sondern nur Boinc-Anwendungen aber ich würde mal vermuten das da kein großer Unterschied ist.

 

[AMD-Flo]

Nicht? 😧

Nein, bei Vollbestückung ist der maximal erreichbare Takt häufig niedriger.

 

[mae1cum77]

Hinweis (Gaming): DirectX 12 braucht kein SLI, da ist Multi-GPU direkter integriert und kann unterschiedliche Karten nutzen. Wird nur selten von den Devs umgesetzt .

 

[eddy131]

https://www.pcgameshardware.de/Rade...279267/News/AMD-ROCm-KI-ML-Plattform-1434503/
Vielleicht dann doch eine 7900XTX?

Hey, danke für den Link! Behalte ich definitiv im Hinterkopf. Wenn AMD ähnlich gut für KI nutzbar wird, dann sehe ich nicht, warum ich doppelt so viel für die 4090 zahlen sollte, wenn ich eine ähnlich gute Karte mit gleich viel Speicher von AMD bekommen kann. Noch läuft das nicht auf Windows, aber ich will ja eh noch ein wenig warten. Wenn sich bis dahin was ergibt und die Unterstützung der Software dann auch zügig ähnlich gut funktioniert wie mit Nvidias Karten, dann ist das definitiv die bessere Option.

Wenn es finanziell irgendwie geht nimm die 4090.

Ist aktuell die beste Option. Aber eben auch die mit Abstand teuerste. Und 2.000€ zahl ich für die Karte nicht. Das würde ich gerne für das gesamte System ausgeben und nicht für die Grafikeinheit allein. Daher dachte ich ja, dass die Duale Nutzung eine Überlegung wert wäre. Scheint wohl nicht wirklich eine Option zu sein. Ich schaue mal, wie sich das mit den AMD-Karten und CUDA entwickelt.

Eine 4090 hat erheblich mehr Rechenleistung als zwei 4070. [...]

Puh. Das klingt schon ordentlich schlechter. Wäre die nur nicht so teuer aktuell. Muss wohl wirklich auf AMD hoffen. Oder dass die Preise aufhören bekloppte Dimensionen anzunehmen.

Nein, bei Vollbestückung ist der maximal erreichbare Takt häufig niedriger.

Ok... Kann nicht ganz nachvollziehen, was das genau bedeutet (Hab die Wirkung der Hertz bei RAM nie so ganz verstanden), aber ich dachte immer, mehr eingesteckte Karten = mehr Leistung. Es wurde immer dazu geraten, dass man lieber zwei halbgroße Karten im Dual-Betrieb nutzen sollte als eine mit doppeltem Speicher. Also lieber 2x8GB anstelle ein mal 16GB. Wundert mich, dass das jetzt anders sein soll. Was machen die schlauen Ingenieure da eigentlich? XD

Ergänzung (22. November 2023)

Hinweis (Gaming): DirectX 12 braucht kein SLI, da ist Multi-GPU direkter integriert und kann unterschiedliche Karten nutzen. Wird nur selten von den Devs umgesetzt .

Jetzt kann das System doch direkt zwei Karten ansprechen? Ich bin verwirrter als vorher... 😅
Ich dachte so langsam hätte ich es verstanden. Vielleicht wäre es gut, wenn sich hier wer melden könnte, der 2 Karten im Dual-Betrieb nutzt. Idealerweise dann auch testen kann, ob und wie gut KI-LLM-Programme (Wie Farraday.dev, GPT4ALL oder eine der Stable Diffusion Varianten) das nutzen können.

 

[Jasmin83]

Außerdem sei noch zu erwähnen, das man für SLI oder generell schonmal 2 GPUs in einem System ein HEDT oder WS Mainboard mit samt CPU benötigt, die die benötigten PCIe Lanes auch zur Verfügung stellt. Mit einem 14700k oder 14900k wird das erstmal so nicht viel und HEDT bzw WS Komponenten kosten gleich richtig Geld, wenn man auf etwas halbwegs aktuelles setzt.

 

[Kasjo]

SLI an und für sich ist ohnehin Sinnfrei da der Speicher sich nicht verdoppelt wier du angenommen hast. Die Daten müssen dabei in beien vrams der karten liegen ergo hättest du zwar zwei gpus aber nur ein mal die speichermenge.

Das hat meines wissens nach nur NV-Link gelöst wodurch sich tatsächlich der gesamte Speicher nutzen lassen konnte. Leider war für NV Link nur die Speerspitze vorgesehen und obs überhaupt die 40er können weiß ich nicht. Ich denke das NV Link eher zu den profi karten übergegangen ist.

Mehrere GPUS zu nutzen ist prinzipjell schon möglich, ganz ohne SLI oder der gleichen, das muss aber die Software auch unterstützen. Bsp. kann cinema 4D duch bucket rendering den Workload aufteilen. Wie genau das mit mehreren gpus dann funktioniert kann ich allerdings nicht sagen da ich mangels gpus das selbst nie austesten durfte.

Ergänzung (22. November 2023)

Also lieber 2x8GB anstelle ein mal 16GB. Wundert mich, dass das jetzt anders sein soll. Was machen die schlauen Ingenieure da eigentlich?

Bei Ram ja wegen dual channel. Bei GPUs is der sachverhalt aber anders. Bitte nicht in die selbe schublade packen. Mein soll zwei ram sticks nutzen um eben dual channel zu fahren was den durchsatz ja erhöht. Bei GPUs ist das anders weil hier eben die software mitspielen muss und allem voran bei SLI eben nichts verdoppelt wird als die reine GPU leistung. Vram bleibt bei der einer karte weil wie oben beschrieben, die daten in beiden speichern liegen müssen.

 

[mae1cum77]

Jetzt kann das System doch direkt zwei Karten ansprechen?

Das System unterstützt es über die DirectX-API generell. Allerdings muß das Programm diese Funktion explizit nutzen, einfach so geht da nichts.

Ging nur darum, daß SLI alte Technik ist und DirectX 12 ein anderes System nutzt.

 

[eddy131]

Außerdem sei noch zu erwähnen, das man für SLI oder generell schonmal 2 GPUs in einem System ein HEDT oder WS Mainboard mit samt CPU benötigt, die die benötigten PCIe Lanes auch zur Verfügung stellt. Mit einem 14700k oder 14900k wird das erstmal so nicht viel und HEDT bzw WS Komponenten kosten gleich richtig Geld, wenn man auf etwas halbwegs aktuelles setzt.

Und jetzt bin ich raus XD
Ich denke ich lege die Idee mit zwei Karten einfach ad acta. Scheint wohl wirklich nur in sehr speziellen Szenarien zu funktionieren/Sinn zu machen und würde durch die spezielle Hardware dann wohl vermutlich letztlich teurer werden, als wenn ich direkt zur überteuerten 4090 greife. Schade. Schien ne gute Alternative zu sein. Problem ist vermutlich hauptsächlich, dass die Hersteller das nicht wollen und daher Hürden einbauen, die früher schon abgebaut worden sind (etwa mit SLI oder das NV Link, das @Kasjo erwähnt)

 

[mae1cum77]

Mehrere GPUS zu nutzen ist prinzipjell schon möglich, ganz ohne SLI oder der gleichen

SLI war die Krücke für DirectX 10/11 und benötigte spezielle Profile. DirectX 12 arbeitet sehr hardware-nah und spricht die Karte(n) direkt an (unterschiedliche Karten möglich), ist daher aber komplexer in der Programmierung. Letzteres bietet zudem über DirectStorage ganz andere Möglichkeiten.