nutrix schrieb:
Trotzdem ist es enttäuschend, daß die reine GPU Leistung nur einer 5070 entspricht, die hätten da ruhig mindestens eine 5080 oder besser 5090 reinstecken können. Da es eh "nur" ein Desktopvariante ist, hätte sie eine RTX6000 kaum gestört, weil sie für einen anderen Bereich ist.
Jup, aber ich glaube da kommen mehrere Faktoren ins Spiel; Einerseits die schon erwähnte Vermeidung der Kannibalisierung, andererseits rein praktische Limits. Der 5090-Die ist drei mal so groß wie der der 5070 - und das ist bei einem SoC noch relevanter als eh schon, weil du bei einem Teildefekt
den ganzen Chip (inkl. CPU-Teil) in die Tonne schmeißen kannst. Man kann dem natürlich mit abgeschalteten Cores entgegen wirken, sprich Ersatzräder einbauen, aber das lässt die Chipfläche nur noch weiter steigen, und hat in Summe massive Auswirkungen auf Produktionskapazität und Preis.
Ein 5090 SoC, dessen VRAM man "frei" bestücken kann, wäre in der Tat absolut 𝑒𝒹𝑒𝓁, aber in meinen Augen auch schon unheilig teuer, noch bevor da die Grünlager-Steuer drauf kommt.
Yosup schrieb:
Stimmt. Trotzdem gehe ich von einem gehörigen Respektabstand zu den 9000€ aus. Das SoC ist wesentlich langsamer
Du hast Recht, ich war mit meinen 3.000€ zu pessimistisch; Ich hab gerade gesehen, dass ganze GB10-Systeme (ebenfalls Nv+MT SoC + 128GB Unified-Memmory) für rund $3.000 an den Start gehen sollen. Und da sich der N1x wahrscheinlich darunter einordnen wird, ist auch zu erwarten, dass sich das auch preislich abbildet.
Für LLM-Spielereien natürlich eine feine Sache, in 128GB bekommt man 70B_Q8 Modelle sehr entspannt aufgesetzt, und falls ConnectX-NIC verfügbar ist, also man zwei Geräte koppeln kann, sogar in FP16. Wenn es tatsächlich für 2k das Stück kommt, wäre das schon ziemlich stark.
Sehe damit zwar weiterhin nicht den Use-Case für Entwickler, da es für "richtige" KI-Entwicklung deutlich mehr Schmackes braucht, aber für Data-Scientists und Hobby-LLM-Nutzer eine spannende Option - also zumindest ist sie es gerade für mich geworden.
tomgit schrieb:
Lol, ja, sie sind hier in diesem Raum - meine Kollegen sitzen nämlich direkt bei mir.

Und wir haben uns aktiv gegen Apple Geräte entschieden.
Aber habt ihr euch
wegen der Hardware gegen Apple entschieden?
Nicht falsch verstehen, ich hatte bei meiner letzten Dev-Maschinen-Wahl ebenfalls einen Dell in Vollausstattung statt den Mac genommen, aber das lag eher am Apple-Ökosystem, das man sich damit ins Haus holt. Die Apple-Hardware als solche ist ja nur schwer zu kritisieren; Top Trackpad, Top Display, High-End Performance der M-Chips bei einer in Windows-Gefilden utopischen Laufzeit? Warum würde man das nicht wollen?
Und ja, die ARM-Geschichte kam da noch dazu - es war absehbar, dass das eine zusätzliche Quelle für Kopfschmerzen sein würde.