SuperHeinz
Rear Admiral Pro
- Registriert
- März 2023
- Beiträge
- 5.400
So, wie bei jeder iGPU seit Jahrzehnten Usus?wern001 schrieb:eine RTX 5090 mit 512 GB RAM
War eine coole idee das CPU und GPU den gleichen RAM teilen.
Folge dem Video um zu sehen, wie unsere Website als Web-App auf dem Startbildschirm installiert werden kann.
Anmerkung: Diese Funktion ist in einigen Browsern möglicherweise nicht verfügbar.
So, wie bei jeder iGPU seit Jahrzehnten Usus?wern001 schrieb:eine RTX 5090 mit 512 GB RAM
War eine coole idee das CPU und GPU den gleichen RAM teilen.
K.A. wieso du direkt den Cluster heranziehst. Er müsste eher eine Nische sein. Aber ein einzelner M5 Ultra mit 512GB wäre eine solide Basis für z.B GLM 5.3 Flash, wenn man es lokal betreiben muss. Die sehr hohe RAM Bandbreite ist hier vom riesen Vorteil. Würdest du das Gleiche mit einer PCIe GPU probieren, bräuchtest du mindestens 5 Stück RTX Pro 6000 je 15000€ und noch etliche €€€€ für ein ordentliches Host-System. Das wäre viel teurer, komplexer in der Wartung und benötige deutlich mehr Strom.WinstonSmith101 schrieb:Mit welchem Use Case holt man 133.316 Euro für das 4er Cluster einfach so wieder herein? Können die etwa die Lottozahlen vorhersagen?
Wie kommst du darauf, dass das nicht passieren wird? Hast du schonmal mit Lokaler KI (aktuelle Modelle) gearbeitet? Meine Tests zeigen in vielen Dingen eine Leistung die schon extrem brauchbar ist und ich habe nicht mal die hälfte von den 512GB VRAM. Ich streite nicht ab, dass GPT, Claude usw.. noch besser sind. Aber betrachtet man den Lokalen KI Fortschritt der letzten 12 Monate, wird die Leistung des heutigen Cloude ziehmlich sicher in 10-12 Monaten auch Lokal auf 512GB erreichbar sein. So meine Erfahrung und Prognose. (und so auch ähnliche einiger experten wenn man nach googled)Bahkauv schrieb:Ich finde local AI ja ganz praktisch für ein paar Sachen. Aber die rechtfertigen doch nicht den Preis der Hardware. Und wenn ich das Geld ausgeben möchte, erwarte ich doch eine ähnlich gute Quali wie Cloud AI - wird aber nicht passieren. Vielleicht sehe ich aber auch einfach nicht den Use Case...
Meinst du sowas hier?Silencium schrieb:Der Preis ist schon Wahnsinn! Die Performance von 4 solcher Geräte gegen eine DGX Workstation - weiß gerade nicht wie die heißt - aber die auch ca. 100k kostet, wäre spannend. Auch oder gerade beim Strombedarf!
An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.
An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.
Nicht wirklich. DGX Studio geht bei 100k Netto los.Chilisidian schrieb:Fantasiepreis.
OpenSystemFan schrieb:Bekommt man das wieder rein?
user_zero schrieb:Warum denken hier immer alle, dass sie als Privatperson so ein Setup für den eigen Haushalt anschaffen sollten? Ihr seid doch gar nicht die Zielgruppe. Diese Konfigurationen sind für Unternehmen gedacht, die damit Geld verdienen.
user_zero schrieb:Aber das Apple Pro Gedöns hat Leistung für diejenigen, die damit Arbeiten und idealerweise darauf ihre Brötchen verdienen.