Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Fuer inferenz ist es sogar kaum relevant. Was dich bei LLMs limitiert ist vor allem die Speicherbandbreite.
Wenn es eine Nvidia GPU sein ist die RTX 3090 IMO das was das beste preis-leistungverhaeltniss liefert.
Mit deinem Budget und 8 stunden Nutzung am Tag kannst du auch 2-3 Jahre Nvidia H100 mit 80GB VRAM haben.
Denke ich mir auch gerade. Würde da eine Lösung von Nvidia vorziehen, weil KI braucht VRAM, nicht der normale RAM, der ist zu langsam.
Ergänzung ()
madmax2010 schrieb:
Fuer inferenz ist es sogar kaum relevant. Was dich bei LLMs limitiert ist vor allem die Speicherbandbreite.
Wenn es eine Nvidia GPU sein ist die RTX 3090 IMO das was das beste preis-leistungverhaeltniss liefert.
Mit deinem Budget und 8 stunden Nutzung am Tag kannst du auch 2-3 Jahre Nvidia H100 mit 80GB VRAM haben.
Für das Budget, das du da ausgibst, kannst du kleine Modelle starten.
Ich würde Mac Mini Studio mit 196 GB RAM nehmen.
oder
Alte A100 Chips holen.
und
Wenn’s unbedingt „Gaming“-Hardware sein muss, würde ich den AMD Threadripper 7000 nehmen.
Wegen den Lanes der prozessor von dir hat 24 lanes (die die 4090er verstopfen) der hier 128
@abcddcba Ich würde für zuhause solche hardware nehmen aber nicht um ernsthaft damit ein KI Modell beruflich laufen lassen
Bei meinen Teil ist das teure ja die Garantie aber dafür wenn was kaputt geht kriege ich sofort ersatz, bei einer Million Umsatz denke ich mal das das teil 24h läuft auf voller last was den stromverbrauch in die höhe treibt
Beim M4 Max kommt man mit LLAMA 3 70BQ4 auf ~8 Token pro sekunde. Bei einer H100 eher 150.
"Besser" ist schon relativ.
Wenn man so billig es geht maximal viel RAM haben will -> Mac Mini
Maximale Speicerbandbreite -> GPU nach Wahl
Der DGX Spark in der Mitte davon ist auch fair platziert
Mit dem Kasten werden Millionen verdient, ob das Ding jetzt 20 oder 30kEUR kostet ist völlig wurscht, auch die Stromkosten sind völlig irrelevant, selbst wenn das Ding 5kW pro Stunde verbrät und man einen Haushaltsstromtarif hat.
Also kann die Antwort mMn. nur lauten, dass man da die größtmöglichste GPU-Rechenleistung reinpackt, die man kaufen dann. Die CPU muss diese GPUs nur genug füttern können.
Es sollen angeblich damit bis zu 1 Mio verdient werden, dann aber so einen besseren Gaming-PC dafür kaufen wollen. Den dann auch noch mit ganz viel langsamen CPU-gebunden RAM vollstopfen für LLM, die über die GPU laufen.
Sorry, da sind soviele Ungereimtheiten, dass man das kaum ernst nehmen kann.
Wer mit Hardware komerziell arbeitet, der mietet sich ein System mit Pro-Komponenten (z.B. RTX 6000 Blackwell) über ein Systemhaus. Die Ausrede, dass keins vor Ort ist, ist billig. Systemhäuser handeln auch über Ortsgrenzen hinaus.
Dann wird Hardware gemietet im B2B. Sie ist schnellebig und die Steuervorteile sind deutlich höher bei Miete gegenüber Erwerb im B2B.
Vielleicht erstmal einen richtigen Businessplan machen, bevor man von den Millionen träumt.
Mit dem Kasten werden Millionen verdient, ob das Ding jetzt 20 oder 30kEUR kostet ist völlig wurscht, auch die Stromkosten sind völlig irrelevant, selbst wenn das Ding 5kW pro Stunde verbrät und man einen Haushaltsstromtarif hat.
Also kann die Antwort mMn. nur lauten, dass man da die größtmöglichste GPU-Rechenleistung reinpackt, die man kaufen dann. Die CPU muss diese GPUs nur genug füttern können.
Das würde ich nicht so unterschreiben weil ist ja geld was man verbrät, aber für das geld der gaming hardware bekommt man schon besseres dediziertes, ich würde nur gerne wissen was die KI machen soll dann kann man das Gerät darauf hin spezialisieren.
Aber beruflich auf gaming hardware zu setzen die 24h läuft auf voller power denke nicht das das lange gut geht
Ergänzung ()
Stovi schrieb:
Wer mit Hardware komerziell arbeitet, der mietet sich ein System mit Pro-Komponenten (z.B. RTX 6000 Blackwell) über ein Systemhaus. Die Ausrede, dass keins vor Ort ist, ist billig. Systemhäuser handeln auch über Ortsgrenzen hinaus.
Dann wird Hardware gemietet im B2B. Sie ist schnellebig und die Steuervorteile sind deutlich höher bei Miete gegenüber Erwerb im B2B.
Vielleicht erstmal einen richtigen Businessplan machen, bevor man von den Millionen träumt.
Kann teurer werden als eigene Hardware, und vom sicherheitsaspekt mal abgesehen kann jeder unbemerkt an deine daten und bei 500k-1 Millon ist die versuchung schon groß
Für mich riecht das bissl wie 'der ITler hat Geld gerochen und ein paar Tutorials zum Erstellen von automatisiertem AI Slop'-gefunden. Ich hoffe nur das ist innerhalb des Unternehmens geklärt...
@Syntax_41 Wieso laufen dann schon diverse Workloads auf meinen älteren LLMs mit erheblich weniger VRAM und machen trotzdem was Sie sollen?
@Tenferenzu Nein, die IT hat hier kein Geld gerochen. Ich habe bereits 2 LLMs die folgendes machen: Image/Video/Sprite und Vectorgrafiken Erstellung für SocialMedia sowie Gamegrafiken, Spieleentwicklungen für Godot, UE5, Roblox Studios und Unity (Steam, iOS, Android), Entwicklungen von ERP/CSM Systemen oder je nach Kundenwunsch, Agentenentwicklungen, Rust Berechnungen (AVX, CPU) + StreamLit, XGBoost, Neural Engines, Zapier + n8n, Engines und Bots für den Stock/Crypto sowie PolyMarket mit massiven Backtester Engines. Komplette Automatisierungsprozesse in ziemlich allen Bereichen.
Es läuft derzeit alles auf Gaming Hardware. Und ja, es gibt auch einen gemieteten DGX Spark. Die neue Maschine soll einfach weitere Aufgaben übernehmen, teilweise wieder auf diverse Bereiche sowie Kundenstamm separiert.
Vernünftige Grafiken? in annehmbarer zeit? Wage ich zu bezweifeln
DGC Spark gemietet und dann noch auf Gaming-Hardware setzen, ich weiß ja nicht, irgendwas stimmt hier nicht, aber wie gesagt, ich bin raus. Kein vernünftiger Itler setzt auf Gaming-Hardware, wenn Geld angeblich keine Rolle spielt.
Wäre natürlich eine sinnvolle Information zu wissen, wie viel RAM auf der GPU gebraucht wird. Dann kauf 6x 5070 mit 12GB und skalier dein Projekt hoch.
Ergänzung ()
Syntax_41 schrieb:
Aber beruflich auf gaming hardware zu setzen die 24h läuft auf voller power denke nicht das das lange gut geht
Warum? Wenn was kaputt geht sind es meistens die Lüfter, die kann man im Aftermarket kaufen oder man schnallt Gehäuselüfter drauf. Wenn die Karten ordentlich eingestellt sind (va. Undervolting), dann laufen die auch ewig, hat man doch im Miningboom gesehen. Sollte so eine Karte wirklich komplett ausfallen, dann kann man günstig Ersatz kaufen, falls der RAM Bedarf pro Karte nicht sehr hoch ist. 12GB gibt es bei der 5070 für 570 EUR.
Warum? Wenn was kaputt geht sind es die Lüfter, die kann man im Aftermarket kaufen oder man schnallt Gehäuselüfter drauf. Wenn die Karten ordentlich eingestellt sind (va. Undervolting), dann laufen die auch ewig, hat man doch im Miningboom gesehen. Sollte so eine Karte wirklich komplett ausfallen, dann kann man günstig Ersatz kaufen, falls der RAM Bedarf pro Karte nicht sehr hoch ist. 12GB gibt es bei der 5070 für 570 EUR.
Auch da sind sehr viel ausgefallen, warum denkst du haben wir für unseren Cluster das doppelte bezahlt für Garantieaustausch sofort
Er gibt an 500k-1 Million erwirtschaften zu wollen im Jahr, mit Grafiken auf alten modellen die wegen des geringen Vrams (und der total falschen CPU (( 24 Lanes)) ) ich sage mal durchnittliche ergebnisse liefert dazu müsste das 24h laufen 7 tage die woche und 365 tage im Jahr auf volllast
Ja, die Profikarte hat mehr RAM (was evtl. nicht gebraucht wird), aber weniger RAM Durchsatz und auch sonst weniger Leistung. Für den Preis der Profikarte bekommt man aber 2 Consumerkarten. Nie im Leben verrecken zwei Karten über die Nutzungsdauer der Karten, nach drei Jahren sind die sowieso abgeschrieben. Und dann gibt es ja auch noch Gewährleistung und Garantie.
Imho lohnen sich die Profikarten für LLM nicht, anders sieht es aus, wenn ein zertifizierter Grafiktreiber benötigt wird.
@HerrRossi Wie viele hat man danach auf eBay gefunden, wo der RAM durch war? Oder der Chip? Lüfter und Kondensatoren lassen sich ja noch einfach tauschen. Solche Karten eignen sich für Agenturen etc., aber wenn’s darum geht, 24h die KI rendern zu lassen, sind die total ungeeignet.
Wir haben nicht aus Spaß an der Freude den Cluster angeschafft. Auch wir hatten am Anfang die Idee, 4x 5090 bzw. das Workstation Pendant zu verwenden. Haben uns dann zum Glück für etwas Professionelles entschieden.
