Neuer LLM Knecht

[chr1zZo]

Ein neuer LLM Knecht muss her. CPU hatte ich zwar erst Threadripper im Auge, aber hab noch mal die Loads verglichen, das meiste läuft doch über GPU/RAM. Gegen 5090 hab ich mich aktuell aufgrund der Preise und Lieferzeiten entschieden, auch wenn ich mehr VRAM und bisschen mehr CUDA/Tensor Power hätte. Der Tower steht in einem klimatisierten Serverraum. Zugriff erfolgt in erster Linie über Terminal / SSH. Jetzt frage ich mich nur ob man nicht noch irgendwo was Optimieren könnte an der Hardware. Vielleicht gleich 256GB RAM? Bin offen für Erfahrungen mit anderen Herstellern die ich hier nicht aufgelistet habe. Money spielt keine Rolle, das Teil erwirtschaftet 500k bis 1Mio.

GPU NVIDIA RTX 4090 24GB (z.B. Gigabyte Aorus / MSI Gaming X Trio) (Gern auch 2x)
CPU AMD Ryzen 9 9950X, 16 Kerne / 32 Threads, bis 5,7 GHz, AM5
Mainboard ASUS ProArt X870E-Creator / MSI MEG X870E ACE (AM5, PCIe 5.0)
RAM 128 GB DDR5-5600 (2× 64 GB Kit, z.B. G.Skill Trident Z5 / Kingston Fury)
SSD 2× 2 TB NVMe PCIe 5.0 (Samsung 990 Pro / WD Black SN850X)
Netzteil 1.200W 80+ Platinum (be quiet! Dark Power 13 / Seasonic Titanium)
Kühlung Noctua NH-D15 / bzw. G2
Gehäuse Fractal Design Define 7 XL / be quiet! Silent Base 802
Betriebssystem Ubuntu 26.04 LTS

 

[midwed]

Money spielt keine Rolle

Gegen 5090 hab ich mich aktuell aufgrund der Preise

auch wenn ich mehr VRAM und bisschen mehr CUDA/Tensor Power hätte

Warum dann überhaupt noch Kompromisse eingehen, wenn dir eine RTX 5090 Vorteile bringt?

und Lieferzeiten

RTX 5090 sind bei vielen Händlern ab Lager und sofort verfüg- und lieferbar, beispielhaft die ASUS TUF Gaming GeForce RTX 5090 OC - bei Caseking, computeruniverse.net, Alternate und so weiter.

Sehe hier kein Problem bzgl. "Lieferzeiten", generell bei RTX 5090 nicht. Die Karten kostet halt was sie aktuell kosten, aber sind gibt es und das auch sofort.

Ob die ganzen Komponenten für dich und deine Anwendungsfälle geeignet sind: Deine Sache 😅

 

[Fujiyama]

Vlt was hochwerigeres zwecks Mainbaord: https://geizhals.de/supermicro-h13sae-mf-retail-mbd-h13sae-mf-o-a3113364.html?hloc=de
Vermutlich würde ich wegen Zuverlässigkeit eher ne fertige Workstation wählen. Auch würde ich keine Spielegrafikkarte verwenden.

 

[Holzfällerhemd]

Money spielt keine Rolle, das Teil erwirtschaftet 500k bis 1Mio.

https://geizhals.de/nvidia-rtx-pro-6000-blackwell-workstation-edition-v197348.html

 

[chr1zZo]

@midwed oh stimmt, dann hab ich falsch geschaut Mein Fehler. Der Unterschied je nach Load ist zwar marginal z.B. bei Image/Video (LTX, FLux) aber ja, gleich das aktuelleste macht Sinn.

@Fujiyama mag sein, aber mir ist bis heute kein MoBo abgeraucht ^^ Es gibt zwar fertige Stations... aber Eigenbau war im Tower schon immer für mich die beste Lösung. Bei 19" sind wir uns sicher einig das man dort passende B2B Lösungen wählt.

@Holzfällerhemd Müsst ich mich erst mal Schlau machen mit den Pro Modellen in entsprechenden Foren, ob es da irgendwelche Kompatiblitätsprobleme gibt (Sollte aber ansich nicht) ^^ Ich meine, 2x 5090 wäre auch eine 6000, bloss das die mehr VRAM hat, wobei mich 64GB VRAM kaum aufhalten würden ^^

 

[Fujiyama]

Ist ja alles schön und gut, aber ist dir dir Tragweite bewusst wenn die blöde Kiste mal streikt? Bis zu 3.000 Euro Umsatz gehen dir pro Tag flöten, willst du wirklich das Risiko eingehen und vorallem für was?

 

[KnolleJupp]

Wichtig ist vor allem viel, viel, viel Arbeitsspeicher und (mindestens) eine gute, passende Grafikkarte.
Ich würde eshalb ehr zu einer Plattform greifen mit QuadChannel-Speicherinterface.

Beispielsweise einen
AMD Ryzen Threadripper 9960X https://geizhals.de/amd-ryzen-threadripper-9960x-100-100001595wof-a3504021.html
auf einem
Asus Pro WS TRX50-Sage WIFI A https://geizhals.de/asus-pro-ws-trx50-sage-wifi-a-90mb1le0-m0eay0-a3547450.html
und z.B.
G.Skill F5-6400R3239F32GQ4-T5N https://geizhals.de/g-skill-t5-neo-rdimm-kit-128gb-f5-6400r3239f32gq4-t5n-a3538278.html.
CPU-Kühler z.B.
Noctua NH-U14S TR5-SP6 https://geizhals.de/noctua-nh-u14s-tr5-sp6-a3047283.html.

Grafikkarte mindestens eine RTX 5090... oder noch deutlich besser eine nVidia RTX Pro 6000, z.B.
https://geizhals.de/nvidia-rtx-pro-...tion-edition-900-5g153-2500-000-a3488390.html

 

[Tenferenzu]

Money spielt keine Rolle, das Teil erwirtschaftet 500k bis 1Mio.

Ans Systemhaus wenden und das Budget auf ein Zehntel des Umsatzes erhöhen.^^

 

[chr1zZo]

@Tenferenzu Systemhaus haben wir keins. Wir haben zwar B2B Accounts bei Cyberport und Caseking und diverse Händler wie Kosatec und ALSO 19" Server ja, aber nicht wegen einer LLM Machine

@Fujiyama ich verstehe dich. Für diverse Prozesse ist natürlich ein 19" Cluster vorhanden mit entsprechender Backup Kapa. Dann gibt es halt mein paar Tage keine neuen Videos/Reels/Bilders etc. Da ist eher wahrscheinlich das mal die 1Gbit Leitung streikt, auch wenn der LTE Fallback greift. USV müsste wohl mit Separat dazu, die aktuelle wird den nicht Abfangen können bei einem GPU Load.

@KnolleJupp hm hab gebenchmarkt. Ja, bei AVX Berechnung (Rust) liegt natürlich der Threadripper vorne. Ollama + Llama 3.3 70B quantisiert sollte ansich passen auf einem 9950X. Selbst mit Zapier und n8n sollte ich nirgendswo in Bottle reinlaufen.

 

[freekymachine]

Money spielt keine Rolle, das Teil erwirtschaftet 500k bis 1Mio.

Falsches Forum - das sind alles Consumer mit Desktop Kram hier..
1mio ? = alter^^ dann gib 20, 30k für ne Karre aus - bloß kein Desktop-Schrott...
Nix Gamer-Grafikkarte - das sind "hobby-kisten" - sowas gehört da rein
H100 - 20k auf ebay

Ans Systemhaus wenden und das Budget auf ein Zehntel des Umsatzes erhöhen.^^

= Oder gleich so !
-> was soll man sich da mit ryzen 9000 rumschlagen - non-ecc ram, Ram Limitierung - kaum PCI-E Lanes.

24/7 Systemsicherheit, stabilität, langzeit, garantiert, schneller, besser, komfortabler, erweiterbar - Ausfall so einer Kiste geht schnell ins Geld = Bei sowas gibs Veträge die bei Ausfall Ersatz garantieren..in Stunden gemessen - was bei einem Supermicro Board / Server / AMD Epyc / DDR5 Ecc reg mit Hot-Swap-Netzteilen zu 99,98% einfach nicht auftritt = Die versicherungen verdienen gut dran^^

Edit ;
Sowas ; https://www.supermicro.com/de/products/system/gpu/8u/sys-821ge-tnhr
Gibs auch gebraucht, kleiner - auch Einzeln ! - Systemhäuser geben sowas auch in nicht 100er Stückzahlen ab^^

 

[Fujiyama]

Normalerweis tut es auch der Herstellersupport, da kann man auch z.T Reaktionszeiten von wenigen Stunden kaufen. Ein Systemhaus ist eigentlich dann interessant wenn man noch weitere Dienstleistungen braucht.

 

[Tornhoof]

Mac M4 Max mit soviel RAM wie möglich, oder M3 Ultra oder so

 

[chr1zZo]

@Tornhoof M5 vorhanden für AVX (Rust). Aber M5 egal ob Pro/Ultra vs. CUDA Power in comfyUI, no Chance! Sind 3 ITler mit Bereitschaft aktiv. Threadripper wäre wirklich Pro bezüglich PCIe Lanes und ECC, das wäre tatsächlich ein Thema.

@freekymachine wäre tatsächlich interessant wenn man das Thema YOLO, ByteTrack/BoT-SORT, OSNet, TransReID, CLIP, BoxMOT + FastReID und Nvidia DeepStream mit integrieren würde. Jedoch sind aktuelle Ergebnisse zwischen 75%-85%, da haben wir noch gewisse Bauchschmerzen

 

[freekymachine]

Wenn unbedingt selbstbau sein muss - klar weil Systemhaus kost ja auch service ;

nimm sowas ;
AMD SP5 Board - Ebay 670€
AMD Epyc SP5 - Ebay 350€
Ram = Preise kennst ja...leider, Ram Teuer - Kiste springt auch mit nur einem Modul an, wenns sein muss.
Guck Portemonaie = alles von 16Gb bis 3TB Möglich.
ECC Reg. wohlgemerkt, nix UDimms... djesus... LMM "Server" ohne Ecc, auf armen Desktop Board^^

Kühler, Netzteil und dann Grafikkarten nach Wahl - auf die Karre passt eh alles 4090, 5090, 6000er oder gleich 1,2,3 H100 ^^

 

[HerrRossi]

Vielleicht gleich 256GB RAM?

Soll das LLM auf der CPU laufen? Das wird dann ziemlich lahm. Auch wenn vom GPU RAM auf das normale RAM ausgelagert werden muss.
Diese Menge an RAM kostet btw. über 5500 EUR und ist nicht lieferbar.

Ist das hier ein Trollversuch?

 

[chr1zZo]

256GB bekomm ich für 3K und Lieferbar @HerrRossi ? GPU Load natürlich. CPU ist zu Lahm.

 

[Tenferenzu]

24/7 Systemsicherheit, stabilität, langzeit, garantiert, schneller, besser, komfortabler, erweiterbar - Ausfall so einer Kiste geht schnell ins Geld = Bei sowas gibs Veträge die bei Ausfall Ersatz garantieren..in Stunden gemessen - was bei einem Supermicro Board / Server / AMD Epyc / DDR5 Ecc reg mit Hot-Swap-Netzteilen zu 99,98% einfach nicht auftritt = Die versicherungen verdienen gut dran^^

Sowas kann ich bei dem Budget echt nur empfehlen. Der letzte Server mit dual Zen3 32 Kern Epyc, 2TB RAM und 4x RTX A5000 schnurrt immer noch wie ein Kätzchen. Kostenpunkt waren damals ca. 30k. Möge er noch lange halten.

 

[HerrRossi]

Was willst du denn dann mit soviel RAM? Kauf die dickste Karte mit dem meisten RAM. Kaufe 2, 3, 4 davon, das skaliert gut oder lasse deine Gelddruckmaschine in 4 VMs laufen, reiche die GPUs durch und mache 2-4 Mio p.a. Wimre brauchst du dafür nicht mal besonders viel PCIe Lanes, ist wie beim Minig auch x1 reicht wohl schon. Das ist aber jetzt kein gesichertes Wissen von mir, ansonsten halt Threadripper oder gleich eine Serverplattform mit vielen PCIe x16 Steckplätzen. Bei so viel Umsatz wie der Kasten generiert sind das doch Peanuts.

 

[chr1zZo]

@Tenferenzu ja vollkommen. Tatsächlich ist mir kein einziger Vertrag mit irgend jemand bekannt bei uns. Und was seit 2015 überhaupt mal gestorben war, waren HDDs in den damaligen QNAPs oder mal ein paar SSDs im Cluster, die man ja easy Austauscht. Ist eher immer mehr der Bedarf da, die Kisten von jedem einzelnen Aufzurüsten ^^ SystemHäuser... ja klar. Hat alles seine Berechtigung. Es gab mal eins bei uns, aber das war nur ne kurze Show.

Natürlich hat das in erster Linie nichts mit dem Hauptgeschäft zutun, das läuft über ganz andere Kanäle. Das hier ist ein SideQuest und soll natürlich gewisse Dinge Automatisieren wie Lead Generierung und co. Deswegen bin ich jetzt nicht so erpirscht hier auf Systemhäuser und co. Und es gibt ja auch schon 2 LLMs, mit älterer Hardware, auch Eigenbau, die sind aber für andere Bereiche im Einsatz.

 

[freekymachine]

256GB bekomm ich für 3K und Lieferbar @HerrRossi ? GPU Load natürlich. CPU ist zu Lahm.

DDR5 Ecc reg ist günstiger als UDimms - 64gb module schon für 500€ gesehn = 256gb ecc reg ddr5 = 2k - die 1K kannste dann gleich den Epyc nehmen..

naja have fun^^