KI-Server Build für Interferenz für 2000€

[sokakp]

1. Informieren!
Ich habe hier im Forum nach Standard-Builds für KI-Server (Interferenz- kein Training) (für 2000€) gesucht aber keine gefunden, weshalb ich hier poste und hoffe, dass mir jemand den Link zu solch einem Build schicken kann und ich nur zu ungeschickt bin die richtigen Suchworte einzugeben

Ich habe eigentlich nur dieses Build aus diesem Thread hier ist schon 1 Jahr alt. Da hat sich sicherlich viel getan in der Zwischenzeit.

Die aktuellen Kosten belaufen sich auf ca. 1650 €.

PC-Gehäuse
Corsair 4000D Airflow, schwarz, Glasfenster (CC-9011200-WW)

Mainboard (Motherboard)
MSI B650 Gaming Plus WIFI (7E26-001R)

Prozessor (CPU)
AMD Ryzen 7 7700, 8C/16T, 3.80-5.30GHz, boxed (100-100000592BOX)

CPU-Kühler
be quiet! Pure Rock 2 Black (BK007)

Grafikkarte (GPU, 16GB)
XFX Speedster QICK 319 Radeon RX 7800 XT Core Edition, 16GB GDDR6, HDMI, 3x DP (RX-78TQICKF9)

Arbeitsspeicher (RAM, 64GB)
G.Skill Flare X5 schwarz DIMM Kit 32GB, DDR5-6000, CL32-38-38-96, on-die ECC (F5-6000J3238F16GX2-FX5)

Festplatte (2TB)
Kingston NV2 NVMe PCIe 4.0 SSD 2TB, M.2 2280 / M-Key / PCIe 4.0 x4 (SNV2S/2000G)

Netzteil
MSI MPG A850GF 850W ATX 2.4 (306-7ZP0C11-CE0)

Wärmeleitpaste
Thermal Grizzly Kryonaut Wärmeleitpaste, 1g (TG-K-001-RS)

Monitor
Philips V-line 243V7QDAB, 23.8"

Tastatur
Trust Gaming GXT 863 Mazz Mechanical Keyboard, Gaote Outemu RED, USB, DE (24201)

Und die anderen waren mit 4000 und 5k-7k€ ein anderes preisbudget (hier und hier).

2. Preisspanne?
ca. 2000€

3. Verwendungszweck?
KI Interferenz - Wir hatten jetzt an das Finetuning von Mistral 8x7B 4-bit gedacht oder Llama3. Training ist mit dem Build nicht vorgesehen. Eine Überlegung ist den Build erweiterbar zu machen bzw. das man in hochwertige GraKas investiert um ihn auf einen Level zu heben um auch Trainieren zu können. Aber das steht aktuell in den Sternen und man kann debattieren, ob es Sinn macht, dass jetzt überhaupt zu berücksichten.

Warum insb. einen eigenen Server? Wir wollen mit Firmendaten arbeiten, die laut DSGVO sensible Daten sind. Das ist der Hauptgrund um die Daten zu schützen.
Wir sind 2 Brüder und eine Mum, die KI nutzen wollen um erstmal die Arbeit meiner Mum zu automatisieren im Bereich der Analyse von Wirtschaftsdaten (bspw. DATEV) für KMU. Und später die KI zu bauen um das für Reports, Dashboards, Frühwarn-Systeme usw..
Eigene Workflows für n8n usw.

U.a. wollen wir auf dem Server viele OpenSource-Programme/AIs selber hosten um die Abokosten zu sparen.

Ziel soll sein, dass man den ggf aufrüsten kann mit weiterer Graka, RAM usw.

4. Was ist bereits vorhanden?
Ich denke nichts relevantes - mein alter Tower-PC ist 15 Jahre alt und von euch erstellt und hat mir beste Dienste geleistet <3


5. Geplante Nutzungszeit/Aufrüstungsvorhaben?
der Server soll erstmal das nächste Jahr taugen um zu lernen und wenn wir erfolgreich sind, dann würden sich auch mehr Leistung finanzieren. Gerade erstmal zum ausprobieren und lernen was wir für Kunden nutzen können.


6. Besondere Anforderungen und Wünsche?
Ich habe hoffentlich viele Fragen unter 3. beantwortet.

7. Zusammenbau/PC-Kauf?
Selber zusammenbauen - ein Freund von uns würde den Server zusammenbauen.

Wenn das noch Fragen offen lässt, schreibt gerne, dann versuche ich unseren Anwendungsfall besser zu beschreiben

Vielen Dank für eure Hilfe!

Was wir jetzt schonmal selber als Build zusammen gegooglt haben:

CPU: Ryzen 9 7950X 455 €
Mobo: ASUS ProArt X870E-CREATOR WIFI 484 €
RAM: 4GB (2x32GB) KINGSTON FURY Beast Black DDR5-5200 CL40 RAM Gaming Arbeitssp. Kit 160 €
Netzteil: be quiet! Pure Power 12 1000 Watt Netzteil 80+ Gold ATX 3.1 PCIe 5.1 127 €
CPU-Kühler: be quiet! DARK ROCK ELITE | CPU-Kühler 86 €
SSD: SAMSUNG 990 EVO Plus 2 TB, SSD 125 €
Graka: ASUS Dual GeForce RTX 5060 Ti OC 451 €
Gehäuse: be quiet! Light Base 900 FX 184 €

Summe der Ausgaben 2.071 €

Vielleicht ist das MoBo und die CPU too much - wir hatten überlegt, dass sie helfen, dass wir das Built gut nochmal aufrüsten können.

 

[honky-tonk]

das ist kein server, das ist ein 0815 desktop! Ich bin mir nicht sicher ob eine 5060ti für euer vorhaben ausreichend leistung bietet, gerade wenn ihr das beruflich machen wollt ist zeit=geld

habt ihr schon erfahrung mit KI? nicht dass ihr jetzt blind was kauft und dann merkt, das ist komplett das falsche. da würde es sich anbieten das erstmal zum rumspielen in der cloud zu mieten und erst wenn's ernst wird und ihr wisst wieviel performance ihr braucht das als server hinzustellen

 

[Azghul0815]

Ähm....
Für das was.ihr vorhabt, wirds vermutlich selbst mit einer 5090 eng....
Und mit 2000 Euro sowieso...
Also selbst trainieren und co mit Consumer Hardware...
So 128 RAM und ne 5090 würde ich schon empfehlen. Dazu nen 9900x oder nen Intel Ultra 285k.

 

[40l0so]

Pack noch ne 0 hinten dran, dann kommt ihr langsam in die Preisregion eines entsprechenden Servers

 

[Azghul0815]

Allein schon eure Modelle passen nicht in die 16GB VRAM.

 

[Rickmer]

Du brauchst keine 16-core CPU und auch kein 450€ Mainboard.

Einen günstigen Grundbau mit 8-core CPU, 96~128GB RAM und so viele RTX 3090 wie du dir leisten kannst.
Nicht nur hat die 5060Ti zu wenig VRAM, auch die Bandbreite vom VRAM ist sehr gering. Die 3090 ist in beiden Aspekten deutlich besser.

Das logische Upgrade wäre dann ein Threadripper mit mehr Speicherkanälen und mehr PCIe Lanes für mehr GPUs.

 

[Tornhoof]

ie laut DSGVO sensible Daten sind. Das ist der Hauptgrund um die Daten zu schützen.

Dir muss bewusst sein, dass ein gewisser Anteil der Trainingsdaten später in den Modellen wiederzufinden ist, egal ob du Modelle neu trainierst oder sie einfach nur mit deinen Daten erweiterst. Das heißt praktisch gesehen, kannst du ein entsprechend trainiertes Modell nur für einen Kunden einsetzen.

Was du wahrscheinlich eigentlich willst, ist RAG, Retrieval Augmented Generation, also mit den Daten "reden" und "Fragen stellen". Das ist ein anderes Problem, deckt aber ggf. einen relativ großen Anteil der Probleme von KMUs ab.

So 128 RAM und ne 5090 würde ich schon empfehlen. Dazu nen 9900x oder nen Intel Ultra 285k.

AMD, der Ultra hat keine AVX512 Unterstützung und so einige der erweiterten Algorithmen können damit gut was anfangen

 

[lazsniper]

modelle trainieren, selbst wenns nur ne lora ist, wird z.b. bei replicate auf ner nvidia h200 gpu gemacht - die kostet schlappe 32000 euro - und braucht für das training einer popeligen lora 35 minuten!

ganze modelle trainieren ... die rechenleistung würde ich definitiv auslagern. mit dem budget keinesfalls sinnvoll, wenn du nicht willst das es monatelang läuft

 

[Stanzlinger]

KI und ne 5060 hahaha...selbst ne 5090 könnte zu langsam sein - ist ja nicht so, das es dafür teure Karten gibt

 

[Mxhp361]

Ich hab das ganze mal überflogen und schließe mich der Meinung der anderen an, die 2000€ sind echt zu gering. Ich würde trotz DSVGO in Richtung Server mieten schauen. Für erstmal nur "probieren" langt das alle mal, wenn Ihr dann was gescheitet zum laufen gebracht habt, wisst Ihr wo Ihr steht und könnt ein eigenes System in Erwägung ziehen.

 

[tomgit]

Hier wird ein bisschen viel Unsinn verbreitet...

3. Verwendungszweck?
KI Interferenz - Wir hatten jetzt an das Finetuning von Mistral 8x7B 4-bit gedacht oder Llama3. Training optional würde ich jetzt erstmal auf ein später vertragen.

Was genau wollt ihr denn Finetunen? Bzw. für welchen Workflow wollt ihr LLMs einsetzen. Nicht für jede Aufgabe sind LLMs geeignet, und von den geeigneten Workflows gibt es auch genügend, wo es einfach nicht benötigt wird.

Warum insb. einen eigenen Server? Wir wollen mit Firmendaten arbeiten, die laut DSGVO sensible Daten sind. Das ist der Hauptgrund um die Daten zu schützen.
Wir sind 2 Brüder und eine Mum, die KI nutzen wollen um erstmal die Arbeit meiner Mum zu automatisieren im Bereich der Analyse von Wirtschaftsdaten (bspw. DATEV) für KMU. Und später die KI zu bauen um das für Reports, Dashboards, Frühwarn-Systeme usw..
Eigene Workflows für n8n usw.

U.a. wollen wir auf dem Server viele OpenSource-Programme/AIs selber hosten um die Abokosten zu sparen.

Ziel soll sein, dass man den ggf aufrüsten kann mit weiterer Graka, RAM usw.

Könnt ihr das bitte spezifizieren? Für das meiste, was du hier aufgelistet hast, benötigt es keine große Hardware.
Dashboards, Reports und Prediction ist einfache Statistik, höchstens wirklich abhängig von der Datenmenge - gehe aber bei einem drei Personen Unternehmen jetzt aber nicht gerade von aus, dass hier Terabytes an Daten fließen

Gerne auch per DM genauer abklären

 

[rollmoped]

Mit Training wird das vermutlich nichts.

Ich lasse bereits erstellte FP8 quantisierte Modelle auf einer RX 9070 lokal laufen. Das passt geradeso in den 16GB großen VRAM und läuft sehr gut. Das kann man auch einfach als Linux-Server aufsetzen, sodass es von außen benutzbar ist.

Das Modell wurde aber mit FP16-Präzision erstellt und damit ist es über 40GB groß. Eine passende GPU hätte also 64 oder 96GB VRAM, damit man wirklich etwas damit anfangen kann. Und die kostet dementsprechend sehr viel Geld.

Natürlich kann man sich denken, man nimmt einfach die CPU zum Training und setzt entsprechend viel RAM ein. Aber die CPU ist viel zu langsam dazu.

Update: Man kann aber auch mit normaler Hardware ein wenig mit KI herumexperimentieren und zum Beispiel ein kleines Modell bauen, das vermutlich nicht mit den großen mithalten kann.

 

[freekymachine]

1. Informieren!
Ich habe hier im Forum nach Standard-Builds für KI-Server (Interferenz) (für 2000€) gesucht aber keine gefunden..

Wie bereits erwähnt wurde...

das ist kein server, das ist ein 0815 desktop!

..oder n total typischer Gaming Rechner

Nich das ich grad nem Kollegen so micro-experimental KI Rechner zum ausprobieren gebaut hab..

An sich brauchste fast "gar nix" - wenns danach geht reicht n Core i3 6300 / 16GB Ram.
Hauptsache du hast :
4x ne Geforce 5090
oder halt 4x ne A6000
ggfs gleich 4x ne Nvidia H100

Das ist alles was du als "KI" Rechner willst - "irgendetwas" wo man soviele Grafikkarten wie möglich draufstopfen könnte - Mining lässt grüßen

Oder wenn man es halt schon bisschen ordentlich haben will suchste halt sowas wie z.b.

Supermicro X11D Serie - Dual Sockel 3647 - schon für 200€ gesehn
2x Xeon Gold 6130 = 60€
DDR4 ECC Reg. Rams sind teils echt günstig - Bundles mit 6x 16GB für 70€ gesehn

alternativ halt auf Sockel 2011 mit C612 Chipsatz gehn, noch günstiger - selbst ein C602 Chipsatz kann reichen, hat aber nur AVX1 - aber reicht...rest ist halt...

Ja und dann halt wenigstens eine Geforce 5090/RTX A6000 - Alles geld in grafikkarten

 

[HerrRossi]

das ist kein server, das ist ein 0815 desktop!

Prinzipiell ja, aber auch den kann man mit der richtigen Software zum Server machen. Es ist halt eine Budgetfrage, für inferencing ist die 5060 ti mit 16GB schon brauchbar, die liefert halt nur weniger token/sek als eine 5080 oder 5090. Wenn man größere Modelle laden will, kann man halbwegs günstig eine zweite Karte nachrüsten.

Eigene Modelle zu trainieren würde ich auch nicht ausschließen, hier soll ja kein ChatGPT-Konkurrent rangezüchtet werden und die Datenmenge ist überschaubar. Wenn man Python programmieren kann, dann kann man es ja mal versuchen und wenn die Hardware dann doch nicht reicht, kann man immer noch Hardware mieten.

Beim MB kannst du etwas sparen, das hier hat auch 2x PCIe 5.0 x8 Slots: https://geizhals.de/msi-mpg-x670e-carbon-wifi-a2791719.html?hloc=de

Der Kühler ist überdimensioniert, der hier passt auch: https://geizhals.de/thermalright-phantom-spirit-120-se-a2932898.html

Bei der CPU würde ich auf einen 7700 tray setzen, wenn du auf die Herstellergarantie verzichten kannst: https://geizhals.de/amd-ryzen-7-7700-100-000000592-a2872864.html?hloc=de

 

[Looniversity]

Ihr braucht VRAM und Bandbreite. In welcher Form ihr die ranschafft ist eigentlich egal, Hauptsache die Hardware bekommt Strom und Kühlung und etwas Daten aus dem RAM eingetrichtert. 2000 Euro für den VRAM ist arg knapp, selbst um auf Aliexpress größere Chips zu kaufen und die selbst umzulöten (nein, nicht ernst gemeint).

Und später die KI zu bauen um das für Reports, Dashboards, Frühwarn-Systeme usw..

Was ist mit SQL und plot.ly geworden? Wenn es für die Buchführung und interne Kostenrechnung sein soll sollten die Zahlen doch schon stimmen und jemand die Auswertungen mit Sinn und Verstand gebaut haben, statt das dem AI-Thermomix zu überlassen.

 

[Der_Dicke82]

+1 geh auf gebrauchte Serverhardware die quadchannel RAM hat.

Alternativ könnte man auf die AND Ryzens AI mit ordentlich RAM setzen, die haben auch quadchannel RAM

Bei 2000 Euro budget würde vielleicht eine 3090 Sinn machen, sonst ist fast alles out oft Budget.

Schon mal überlegt rechenpower extern anzubieten anzumieten? Da gibt es sicher auch Anbieter in DE

 

[Looniversity]

Schon mal überlegt rechenpower extern anzubieten?

Ich nehme an du meinst anmieten? Dann ja, ist einen Blick wert.

 

[Bullbumba]

Der Framework Desktop wäre da mit dem AMD Ryzen Al Max+ 395 evtl. einen Blick wert. Je nach Budget mit 64 oder 128 GB RAM hätte man was den Grafikspeicher angeht definitiv Luft.
Lieferzeit wäre aktuell allerdings erst in Q3.

 

[Rickmer]

Der Framework Desktop wäre da mit dem AMD Ryzen Al Max+ 395 evtl. einen Blick wert.

Vom VRAM sicherlich
Aber andererseits hat der nur ~212 GB/s gemessene Speicherbandbreite, was für AI sehr wenig ist

 

[tomgit]

Hauptsache du hast :
4x ne Geforce 5090
oder halt 4x ne A6000
ggfs gleich 4x ne Nvidia H100

Mit Verlaub, das wäre höchstens notwendig, wenn Finetuning von Modellen notwendig ist - und das wird aus den Aufgaben heraus nicht wirklich deutlich.
Für die meisten fest genannten Aufgaben wird diese Hardware nicht benötigt.

Dashboards ist meist ne Kombination aus simpler Darstellung von vorhandenen Daten und ne Regressionsanalyse. Dafür braucht man definitiv nicht die Hardware.

Allein schon eure Modelle passen nicht in die 16GB VRAM.

Das ist teilweise falsch.
Llama 3 hat Modelle, die in den VRAM passen.
Eine der Quantifizierungen von Mistral ist klein genug, dass sie auch in den VRAM passen würde (wobei 2Bit schon sehr ungenau ist und daher andere Modelle wahrscheinlich besser wären).

Was ist mit SQL und plot.ly geworden?

Machine Learning ist Teil der KI.

das ist kein server, das ist ein 0815 desktop!

..oder n total typischer Gaming Rechner

Mal ganz davon abgesehen, dass Kollegen sowas schon öfter und länger für ML und Inferenz verwenden, wo soll denn der große Unterschied liegen, als dass Consumer Hardware nicht im Server verwendet werden könnten? Meine Python-Skripte hat es bisher nicht gejuckt.

Aber andererseits hat der nur ~212 GB/s gemessene Speicherbandbreite, was für AI sehr wenig ist

Von welcher "AI" sprechen wir hier, weil den "einen" AI-Workflow sehe ich hier nicht. Außerdem wird der Chip bei den gewählten Modellen die meisten Consumer- und einen Teil der Enterprise-GPUs schlagen, weil diese einfach nicht genügend VRAM haben.

Eigentlich ein Wunder, dass noch keiner auf den Mac Studio oder Mac Mini verwiesen hat, der ab 64GB RAM auch eine Alternative wäre.