KI System für Studis

[Mac_Leod]

Hi,
für ein KI Studentenprojekt soll ein leistungsstarker Rechner bereitgestellt werden, welcher für eine Gruppe Studis als Grundlage zum Lernen und Testen, diverser slm und llms dient.
Als Unterbau wird Windows 11 mit LM Studio, Ollama und PyTorch.
Das Projektbudget von 4000€ steht.
Dies kann und sollte so gut es geht abgerufen werden.
Der Zusammenbau wird von uns übernommen, nur ist die Frage was genau man an Hardware rein steckt.
Generell kann auch gebrauchte Ware angeschafft werden.
Die zweite Strix wäre toll, aber ein andere (nvlink kompatible) 3090 ist auch ok.
Was ich auch noch nicht weiß, ist ob dieser nvlink Spacer der richtige ist.
Was sagt ihr dazu?

Meine Gedanken zur Hardware:

CPU	Ryzen 9 7900	287€
Baord	MSI MAG X670E TOMAHAWK WIFI	275€
RAM	64 GB 6000er RAM	noch unbekannt (800€ geschätzt)
SSD	WD Black SN8100 1TB	182€
GPUs	3090 MSI Strix (ggf. 2x)	~750€ gebraucht
Netzteil	Seasonic PRIME TX-1300 (6× PCIe 8-Pin)	400€
Gehäuse	Fractal Meshify 2 XL	210€
AIO	Arctic Freezer III 420	100€
3x Lüfter	Arctic P14 Slim PWM PST	20€
nvlink Adapter	aktuell noch unbekannt	-
gesamt		~3770€ (mit 2x3090 RTX)

 

[Khorneflakes]

Was sagt ihr dazu?

Ich frage mich warum es immer wieder Leute gibt, die so einen Stunt versuchen.

ENTWEDER macht man das, weiß was man da macht (und ist sich aller Konsequenzen bewusst), aber dann muss man nicht danach fragen.

ODER man geht zum Partner der Wahl (oder dem Gewinner der Ausschreibung) und lässt sich ein System liefern.

Da du hier fragst sehe ich dich eher in der zweiten Gruppe.

 

[RedPanda05]

ich bin wirklich kein Experte auf dem Gebiet, aber sind die Mac Studios mit maximal viel unified Ram dafür nicht geeigneter, insbesondere mit dem neusten Update?

 

[Khorneflakes]

sind die Mac Studios mit maximal viel unified Ram dafür nicht geeigneter

Oder ein System mit Strix Halo APU. Gibts auch für Business/Enterprise-Kunden, z.B. von HP.

 

[JumpingCat]

Was sagt ihr dazu?

Willst du einen Gaming PC bauen oder wieso diese Hardware Auswahl?

KI Studentenprojekt soll ein leistungsstarker Rechner bereitgestellt werden, welcher für eine Gruppe Studis als Grundlage zum Lernen und Testen, diverser slm und llms dient.
Als Unterbau wird Windows 11 mit LM Studio, Ollama und PyTorch.

Wer kam auf die doofe Idee hier Windows vorzuschlagen?

 

[Mac_Leod]

@Khorneflakes
Das kann ich dir gern beantworten.

Das aktuelle Am4 System mit 5900 Cpu mit 16 GB Ram und 3090 ist in Dauernutzung.
Zusätzlich werden bei Cloud&Heat seit einer Weile Workloads auf verschiedenen GPUs getestet.
Nun wird aber ein weiterer Rechner vor Ort gebraucht.
4000€ Lösungen seitens Dienstleister gibt es keine, was auch nur ansatzweise die Leistung bietet.
Eine einzelne 5090 mit 32 GB Speicher wäre auch mit zu betrachten, rechne ich gerade zusammen.
Die 2x 24GB sind aber eigentlich nicht zu toppen.

 

[JumpingCat]

Eine einzelne 5090 mit 32 GB Speicher wäre auch mit zu betrachten, rechne ich gerade zusammen.

Wenn eh mehrere Leute das System nutzen, wieso dann nicht mehrere kleinere Karten auf einem passendem Board? 3x 5070Ti / 5080 liefert dir 48GB RAM.

 

[Khorneflakes]

4000€ Lösungen seitens Dienstleister gibt es keine, was auch nur ansatzweise die Leistung bietet.

HP Z2 Mini G1a?

Ich würde mich außerdem mal nach den Intel Arc Pro B60 erkundigen.

 

[Tornhoof]

Eure Uni arbeitet nicht mit Google, AWS, Microsoft etc zusammen? Die anfragen ob ihr Credits für sowas bekommt und direkt die Maschinen in der Cloud hosten?

 

[oicfar]

Als Unterbau wird Windows 11 mit LM Studio, Ollama und PyTorch.

Die Frage ist, was du genau mit "KI" machen willst?
Ich nehme an: Inferenz.
Welche Modelle willst du überhaupt laufen lassen?
Usw.

Erst dann kann man planen.

 

[Fujiyama]

Wenn dann würde ich keine alberne Spielzeughardware verbauen, wenn man schon selber Basteln will.
Gibts keine Fertige Workstation wo man noch die Grafikkarte nachrüsten kann? Viele werden ja ohne Grafikkarte ausgeliefert.

 

[sader1994]

ich würde mich an deiner Stelle von Windows mal verabscheiden, weil unter Linux die Programme unter anderem mit weniger Overhead laufen. Kannst du dir ggf auch vorstellen einen älteren Server auf DDR4 Basis zu holen und dort die GPUs einzubauen ? Gerade soch Sache wie pytorch schreiben nach VRAM 32 GB sind grundsätzlich nett aber wenn du in ComfyUI nen Pipeline baust dauert das ein bisschen bis die Modelle getauscht werden.

 

[freekymachine]

Als Unterbau wird Windows 11

Was ??
"Don't" ^^
Naja kann man machen - aber nimm Linux - whatever.

Ansonsten - ka was ich von dem privaten Ai kram halten soll - hab schon 3 Leuten ne Workstation dazu gebaut - 2 davon sind bereits wieder abgeschafft und ich glaub/wette die dritte folgt auch bald...

Ansonsten tuts auch n "alter" Dual-Xeon Sockel 2011 / 3647 - passt deutlich mehr Ram drauf, der auch noch n Tik "günstiger" is +ECC Reg. - jetz is eh zu spät was Ram-Preise angeht...

Rest = In Grafikkarten - alles was einem Vram bringt..

Letztens jemanden gesehn der n Threadripper 3000er mit 7x A4000er hatte - finds grad leider nicht.
= 112Gb Vram - Karte kost stück ca 600 bis 800€ gebraucht.
Oder wie halt bereits erwähnt wurde3x 5070ti = 48Gb vram - kost halt auch 800€ eine Karte.

3090/4090/5090 zwar auch "cool" - aber halt nicht cool/kühl - so dicke High-End Karten überhitzen immer gerne so schnell und verschleißen so brutal schnell.

 

[HtOW]

Mac Studio mit 256gb unified ram (vram+Deam) und die Maschine rennt.

Windows würde ich definitiv nicht empfehlen

 

[JumpingCat]

Mac Studio mit 256gb unified ram (vram+Deam) und die Maschine rennt.

Der liegt dann in genannten Budget worum sich dieser Threads hier dreht??

 

[HtOW]

Der liegt dann in genannten Budget

Liegt doch im Budget?
5700€ Brutto also 4700€ Netto zwecks Uni bzw normale Vorsteuer und dann die 3090 noch verkaufen.

 

[Mac_Leod]

Eure Uni arbeitet nicht mit Google, AWS, Microsoft etc zusammen? Die anfragen ob ihr Credits für sowas bekommt und direkt die Maschinen in der Cloud hosten?

Genau deswegen sind sie bei C&H aber die monatlichen Kosten sind zu hoch, auch mit hohen Rabattierungen.
Auch mit lahmen Disks und kleinen GPUs wie die A40 ist das ganz schnell schluss.

Die Frage ist, was du genau mit "KI" machen willst?
Ich nehme an: Inferenz.
Welche Modelle willst du überhaupt laufen lassen?
Usw.

Erst dann kann man planen.

Ich garnicht, es soll eine weitere Plattform angeschafft werden, auf der sich die Studis austoben können.
Deswegen sollte so viel wie möglich machbar sein.

Normal sind wir mit der Beschaffung von Clients und Servern beauftragt die mit KI Workload wenig zu tun haben. Daher das Topic hier.
Es wurde bei 2 befreundeten Systemhäusern angefragt, aber keins kann in der Preisspanne irgendwas
liefern.

Wer kam auf die doofe Idee hier Windows vorzuschlagen?

Das ist die aktuelle Arbeitsumgebung der Jungs, ich bin auch kein Windows Freund und würde vieles anders machen...
Geh mal zum Kunden und sag ihm, "mir gefällt nicht, das Ihr Windows einsetzt, ihr müsst einfach mal alles ändern"
So funktioniert die Welt leider nicht.
Mac Studio fällt da leider auch raus.

 

[JumpingCat]

Mac Studio mit 256gb

Zweiter Punkt dagegen: Immer wenn LLm auf Mac mit den RTX Karten verglichen wird, dann sind die Vorteile vom Mac die Lautstärke und wie schön das Gehäuse ist. Und oft noch als Kommentar "Hey aber große Modelle passen in den RAM". Zur Geschwindigkeit findet man selten etwas, und wenn dann sind die Macs auch nicht schnell: https://www.markus-schall.de/2025/1...-funktioniert-lokale-ki-inferenz-auf-dem-mac/

 

[HtOW]

Zur Geschwindigkeit findet man selten etwas

Völlig korrekt aber nach meinem Stand, hängt die Qualität der LLMs erstmal von der Größe des Modells ab. Bei Uni bin ich jetzt mal davon ausgegangen, dass das der Vordergrund ist.

Aber natürlich bietet eine 3090 mehr Rechenleistung wie ein M3Ultra/Max.

Wenn die 48GB für die Modelle reichen wir die Nvidia Lösung sicherlich mehr Spaß machen wobei beide zum testen eigentlich reichen. Ob man 1 oder 2 Minuten auf die Antwort wartet

 

[oicfar]

Ich garnicht, es soll eine weitere Plattform angeschafft werden, auf der sich die Studis austoben können.
Normal sind wir mit der Beschaffung von Clients und Servern beauftragt die mit KI Workload wenig zu tun haben. Daher das Topic hier.

So sieht also Geldverschwendung aus.

• die einen sollen es nutzen, wissen aber nicht, was sie brauchen
• die anderen sollen es beschaffe, wissen aber nicht, was relevant ist

Interessantes Experiment. Bitte hier berichten, wie es ausgegangen ist.

An sich, wenn es eine Spielwiese für Studenten (was für welche genau? ) sein soll, dann braucht man VRAM, VRAM und noch mehr VRAM.

Bei >120k€ z.B.:

• https://servers.asus.com/products/Servers/GPU-Servers/ESC8000A-E13/
• 8x RTX Pro 6000 96GB Server Edition 9-10k€ / GPU -> bei so vielen GPUs sollte man schon wg. Strom und auch der Kühlung schauen, ob das überhaupt betrieben werden kann
• RAM 24x DDR5 64GB ECC 6400 -> aktuell schwer zu bekommen
• 2x AMD Epyc 32+ Cores L3 256MB
• 2x 960GB System NVMe-s
• 4x 7,68TB Daten NVMe-s

Rabatt rausholen.

So was

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

würde ich nicht kaufen.