Linux-Server für KI-Inferenz um 2500 Euro

[thomas742]

[Bitte fülle den folgenden Fragebogen unbedingt vollständig aus, damit andere Nutzer dir effizient helfen können. Danke! ]


1. Möchtest du mit dem PC spielen?

• Nein.

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?

• KI-Inferenz, z.B. ollama mit einem LLM wie mistral 7b oder llama2 70b. Das System soll schnell sein, damit die KI interaktiv genutzt werden kann. Im besten Fall so wie man es von ChatGPT gewohnt ist. Es wird bei uns intern in der Firma eingesetzt werden. Bei unserem aktuellen Hetzner-Server (Intel Core i7-6700 Quad-Core, 64 GB DDR4, keine GPU) erhalten wir mit mistral 7b eine Leistung von ca. 6 tokens/s. Ein Wert über 40 wäre schön. Die KI-Inferenz Server von Hetzner kosten ca. 200 Euro pro Monat, weshalb wir den Server selbst einrichten und hosten möchten.

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?
Die Kühlung der GPU sollte nicht zu kompliziert sein (habe da noch keine Erfahrungen...). Im idle-Betrieb sollte der Stromverbrauch gering sein.

4. Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
An den Monitor gibt es keine besonderen Anforderungen. Im Serverbetrieb ist falls möglich gar kein Monitor angeschlossen.

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? (Bitte mit Links zu den Spezifikationen beim Hersteller oder Preisvergleich!)

• Nein

6. Wie viel Geld bist du bereit auszugeben?
2000 - 3000 Euro

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Sofort

8. Möchtest du den PC

• selbst zusammenbauen (Ich baue ca. 1x pro Jahr einen Standard-PC zusammen, mit performanten Graphikkarten hatte ich bislang aber noch keinen Kontakt)

 

[metallica2006]

Moin,

wie lange darf die Kiste ausfallen?
Wer kümmert sich, wenn du nicht da bist?

Systemhaus evtl. sinniger?

 

[whats4]

es gibt folglich keine IT?
weil ein kaufberatungs thread für eine firma in einem öffentlichen forum, wos großteils um gaming hardware geht, und das in der rubrik "desktop-kaufberatung" für etwas, was als server betietelt werden soll?

ich geb dem projekt keine guten erfolgschancen, aber vielleicht versteh ich das ja gaanz falsch.

 

[thomas742]

Ok, falls ich hier an der falschen Adresse bin kann ich den Thread wieder löschen. Ich hatte gehofft jemand kann mich beraten bzgl. Komponenten um eine RTX 4080 oder ähnlich, das ist ja etwas aus dem Gaming-Bereich.

 

[M-X]

Bevor wir über Komponenten reden solltet ihr euch über den Betrieb und Wartung Gedanken machen. Wenn ein Ausfall von 1 oder 2 Wochen kein Problem ist, kann man da ggf. selber was basteln. Wenn das Produktiv genutzt werden soll, solltest du wohl eher zu Profi Hardware greifen. Wie sieht es mit dem Betrieb aus? Macht ich das selber ? Patcht ihr das ding selber etc ?

 

[BFF]

Ok, falls ich hier an der falschen Adresse bin kann ich den Thread wieder löschen.

Du bist nur im Falschen Forumsbereich gelandet. Für kommerzielle Nutzung gibt es was eigenes.

-> Professionelle IT und Netzwerke

 

[Model]

Also wenn der alte Skylake Quad-Core schon 6token/s schafft, sollte eine aktuelle Mittelklasse GPU easy das 10-fache schaffen. Die Fragen bzgl. "Drum herum" sind aber trotzdem wichtig.

 

[thomas742]

@M-X: Wir wollen als erstes Erfahrungen machen mit selbst-gehosteten LLMs. Da ist zur Not auch ein längerer Ausfall zu verkraften.
@BFF: Oh, das hatte ich nicht gesehen, dass es einen eigenen Bereich für die kommerzielle Nutzung gibt. Sorry!
@Model: Das hört sich doch schonmal gut an.

Ergänzung (20. März 2024)

@M-X: Das System wird nur für interne Prozesse genutzt und ist von außen nur per SSH-Tunnel zu erreichen. Wir administrieren den Server selbst.

 

[Fujiyama]

Wie wollt ihr es den mit dem Support machen? Was ist wenn du mal im Urlaub bist du die Möhre streikt?
Natürlich kann man auch selber bauen, dann aber darauf achten nicht unbedingt die hier im Forum weit verbreitete lächerliche Gaming Hardware zu kaufen und zu verbauen.

 

[Lotsenbruder]

Schreib doch erst mal die Administratoren an, damit Du ins richtige Unterforum verschoben wirst.

 

[thomas742]

Ok Ihr Lieben, lasst uns den Thread bitte beenden. Ich werde eine andere Lösung finden.