Server vs Workstation Hardware 24/7 KI

[Ser0x]

Guten Tag,

ich habe vor mich mit hobbymäßiger potenziell zukünftig einkommensgenerierender automatisierter Content Erstellung mit Hilfe von KI und Programmierung (wahrscheinlich python) zu beschäftigen und würde das im Optimalfall gerne als 24/7 System laufen lassen. Die KI soll stand jetzt auf dem eigenen Rechner laufen, z.b mit Ollama.
Mir ist bewusst, dass das viel Grafikkartenspeicher benötigt wird, weshalb ich bei nem Pc Upgrade entsprechend nen Mainboard mit Platz für mehrere Grafikkarten einplanen würde. Ich kann noch nicht so abschätzen was Cpu und Ram mäßig so gebraucht wird.
Um Redundanz für Daten zu haben, wäre nen Raid sicher sinnvoll. Und nen Datengrab für private und Content Daten ist ebenfalls in Überlegung.
Hab schon viel recherchiert, aber die Kosten Nutzen Abwägung und wie das mit Server Hardware funktionieren würde, macht mir noch nen Knoten in den Kopf.

Stand jetzt nutze ich privat nen Ax370 gaming k5, 2060 super wird grade zu ersten KI versuchen geliefert, 7 5700x, 32gb ddr4 ram.

1) Ist es richtig, dass Server Hardware trotz höherem Anschaffungspreis nach wie vor am sinnvollsten wäre um ein 24/7 System zu betreiben? Kurze Ausfallzeiten wären da nicht so dramatisch, auch wenn ich das natürlich trotzdem gerne vermeiden würde.
Kann man pauschal sagen, dass Server Hardware stromsparender ist?

2) Profitieren KI berechnungen von EEC Ram?

3) Da ich der einzige Nutzer sein werde, ergibt es dann Sinn im Falle von Server Hardware Windows 10/11 zu installieren? Was gibt es da für sinnvollere Alternativen, wie server os mit vm?

4) Wenn Server Hardware sinnvoll wäre, wo schaue ich da am Besten? Amazon erscheint mir da nicht als richtiger Ansprechpartner. Gebraucht würde für mich auch in Frage kommen, aber ich nehme an Ddr4 sollte es dann schon sein außer ich finde etwas super günstiges mit ddr3?

Bin für jeden Hinweis dankbar

Liebe Grüße Sascha

 

[Fujiyama]

Serverhardware ist eher nicht stromsparender, weil die Priorität nicht auf Stromsparen sondern auf Stabilität und Zuverlässig liegt.
Gibt aber durchaus stromsparende 24/7 Hardware die man verbauen z.B früher die Fujitsu Boards (heute Kontron) und ein Effizientes Netzteil.
Was willst du den generell ausgeben?

 

[Nordwind2000]

Mein UnRAID-Server wird mit Consumerhardware betrieben und läuft auch 24/7 bie ca. 70 Watt. Da die Docker nicht immer zu 100% genutzt werden und die VMs auch nicht immer unter Vollast laufen. Da ich aber ziemlich viele Docker, ca. 25 Stück, und zwei Windows Server-VMs laufen habe, sind 70 Watt ziemlich ok bei 4 SSDs und 4 HDDs. Es muss nicht immer Server-Hardware sein.

 

[Ser0x]

Ich habe da aktuell noch keine Preisvorstellung, mir gehts vor allem erstmal um die Frage was generell für diese Zwecke hardwaremäßig sinnvoll wäre. Es sollte möglichst kostengünstig sein, aber wenn es idiotisch wäre an guter Hardware zu sparen, weil ich sonst langfristig wegen defekten Teilen oder so mehr zahle, oder Zeit und Nerven verliere, wäre auch diese Info hilfreich.

Meine Frage beruht auch auf der Unwissenheit darüber wie sich Server Hardware im Vergleich zu Consumer und Workstation Hardware in Punkto Langlebigkeit, Kosten, Leistung und somit letztlich Preis-/ Leistung verhält.
Da 100% Ausfallsicherheit nicht das Kriterium wäre, würde ich auch auf Serverhardware verzichten, wenn es sich preis leistungsmäßig rechtfertigbar wäre alle paar Jahre? mal hier und da was auszutauschen

 

[Der_Dicke82]

zu 1. Nein das kann man nicht so Pauschal sagen, bei Serverhardware geht es auch um Effizienz und nicht um wenig Stromverbrauch
zu 2. ECC Ram ist eine Möglichkeit zu Fehlererkennung und -berichtigung, also ein Zusatzfeature welches sich nicht auf die Leistung ausschlagen sollte. Ob du es brauchst hängt davon ab, wie wichtig dir Datenintegrität ist und ich würde mal sagen bei KI-Berechnungen ist das eher sekundär.
zu 3. Windows 10 oder 11 sind halt keine Serverbetriebssysteme, das hat Vorteile wenn du den "Server" als Desktop nutzen willst, aber eben auch Nachteile wenn es ein richtige Server sein soll.
Ich denke Linux ist die bessere Basis und braucht auch weniger Overhead, weshalb dann mehr Leistung fürs eigentliche Programm zur Verfügung steht.
zu 4. DDR3 ist wirklich zu alt, ich denke in deinem Fall willst du eigentlich auch gar keinen "Server", sondern einen Desktoparbeitsplatz mit KI-Fähigkeiten.

Gruß, Stefan

@Ser0x Wie ich es mir schon dachte, geht es dir gar nicht um einen richtigen Server, Ich denke deswegen kann man dir auch getrost raten deine Komponenten nach Preis/Leistung auszuwählen.

Bedenke vielleicht auch, das du ein Mainboard mit vielen PCIe Slots nehmen solltest, weil der VRAM muss nicht von einer einzigen Grafikkarte kommen, vielleicht ist es ja günstiger 3 ältere mittelklasse Karten mit 6GB zu kaufen und nicht eine mit 18GB. Vor allem kannst du das auch nach und nach machen.

Du schreibst oben von 24/7 Betrieb und ich denke das solltest du nicht machen, sobald berechnungen beendet sind und/oder du die KI nicht mehr brauchst, fährst du den Rechner einfach runter! Dann ist der Stromverbrauch auch nicht so super wichtig.

 

[Ser0x]

Danke Stefan für die ausführliche Antwort.

zu 1. Nein das kann man nicht so Pauschal sagen, bei Serverhardware geht es auch um Effizienz und nicht um wenig Stromverbrauch

Mir würde es auch mehr um Effizienz gehen, in jeglicher Hinsicht.

Bedenke vielleicht auch, das du ein Mainboard mit vielen PCIe Slots nehmen solltest, weil der VRAM muss nicht von einer einzigen Grafikkarte kommen, vielleicht ist es ja günstiger 3 ältere mittelklasse Karten mit 6GB zu kaufen und nicht eine mit 18GB. Vor allem kannst du das auch nach und nach machen.

Du schreibst oben von 24/7 Betrieb und ich denke das solltest du nicht machen, sobald berechnungen beendet sind und/oder du die KI nicht mehr brauchst, fährst du den Rechner einfach runter! Dann ist der Stromverbrauch auch nicht so super wichtig.

Ja genau das wäre der Plan für Pcie slots.

Meine Wunsch Idee bezüglich des 24/7 Betriebs wäre, dass ich mit Hilfe von Crawlern/Bots, eigener Arbeit, KI dem Pc projektweise nach und nach immer mehr automatisiert zu tun gebe, sodass er theoretisch auch 24/7 ausgelastet sein könnte, oder eben 12-18 Stunden, wenn dadurch hinsichtlich Langlebigkeit oder anderen Vorteilen etwas herausholbar wäre.

 

[Der_Dicke82]

dass ich mit Hilfe von Crawlern/Bots, eigener Arbeit, KI dem Pc projektweise nach und nach immer mehr automatisiert zu tun gebe,

hast du hier konkrete Ideen? Grundsätzlich wäre es besser große KI Modelle für deinen nutzen zu optimieren. Und das braucht zwar Rechenleistung, aber nach ein paar Tagen bist du dann damit durch und kannst warten bis zum nächsten großen Modell.

Teilweise übernehmen auch andere je nach Thema schon diese Arbeit und du kannst optimierte Modelle runterladen.

Gruß, Stefan

 

[Ser0x]

Bislang ist das eher noch alles Wunschdenken, aber konkretere Ideen wären zum Beispiel sich Wissen aus veschiedensten Quellen zu ziehen und dann mit KI Texte für Youtube Videos / Shorts zu kreieren.
Oder im Gaming Bereich Ki zu trainieren um Strategieempfehlungen zu geben oder Analyse zu vereinfachen.
Oder in Richtung Bücher schreiben gehen mit Hilfe von KI, das wäre dann aber eher ne überwachte Arbeit mit selbst gewählten Vorgaben.

Ich kenne prinzipiell den Grundaufbau und die Idee von Neuronalen Netzen aus ner Univorlesung, aber so tief bin ich in der Thematik noch nicht drin.
Den Nutzen Modelle speziell zu trainieren verstehe ich, aber habe da noch keine Erfahrung mit oder wüsste nicht wie ich sowas angehen würde. Falls du irgendwelche Empfehlungen hast, z.b wo man fertig trainierte Modelle runterladen kann, wäre ich auch dafür dankbar.
Ansonsten werde ich erstmal mit Ollama rumspielen und mich reinfuchsen wie und was so geht.

Aber nochmal zur Hardwarefrage:
Würdest du dann trotzdem dabei bleiben Consumer- bzw Workstationhardware (die haben ja meines Wissens nach auch eher mehr Pcie Lanes) Serverhardware vorziehen?

LG Sascha

 

[oicfar]

Aber nochmal zur Hardwarefrage:
Würdest du dann trotzdem dabei bleiben Consumer- bzw Workstationhardware (die haben ja meines Wissens nach auch eher mehr Pcie Lanes) Serverhardware vorziehen?

Willst du in die Hardware mehrere GraKa's einbauen? Dann ist das Relevant. s.u.

Ich kenne prinzipiell den Grundaufbau und die Idee von Neuronalen Netzen aus ner Univorlesung, aber so tief bin ich in der Thematik noch nicht drin.

Aber dann müsstest du schon Grundwissen haben, was da für Hardware passend wäre. Am Ende des Tages ist die Grafikkarte entscheidend. Und du müsstest auch schon den finanziellen Rahmen festlegen. Aktuell wäre die 4090 das Top-Modell. Ohne eine passende GraKa, wirst du mit der CPU nicht weit kommen.

Mir ist bewusst, dass das viel Grafikkartenspeicher benötigt wird, weshalb ich bei nem Pc Upgrade entsprechend nen Mainboard mit Platz für mehrere Grafikkarten einplanen würde. Ich kann noch nicht so abschätzen was Cpu und Ram mäßig so gebraucht wird.

Also es gibt ein Threadripper Setup, wo 4 4090 mit einer WaKü reinpassen. Willst du dann so viel Geld ausgeben um privat KI machen zu können?

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Ergänzung (26. Mai 2024)

Ich spiele auch mit dem Gedanken mir ein System für KI hinzustellen. Im Moment bin ich mir aber noch nicht sicher, wie hoch in mein Budget setzen möchte. Bei den GraKa's steht

• 4090 -> wobei ich hier vielleicht doch abwarten werde, was die 50x0 bringt.
• NVIDIA RTX 4000 SFF Ada -> Verbraucht weniger Strom als 4090. Teuer. Für den preis bekommt man eine 4090.
• NVIDIA RTX 4000 Ada -> 70 Watt GraKa. Schön klein, wenn man einen Mini-Server hinstellen will.

zur Auswahl.

Ich selbst tue mir aktuell schwer sich für bestimmte Hardware zu entscheiden.

Ergänzung (26. Mai 2024)

1) Ist es richtig, dass Server Hardware trotz höherem Anschaffungspreis nach wie vor am sinnvollsten wäre um ein 24/7 System zu betreiben? Kurze Ausfallzeiten wären da nicht so dramatisch, auch wenn ich das natürlich trotzdem gerne vermeiden würde.

Das hängt davon ab, was dein UseCase ist. Brauchst du hardware, die 24/7 läuft.

Kann man pauschal sagen, dass Server Hardware stromsparender ist?

Hängt davon ab, was du mit der Hardware machst. Hardware, die nicht läuft, verbraucht kein Strom und verursacht somit keine Kosten.

2) Profitieren KI berechnungen von EEC Ram?

Sicher, dass du in der Uni dich schon mit KI beschäftigt hast? Sorry, wenn ich so frage.

3) Da ich der einzige Nutzer sein werde, ergibt es dann Sinn im Falle von Server Hardware Windows 10/11 zu installieren? Was gibt es da für sinnvollere Alternativen, wie server os mit vm?

Kann man auch Proxmox nehmen und dann VMs aufsetzen.

4) Wenn Server Hardware sinnvoll wäre, wo schaue ich da am Besten? Amazon erscheint mir da nicht als richtiger Ansprechpartner. Gebraucht würde für mich auch in Frage kommen, aber ich nehme an Ddr4 sollte es dann schon sein außer ich finde etwas super günstiges mit ddr3?

Ich bin eher der Meinung, dass du dich noch richtig tief mit einen Grundlagen beschäftigen solltest. KI machen wollen, aber solche Fragen stellen, passt mir hier nicht zusammen.

Und ich bin der Meinung, dass man hier die Basics nicht erklären sollte.

Bin für jeden Hinweis dankbar

Grundlagen lernen.

Ergänzung (26. Mai 2024)

Vor paar Tagen kam dieser Test heraus.

 

[HerrRossi]

Bislang ist das eher noch alles Wunschdenken, aber konkretere Ideen wären zum Beispiel sich Wissen aus veschiedensten Quellen zu ziehen und dann mit KI Texte für Youtube Videos / Shorts zu kreieren.
[..]
Oder in Richtung Bücher schreiben gehen mit Hilfe von KI, das wäre dann aber eher ne überwachte Arbeit mit selbst gewählten Vorgaben.

Dafür gibt es ja ChatGPT und Co., Ollama kann da sicherlich auch schon einiges. Eine eigene KI zu programmieren und dann trainieren ist imho nicht sinnvoll, dafür brauchst du viel Geduld und Rechenleistung.

Oder im Gaming Bereich Ki zu trainieren um Strategieempfehlungen zu geben oder Analyse zu vereinfachen.

Da weiß ich jetzt nicht, ob existierende LLM/KI-Systeme das können. Das könnte ein Ansatz sein, es selber zu machen.

Zur Hardware: speziell Serverhardware ist auf Dauerbetrieb ausgelegt, da ist jeder Ausfall teuer. Wenn dir das Consumer MB oder Netzteil abraucht, dann hast du halt mal zwei, drei Tage keinen Server, das ist im Hobbybereich kein Beinbruch.
Was die PCIe Lanes angeht, sind Server oder Workstation natürlich klar besser, ich weiß aber gar nicht, ob KI so viel Bandbreite braucht, Kryptomining ging ja auch mit x1 Anbindung gut.