Vom NUC zur DIY-Lösung: Proxmox + NAS in einem Gerät – wo fange ich an?

[CGPU]

Hallo zusammen,

zunächst: Ich hoffe, dass ich hier korrekt bin.

Bisher sieht es bei mir zu Hause so aus:

• Gaming PC (Specs kann ich nachliefern)
• Office PC (Specs kann ich nachliefern)
• Intel NUC (8 x Intel(R) Core(TM) i5-9300H CPU @ 2.40GHz; G.Skill Ripjaws SODIMM DDR4-2666 - 32GB - CL19 - D)

Auf dem NUC ist Proxmox installiert. Ich nutze die Hardware für Home Assistant, Docker Anwendungen, um Linux auszuprobieren und ein paar Web-Apps laufen darüber.
Grundsätzlich langweilt sich die Hardware sehr:

Aber ich möchte in Zukunft:

• Home Assistant Connect ZBT-2 kaufen und anschließen
• Google Coral ausprobieren
• meine gesamten Fotos, Dokumente aus diversen Clouds herunterladen und (mindesten zusätzlich) lokal speichern. (RAID 5 ?!?)
• theoretisch auch LLMs lokal ausführen. Aber hier eher auf Basis geplanter Jobs und nicht als Chatbot (ich glaube da wären einfach die Hardwareanforderungen und die Leistungsaufnahme zu hoch
• Zentraler Datenzugriff von meinen anderen PCs aus – idealerweise entweder als gemapptes Netzlaufwerk (SMB) im Windows Explorer oder über den Nextcloud Desktop Client, der sich wie OneDrive verhält.

Da wird es mit dem NUC schnell "eng".

Warum auch immer möchte ich eher nicht zu Lösungen wie UGREEN oder Synology greifen, sondern bevorzuge ich eine DIY Lösung. (*)

Nun kenne ich mich mit solchen Geräten überhaupt nicht aus. Häufig werden ja, wie beim NUC, Komponenten auf "Basis eines Laptops" verwendet. Wäre es hier dann möglich den RAM weiterzuverwenden?
Wahrscheinlich ist es nicht sinnvoll möglich die beiden bestehenden PCs hier zu integrieren?
Die Hardware steht im Gästezimmer, daher ist ein hoher WAF bei der Gesamtlösung wichtig. Konkret bedeutet das: leise, kompakter Formfaktor, möglichst wenig sichtbares Kabelchaos. Ein Tower-Gehäuse ist akzeptabel, solange es nicht wie ein Serverrack aussieht.

(*) Sollte dieser Wunsch aber überhaupt gar nicht "sinnvoll" sein, kann es natürlich eine Fertiglösung werden.

 

[Skysurfa]

theoretisch auch LLMs lokal ausführen.

Wenn Du einen Homeserver auch für KI nutzen willst, dann wird es auf sehr potente Hardware hinauslaufen. Somit wird der Server außerhalb der KI-Nutzung zum "Säufer".

Meiner Meinung nach solltest du hier eine Trennung einführen und LLMs auf separater Hardware laufen lassen. Somit wäre dein NUC wahrscheinlich in der Lage alle Deine anderen Wünsche problemlos zu erfüllen. Das kannst Du im Vorfeld auch testen. Wenn es Dir zu eng wird, dann ist aufrüsten immer noch eine Option.

meine gesamten Fotos, Dokumente aus diversen Clouds herunterladen und (mindesten zusätzlich) lokal speichern. (RAID 5 ?!?)

Raid macht in meinen Augen keinen Sinn, es sei denn Du brauchst eine weitreichende Verfügbarkeit Deiner Daten. Ein Backup ersetzt es auf keinen Fall.

 

[derchris]

Aber ich möchte in Zukunft:

• Home Assistant Connect ZBT-2 kaufen und anschließen
• Google Coral ausprobieren
• meine gesamten Fotos, Dokumente aus diversen Clouds herunterladen und (mindesten zusätzlich) lokal speichern. (RAID 5 ?!?)
• theoretisch auch LLMs lokal ausführen. Aber hier eher auf Basis geplanter Jobs und nicht als Chatbot (ich glaube da wären einfach die Hardwareanforderungen und die Leistungsaufnahme zu hoch

Also am ZBT-2 wird dein NUC glaube ich nicht scheitern, es sei denn er hat keinen freien USB Port mehr ...

Wie viel TB sind denn deine "gesamten Fotos und Dokumente"? Raid5 impliziert ja schon mal mindestens 3 Datenträger (HDDs)?

Mit Google Coral und lokalen LLMs kenne ich mich jetzt nicht so aus, weiß nur, dass viele dafür Mac Mini M4 nehmen und das da drauf laufen lassen.

 

[CGPU]

Danke für die schnellen Antworten und sorry, dass ich mich an einigen Stellen unklar ausgedrückt habe!

Zu den LLMs: Das sehe ich genauso – ich hätte das vielleicht gar nicht erwähnen sollen, da es kein primäres Ziel ist. Der Fokus liegt klar auf Storage, Proxmox und Home Assistant.
Zu RAID: Danke für den Hinweis – mir ist bewusst dass RAID kein Backup ersetzt. Ich meinte RAIDZ1 unter ZFS als Schutz vor Festplattenausfall, ergänzt durch Proxmox Backup Server und idealerweise eine Cloud-Kopie als dritte Instanz. Hätte ich präziser formulieren sollen.
Zur Datenmenge: Da muss ich passen – ich weiß es ehrlich gesagt noch nicht genau. Ich schätze mehrere Terabyte, allein durch Fotos über viele Jahre. Daher mindestens 3 Festplatten für RAIDZ1.
Zum NUC: Der ZBT-2 ist tatsächlich kein Problem. Das eigentliche Bottleneck ist der Formfaktor – der NUC hat keine internen SATA-Ports für mehrere Festplatten. USB-Lösungen wären möglich, aber für Dauerbetrieb mit ZFS nicht ideal. Daher der Wunsch nach neuer Hardware mit nativen SATA-Anschlüssen.
Ich habe den Erstpost noch um einen Punkt ergänzt: Ich möchte von meinen anderen PCs aus zentral auf die Daten zugreifen – entweder als gemapptes Netzlaufwerk (SMB) im Windows Explorer oder über den Nextcloud Desktop Client, der sich ähnlich wie OneDrive verhält.

 

[bart1983]

Wie Skysurfa richtigerweise sagte: Wenn du einen potenten KI-Server aufbauen willst, dann wird die Maschine auch recht "durstig" werden.

Jetzt noch ein 4. System als NAS/KI-Kombi aufzubauen würde ich nicht machen wollen.

Wäre ich in deiner Situation wäre wohl eher das mein Weg:

Als NAS/Homecloud würde ich für den NUC ein DAS (Direct Attached Storage) kaufen (sowas wie der TerraMaster D5-300 (5-Fächer)). Denn der NUC-CPU samt RAM ist doch noch recht gut & auch stromsparend. Da kannst du unter Proxmox jede erdenkliche NAS-Software laufen lassen & dann das "DAS" an die VMs durchschleifen.
Auch Coral kann man am NUC anschließen & durchschleifen, da Coral Debian (und damit proxmox) kompatible ist.

Für echte KI-ARbeit/-Spielerein würde ich eher meinen Gaming-Rechner nutzen und bei Bedarf (den wir ja nicht kennen, da wir keine Ahnung von der Grafikkarte im GS haben) mit einer potenteren Grafikkarte mit mehr VRAM ausstatten.

 

[netzwanze]

"Terabyte, allein durch Fotos über viele Jahre" Versuch vorher auszumisten!

Meine Konstellation:

Proxmox auf einen Gigabyte MiniPC 5700U
TrueNAS auf einem alten mit 32GB Ram SATA SSDs + 2 Nvme per PCIe Erweiterungskarte
LLM auf dem auf dem Dektop

Der NAS wird für Container, Backup und Datengrab verwendet. Als Backup verwende ich zusätzlich eine externe Festplatte, die ich ab und an anschließe

Da das ganze im Wohnzimmer steht musste - muss alles klein und leise sein.

Ich bin am Überlegen mir mal openmediavault und den Minisforum N5 Air anzusehen.

 

[Arboster]

Wenn man ein gutes Backup hat, würde ich das mit der Redundanz überdenken.
Ich habe mir bei meinem produktiven NAS die Redundanz gespart und somit mehr Platz, bzw Geld gespart.
Das bedeutet bei den aktuellen Preisen bei SDDs/HDDs schon eine deutliche Einsparung.
Redundanz alla RAID5 ist wichtig in Situationen wo man auf die Daten zugreifen können muss.
Im privaten Umfeld sehe ich das nicht.
Wenn man ein gut verfügbares Backup hat, dauert das Einspielen des Backups auch nicht länger als das Rebuild nach dem Ausfall einer Platte.
Außerdem stresst so ein Rebuild die Platten stark. Die Ausfallwahrscheinlichkeit einer weiteren Platte erhöht sich.

 

[Mickey Mouse]

ich mache es ähnlich wie du, verwende einfach deinen NUC solange bis er wirklich nicht mehr reicht und suche dir für KI etwas anderes parallel!

Speicher kannst du in „beliebiger“ USB Form nachrüsten. Ich habe z.B. ein externes 4-fach USB Gehäuse, das die HDD/SSD „einzeln“ an den Host durchreicht als JBOD.
in mehr als 99% aller Fälle ist ein RAID für Privatleute sinnlos. Wenn eine HDD stirbt, dann kündigt sie das in den allermeisten Fällen vorher per SMART an. Das Netzteil im Host stirbt dagegen ohne Vorwarnung. WENN man meint Redundanz aufbauen zu müssen, dann muss man drei Hosts im HA Cluster nehmen, redundante Netzteile, redundante Netzwerkverbindungen usw.

 

[HerrRossi]

Es gibt zB. sowas: https://geizhals.de/fantec-mb-x4u31-2528-a3007058.html?hloc=de Damit kannst du Festplatten extern an dein NUC anschließen und man soll mit speziell diesem Gerät auch eine Softwareraid machen können, weil jede Disk einzeln angezeigt wird. Bei dem Gerät ist aber lt. Bewertungen der Lüfter ziemlich laut, da könnte man natürlich nachrüsten.
Günstigere Alternative: https://www.amazon.de/ORICO-Aluminium-Gehäuse-Festplatten-Dockingstation-Kompatibel-Grau/dp/B0D1QWQ1M5?ie=UTF8&th=1 Soll angeblich auch alle Disks einzeln anzeigen. Lüfter wird bei einigen Bewertungen bemängelt, einer hatte Probleme mit dem USB-Kabel
Du könntest in Proxmox die Festplatten dann an eine TrueNAS oder OpenMediaVault VM durchreichen, damit kannst du dann Shares netzwerkweit zur Verfügung stellen.
Lokale LLM würde ich auf dem PC mit der stärksten Grafikkarte machen.
Bei RAIDZ ist zu bedenken, dass ALLE Festplatten beim resilvern laufen müssen und damit auch alle Platten gestresst werden, wenn dann noch eine Platte ausfällt, sind ALLE Daten futsch. Und je größer die Platten werden, desto länger läuft das resilvering und desto mehr werden die Platten gestresst.
Ich habe mich bei meinem Storage Server für OMV mit Snapraid und MergerFS entschieden, da gibt es eine Parity Disk, von der "resilvered" wird, die andere Disk im Array wird nicht angefasst. Weitere Vorteile: man kann die Disks mit einer normalen Linux Distro mounten und auslesen (bei RAIDZ muss man immer den Array bauen, ist mit Export und Import der Config aber auch nicht das gewaltige Problem); es läuft immer nur die Disk, auf die auch zugegriffen wird (bei RAIDZ läuft bei Zugriff immer der komplette Array)
ZFS ist toll, keine Frage, für den Hausgebrauch aber imho schwierig.

 

[madmax2010]

Zu den LLMs: Das sehe ich genauso – ich hätte das vielleicht gar nicht erwähnen sollen, da es kein primäres Ziel ist. Der Fokus liegt klar auf Storage, Proxmox und Home Assistant.

Es gibt 5 Jahre alte Nanopi boards mit 32gb ram, m.2 slots und 6tflop/s tpu

Muss proxmox sein? Was du beschreibst kann man eigentlich auch easy alles zusammen laufen lassen proxmox ist da vor allem mehr Arbeit

Die Boards haben auf jeden Fall genug Power für kleine lokale LLMs und whisper

 

[empower]

synology ist für mich daten synchronisieren und backup. läuft einwandfrei und man kann dateien sofort wiederherstellen.

proxmox dagegen ist eine super kiste für tools. hier sind scripte, damit ist die installation kinderleicht https://community-scripts.org/