Projekt "Festplatten wiederverwenden"

[mueslimixer]

Hey,

bei mir liegen einige Festplatten herum (HDD,SSD auf SATA, nvme, etc.)

Da habe ich mir gedacht - warum die nicht irgendwie "redundant zusammenfügen", so dass ich aus Clientsicht eine große, virtuelle Netzwerkfestplatte habe.

So eine gute Mischung verschiedener RAIDS (RAID0 wäre z.B. zu heftig, wenn eine Festplatte ausfällt), RAID-1 auch nicht 1:1, da die Platten unterschiedich groß sind.

Daher wollte ich mir ein NAS mit allen möglichen Festplatten, die übrig sind, selbst bauen, so als Datengrab.

Ich bräuchte da einfach ein paar Inspiration von euch hier, ein NAS selbst gebaut habe ich noch nicht, unter Linux aber viel mit software-raids (md0,md1,..) gearbeitet.

Selbst habe ich hier eine Synology-Discstation mit 2 Einschüben (jeweils 6 TB WD RED) drin für das Gewerbliche - ist quasi ein RAID-1

Könnt ihr mir Empfehlung für Hardware geben:
- Stromkosten geringer
-Robust
-Einige Anschlüss an der Hauptplatine/Einschübe im Gehäuse
-Software

Ich möchte da ggf. auch einen Server (nginx, php mariadb, smb) drauf laufen lassen

 

[Gamienator]

Schau dir mal im Aliexpress nach NAS Boards, da gibt es 6, 8 Port Boards. Damit kannst du gut was anfangen.

Durch die unterschiedlichen Größen kannst du dann nur Unraid als Betriebssystem nehmen, weil bei allen anderen RAID warten du gleichgroße HDDs brauchst

 

[wern001]

klar kann man raid1 machen. das limit wäre halt die kleinste platte.
selbst ein raid5 mit unterschiedlich großen platten funktioniert.

 

[stefan92x]

bei mir liegen einige Festplatten herum (HDD,SSD auf SATA, nvme, etc.)

Da habe ich mir gedacht - warum die nicht irgendwie "redundant zusammenfügen", so dass ich aus Clientsicht eine große, virtuelle Netzwerkfestplatte habe.

Warum nicht? Weil du dann völlig unvorhersehbares Verhalten bekommst, mal schnell, mal langsam etc.

Ich würde zumindest mehrere Netzlaufwerke bauen und nach Technologie zusammenfassen - alle HDDs zu einem "Backup-Laufwerk" machen, alle SSDs zu einem für wirklich benutzte Daten oder irgendwie so. Soweit aufzuteilen dürfte schon noch sinnvoll sein.

 

[Gohst]

Zunächst mal sollten die Platten die in einem RAID laufen grundsätzlich identisch sein.
Es gibt zwar auch Lösungen wo das kein Muss ist (z.B softwarebasierte Raid ähnliche Lösungen) aber das ist dennoch suboptimal.

Zunächst wäre gut, deinen Inventar zu studieren und möglichst Bündel aus gleichwertigen Medien zu machen.
Also z.B Disk Pools aus gleichen Festplatten.

Danach kannst du z.B schnelle NVME für Caching nehmen oder Speicherpools die schneller und langsamer sind bauen.

 

[mueslimixer]

Ja, ok, eine Gruppierung werde ich vornehmen.
Da bin ich quasi nicht unbedingt auf unraid angewiesen.
Habt ihr Empfehlungen für Boards (ich schau mal beim ali) / CPUs / Gehäuse / OS?

 

[Araska]

Zunächst mal sollten die Platten die in einem RAID laufen grundsätzlich identisch sein.

Ich meine, gelesen zu haben, die Platten sollten gleich groß aber nicht unbedingt identisch sein, weil dies das Risiko erhöhe, daß mehr als eine Platte innerhalb eines recht kleinen Zeitfensters ausfällt...

 

[Gohst]

Interessant wäre mal:

1. Wie viele Platten sind es denn
2. Wie gross sind die Platten (HDDs sind ja nicht mehr teuer)
3. Welche Anschlüsse brauchst du (SATA, m.2-SATA, m.2 NVME)

Bei vielen Platten wäre es sicher besser einen HBA Controller zu beschaffen. Für den Glücksfall dass es SAS Festplatten/SSDs wären, kannst du mittels SAS-Expander für relativ wenig Geld bis zu 36 Platten pro SAS-Kanal anschliessen.

 

[mueslimixer]

Grob gesagt:

• 2 HDD (alle SATA)
• 3 SDD (alle SATA)

Die NVMe erstmal nicht mitgezählt, die sind aktiv in Desktopsystemen, falls da mal aufgerüstet wird und was übrig bleibt, kommt das später auch in den Pool

So die Größenordnung...

Die SSD sind zwischen 128 und 512 GB
Die HDDs beide 2 TB

 

[tollertyp]

Ich meine, gelesen zu haben, die Platten sollten gleich groß aber nicht unbedingt identisch sein, weil dies das Risiko erhöhe, daß mehr als eine Platte innerhalb eines recht kleinen Zeitfensters ausfällt...

Da Backups sowieso Pflicht sind und ein RAID kein Backup ist...
Wenn der Blitz einschlägt können alle Platten auch im gleichen Zeitfenster ausfallen.

 

[madmax2010]

mach Backups auf die HDDs.

 

[Gohst]

Bei so kleinen Disks macht es eher wenig Sinn die weiter zu verwenden.
1. die HDDs werden recht langsam sein (und steinalt?)
2. Die SSD sind extrem "mixed".

Mach ein JBOD und regelmässig Backups.
Raid macht hier keinen Sinn.


Oder kauf dir zwei HDDs mit min. 4 TB und dann hast du mehr von.

 

[tollertyp]

Wenn es ein Netzwerkspeicher werden soll, würde ich wohl ein NAS mit Docker-Support nehmen. Aber da übersteigt der Wert des NAS den Wert der Datenträger deutlich...

Für einen Server würde ich vermutlich einen Raspi nehmen mit einer der SSDs, den Raspi würde ich nicht als Netzwerkspeicher nutzen mit den beiden HDDs, weil ich die beiden HDDs gar nicht mehr nutzen würde, auch nicht in einen NAS.

Ich habe hier einige 4 TB HDDs rumliegen. Die nutze ich tatsächlich, um regelmäßig Sachen zu sichern, die ich auf einem Netzwerkspeicher habe. Die Sachen sind nicht super wichtig, aber wenn sie gar keine Bedeutung hätten, könnte ich sie ja auch löschen ;-)
Insofern sehe ich das wie @madmax2010.
Ich habe dazu so etwas, was man als IcyBox kennt, so ein USB-SATA-Adapter für 3,5" und 2,5". Könnte auch eine IcyBox bei mir sein (edit: ja, tatsächlich die IB-1232CL-U3).

@Gohst: Sehe ich ähnlich. Ich würde aus den SSDs (sofern m.2) wohl externe USB-Speicher machen (also in ein Gehäuse). SATA-SSDs in der Größe nutze ich direkt mit so einem USB-SATA-Adapter gerne mal.
Und die HDDs, also die würden bei mir wohl in einer Schublade verfallen.

 

[undefined]

Eine Hardwareempfehlung habe ich nun zwar nicht für dich, aber Softwareseitig könntest du dir mal "SnapRAID" in Verbindung mit "mergerfs" ansehen. Dadurch kannst du trotz einem Verbund unterschiedlich großer Datenträger ein einziges Volume bzw. Share erstellen (mergerfs) und hättest dennoch eine gewisse Ausfallsicherheit (SnapRAID), falls sich ein Datenträger mal verabschieden sollte.

Hier eine gute Erklärung dazu: https://perfectmediaserver.com/02-tech-stack/snapraid/
Und als Basis dazu wäre auch OpenMediaVault möglich:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Eigene Erfahrung habe ich damit allerdings nicht, da ich für mich persönlich lieber auf ein klassisches RAID setze.

 

[ABC]

Mit SnapRAID und mergerfs kann man die Unraid-Funktionalität nachbauen. In Unraid werden genau diese Programme verwendet. Unraid kostet halt was.
Ansosnten kann man LVM verwenden um mehrere Volumes zu erzeugen. Diese Volumes kann man zu einem Pool zusammenfassen. Das System verhält sich dann wie mit einer großen HDD.

 

[alturismo]

In Unraid werden genau diese Programme verwendet.

das ist so jetzt nicht richtig anderes Verfahren ...

aber ja, für den usecase als reinen Netzwerkspeicher mit mixed disks und einfachem backup, macht ein stumpfes linux mit mergerfs am meisten Sinn, snapraid wäre jetzt mit Redundanz interessant (file basiert, manuell oder per job getriggert), aber bei 2 pools, ssd, hdd und simplem backup von a > b würde ich simple mergerfs empfehlen.

 

[mueslimixer]

Guten Morgen,
ich seh schon, die Diskussion geht in die Richtung:
Nimm lieder eine Art Adapter und mach der periodische Backups drauf.
Werde ich auch so mit tun.
Angenommen, ich möchte mir demnächst dennoch ein NAS bauen, sei es mit mergefs als Dateisystem oder einer anderen linuxbasierten Software.
Habt ihr dennoch Board/CPU/RAM/Gehäuseempfehlungen für mich?
Das kann durchaus ein Bastelprojekt sein, wo ich immer mal wieder rangehe.
Guten Start in den Tag!

 

[Prof.Theorie]

Angenommen, ich möchte mir demnächst dennoch ein NAS bauen, sei es mit mergefs als Dateisystem oder einer anderen linuxbasierten Software.
Habt ihr dennoch Board/CPU/RAM/Gehäuseempfehlungen für mich?
Das kann durchaus ein Bastelprojekt sein, wo ich immer mal wieder rangehe.

Was möchtest du denn neben Datengrab noch alles mit dem Server machen?

Der "Vorteil" für Heimserver ist, dass selbst lahme Gurken mehr als genug Power haben um hunderte kleine Apps/ Docker laufen zu lassen und Intel seit 1151v1 enorme Fortschritte bzgl. iGPUs und idle-Stromverbrauch gemacht hat, welche dank Win10 zuhauf auf dem Gebrauchtmarkt landen.

Wenn du mit einer handvoll HDDs (2-3) auskommst, kein ECC haben möchtest und dir 2 Kerne ausreichen (sofern du "nur" Daten ablegen und Filme/Serien wiedergeben möchtest [auch mit Transkodierung] sowie ein paar kleine Sachen wie Home-Assistant, Backup-Software usw laufen sollen ist das mehr als genug) kannst du für unter 50€ sowas wie einen Fujitsu P556/P557 E90+/E94+ (die E84+ verbrauchen merkbar mehr Strom im Idle) mit i3 6100/7100, kleiner SSD und 8GB Ram nehmen, einen zweiten Ram-Riegel dazustecken um auf 12/16gb zu kommen (je nachdem ob du 1x8 oder 2x4GB verbaut hast) und hast damit einen kompakten Server den du headless (dh nur Strom- und Lankabel angeschlossen) auf ~10w idle Stromaufnahme trimmen kannst. Sollte der dir aus irgendeinem Grund mal nicht mehr reichen weißt du dann woran es hapert und kannst gezielt aufrüsten, das halte ich - wenn du bereits sagst dass du bastelwillig bist - für sinnvoller als jetzt viel Geld zu investieren.

Für etwas mehr Geld gibt es ähnliche Plattformen (Fujitsu W550/570, Lenovo P310/P320, HP Z240, Dell 3620) auch mit ECC und Unterstützung für die entsprechen Xeon E3 mit bis zu 4c/8t (wobei auch die i3s der jeweiligen Generation ECC unterstützen, i5 und i7 nicht) oder du kannst gucken ob du die entsprechenden Nachfolger mit 1151v2 günstig findest - Achtung, die Xeons der Generation mit mehr als 4c und iGPU gehen schnell Richtung 100€ und sind sehr schwer zu finden.

Ähnlich kannst du auch fertige Server/ Workstations abseits der "großen" Hersteller finden wenn du bei Ebay&Co einfach nach "Xeon", "Workstation" oder "ECC" suchst.

Selbstbau "from scratch" steht dir natürlich alles offen, wobei ich davon abraten würde auf sehr kleine Systeme mit ITX-Mainboard zu setzen: das ist teurer und schränkt dich schnell bzgl. PCIe-Slots und Ram-Steckplätzen ein.