NAS/DAS Optionen für Bildbearbeitung

[reven]

Servus,

ich bin zur Zeit auf der Suche nach einer Lösung für mein Problem an meinem zweiten Arbeitsplatz. Daheim habe ich eine Workstation mit einem 12x4TB RAID 10 mit 24TB. Meine Daten zur zeit sind bei ca. 18TB als erstes Backup hängt eine Synology im Netzwerk. Inzwischen verbringe ich aber immer mehr Zeir an meinem zweiten Computer. Dieser hat intern keinen Platz für so ein RAID System und daher suche ich nach einer anderen Option.

Hier kurz meine Ideen, vielleicht kann mir jemand helfen, was davon Sinn macht oder die bessere Wahl wäre.

1. DAS System wie ein Promise Pegasus3 T3 6-Bay System. Was mir dabei nicht gefällt ist nur T3 und keine andere möglichkeit darauf zuzugreifen. Auch sehr teuer bzw in Deutschland kaum mit 8/10TB HDDs zu bekommen.

2. Die neue Synology DS1819+ mit einer Zusätzlichen 10GbE Adapter für die NAS und den PC.

3. Umstieg auf Qnap mit der Qnap TS-873 - Was ist hier jetzt eigentlich schneller und besser ? Qnap TS-873 vs DS1819+

4. Umstieg auf Qnap mit der Qnap TVS 872XT T3 + 10GbE - deutlich teurer.

5. Freenas - deutlich mehr aufwand beim bauen/config ? - Ist es möglich den "kleinen" Formfaktor wie Qnap und Synology zu bauen? Kommt man preislich so viel günstiger weg?


Vielen Dnak für die Hilfe bzw jeglichen Hinweis und Ideen.

Danke
Christopher

 

[eselwald]

Kannst Du bei deinem NAS kein 10GbE Nachrüsten?

 

[computerbase107]

Wenn TB3 und 10GbE, dann wäre das QNAP TVS-1282T/TVS-882T das "richtige" Nas, zumal die interne Bridgefunktion im QNAP-Nas auch die Verbindung von Ethernet zu Thunderbolt herstellt ohne Aufpreis.
Mehr an Flexibilität in diesem Bereich geht kaum.

 

[spcqike]

Hallo,

unabhängig von der gewählten Lösung, wo liegt denn dein Hauptaugenmerk?
Brauchst du eine 10GbE Schnittstelle? Liegt der Flaschenhals bei der Netzwerkkarte? Oder eher beim Zugriff auf die Bilder selbst? Sprich: Schnelles Netzwerk weil große Datein, oder schneller Zugriff auf viele "Kleine" (SSD, als Datenspeicher oder auch Cache?)
Dann, wie viele Festplatten willst du überhaupt verbauen? die DS1819+ kann maximal 18 vorhalten, die Qnaps nur 8. Bleibst du beim RAID 10? Oder ist ein RAID 5 / SHR eine Option? Große Festplatten bergen ein höheres Risiko im Falle eines Ausfalls (längerer Rebuild, mögliche Bit rot Fehler, höhere Wahrscheinlichkeit des Ausfalls einer HDD während des Rebuilds,...)
Mehr Festplatten brauchen mehr Strom, machen mehr Vibrationen, was sich negativ auswirkt (eher zu berücksichtigen beim Selbstbau)
Hardware- oder Softwareraid?


Meiner Erfahrung nach liegt das Hauptproblem eher bei den Zugriffszeiten durch die HDDs, als bei der 1Gbit Schnittstelle.

 

[reven]

Bei meiner alten NAS kann ich das ganze nicht nachrüsten. Gleichzeitig soll diese auch weiterhin als erstes Beck ab stehen bleiben.

Es geht hauptsächlich um wenige große Daten und nicht viele kleine. SHR ist angedacht, also kein RAID10 auf der nas.

Ich brauche auch keine 1000mb/s aber die 100 über „normales“ Netzwerk ist sehr wenig.

Die Idee bei Der 10gbe Verbindung wäre, dass ich die Nas auch im neuen Arbeitsplatz in einem Jahr komplett in einem 10gbe Netzwerk einbinden kann.

 

[computerbase107]

...
Dann, wie viele Festplatten willst du überhaupt verbauen? die DS1819+ kann maximal 18 vorhalten, die Qnaps nur 8. ....

Dann schaue Dir mal die Erweiterungsboxen von QNAP per USB3 oder Thunderbolt an und schnell wirst Du feststellen, das QNAP Synology in dieser Disziplin hinter sich lässt.

Hier noch ein Link dazu zum vorgeschlagenen QNAP TVS-1282T:
https://www.qnap.com/de-de/compatibility-expansion?model=tvs-1282t3

 

[reven]

Die 1282T hat doch nur T2 oder ?

 

[FranzvonAssisi]

Die 1282T hat doch nur T2 oder ?

Dreimal darfst du raten, warum sie 1282T3 heißt...

PS: Achso, andere hatten die 3 vergessen - hab ich nicht gesehen...

 

[spcqike]

Dann schaue Dir mal die Erweiterungsboxen von QNAP per USB3 oder Thunderbolt an und schnell wirst Du feststellen, das QNAP Synology in dieser Disziplin hinter sich lässt.

Hier noch ein Link dazu zum vorgeschlagenen QNAP TVS-1282T:
https://www.qnap.com/de-de/compatibility-expansion?model=tvs-1282t3

Das hat sich auch auf die verlinkten Geräte bezogen und war keine allgemeingültige Aussage Dass sowohl Qnap als auch Synology größere Geräte haben, ist bekannt.

Was sind denn bei deinen Bildern wenige, große Daten? ich meine, 18TB ist für die meisten nicht "wenige"
Ein RAW Foto einer DSLR würde ich, was das angeht, noch als klein bezeichnen. Ein Stich aus mehreren (Gigapixel Bilder), evtl. sogar als HDR, dann doch als groß.

Einfach, weil ich eine ähnliche Konfiguration habe, würde ich zu Synology mit 4x10TB im SHR und 2x500GB als Cache greifen. da bist du so bei ~2.500€ dabei. bei den SSDs nicht "sparen", und eher Server SSDs holen. die Consumergeräte (à la Samsung 8xx Evo) haben eine bescheidene Haltbarkeit (150 bis 300TB). Ob die TBWs überschritten werden, kommt wieder ganz auf die Anwendung und den Einsatz an.
Trotzdem gilt, das regelmäßige Backup nicht vergessen.

das SHR von Synology ist ein Softwarerraid. mit diversen Vor- aber auch Nachteilen. die Vorteile sind klar die Erweiterbarkeit, die (fast) vollständige Ausnutzung auch von unterschiedlich großen Festplatten, die einfache Migration in andere/größere/neuere Diskstations (durch Wegfall der "Bindung" an einen Hardwareraidcontroller). Nachteile sind eben ein "pseudo BTRFS", höhere Belastung des Prozessores (Intel Atoms) und höhere "Formatierungsverluste". Damit sollte man sich im Vorfeld noch einmal beschäftigen und prüfen, ob das für den eigenen Anwendungsfall wichtig ist.

Wie das Ganze bei Qnap aussieht kann ich nicht sagen

im Selbstbau/Freenas kann man wohl auch SSD Caches hinzufügen, das Dateisystem kann ein echtes BTRFS sein, ob man dieses nachträglich erweitern/vergrößern kann, weiß ich auch nicht

 

[rocketworm]

Wenn ich die Preise vom 1282T3 sehe, würde ich eher selber bauen.

Z.B. In diese Richtung. Ggf. werden noch ein paar kleinteile und nen Betriebssystem dazu benötigt.
https://geizhals.de/?cat=WL-1079525
Ich habe da mal mit einem Hardware RAID-6 mit 5 Platten + eine Hotspare = 30TB Nutzkapazität bei 6 10TB Platten als Beispiel kalkuliert.
Da ich davon ausgehe, das hier nur Windowsfreigaben genutzt werden sollen, könnte man als Betriebssystem auch Windows Server oder wenn nicht all zu viele gleichzeitige Clientzugriffe benötigt werden auch nen Windows 10 Pro nehmen. Alternativ geht auch OpenMediaVault.
Mit nem HBA statt dem Raidcontroller könnte man noch etwas Geld sparen und dann sollte mit Software RAID und Freenas arbeiten ne Lösung möglich sein.

Das Mainboard hat 2x10Gbaste-T onboard, kann bis 128gb ECC RAM.

 

[reven]

War heute den ganzen Tag unterwegs und komme daher erst jetzt dazu nochmal genauer zu antworten.

Natürlich sind es mehr als "wenige", jedoch keine Datenbank Dateien die ins unendlich gehen.

Raws sind ca. 100-200mb große und fertige Bilder zwischen 500mb und 15Gb.

Ich hab mich eigentlich gegen die teuren T3 Modelle entschieden, da Sie für mich doch etwas übertrieben sind. Wichtige Daten bzw aktuelle "Arbeitsdaten" werden immer intern auf M.2 SSDs liegen. Daher tendiere ich zur Zeit wohl Richtung der neuen Synology DS1819+, QNAP TS-873-8G oder gleich einem eigenen FreeNas System. Wobei die neue TVS-872XT natürlich bei der CPU deutlich stärker ist. Kostet aber auch das doppelte zu den andern beiden.

Passmark CPU der NAS

Hier wäre jetzt die Frage ob ich den unterschied der CPUs merke bei meinem Verwendungszweck oder ob ich dies nur merken würde wenn ich z.b. FHD auf Clients streame. (Meine alte 1813+, schafft ca. 3 iOs clients bei 1080p und dann die CPU am Ende.)

Das hat sich auch auf die verlinkten Geräte bezogen und war keine allgemeingültige Aussage Dass sowohl Qnap als auch Synology größere Geräte haben, ist bekannt.

Was sind denn bei deinen Bildern wenige, große Daten? ich meine, 18TB ist für die meisten nicht "wenige"
Ein RAW Foto einer DSLR würde ich, was das angeht, noch als klein bezeichnen. Ein Stich aus mehreren (Gigapixel Bilder), evtl. sogar als HDR, dann doch als groß.

Einfach, weil ich eine ähnliche Konfiguration habe, würde ich zu Synology mit 4x10TB im SHR und 2x500GB als Cache greifen. da bist du so bei ~2.500€ dabei. bei den SSDs nicht "sparen", und eher Server SSDs holen. die Consumergeräte (à la Samsung 8xx Evo) haben eine bescheidene Haltbarkeit (150 bis 300TB). Ob die TBWs überschritten werden, kommt wieder ganz auf die Anwendung und den Einsatz an.
Trotzdem gilt, das regelmäßige Backup nicht vergessen.

das SHR von Synology ist ein Softwarerraid. mit diversen Vor- aber auch Nachteilen. die Vorteile sind klar die Erweiterbarkeit, die (fast) vollständige Ausnutzung auch von unterschiedlich großen Festplatten, die einfache Migration in andere/größere/neuere Diskstations (durch Wegfall der "Bindung" an einen Hardwareraidcontroller). Nachteile sind eben ein "pseudo BTRFS", höhere Belastung des Prozessores (Intel Atoms) und höhere "Formatierungsverluste". Damit sollte man sich im Vorfeld noch einmal beschäftigen und prüfen, ob das für den eigenen Anwendungsfall wichtig ist.

Wie das Ganze bei Qnap aussieht kann ich nicht sagen

im Selbstbau/Freenas kann man wohl auch SSD Caches hinzufügen, das Dateisystem kann ein echtes BTRFS sein, ob man dieses nachträglich erweitern/vergrößern kann, weiß ich auch nicht

Ergänzung (3. Dezember 2018)

Danke, das ganze schau ich mir die tage mal genauer an und werde überlegen ob ich doch soetwas mache. Hab meistens schon sehr viel Spaß am PC schrauben.

Darf ich Fragen wieso du bei FreeNAS zu einer Hardware RAID greifen würdest? Ist das intressante daran nicht, dass es Hardwareunabhängig funktioniert und dadruch bei Ausfall leichter zu ersetzen ist?

EDIT: Grade gesegen, dass sich das Hardware RAID wohl eher auf einen "Windows o.ä." Server bezieht.

Wenn ich einen selber baue wäre FreeNAS oder ähnliches schon sehr intressant, da ich wenn ich umgezogen bin diesen dann als Hauptserver für alles in das Haus installieren würde. (Erster Fotobackup, Cloud Speicher, Überwachungskamera, Film und Musik Server)

Wenn ich die Preise vom 1282T3 sehe, würde ich eher selber bauen.

Z.B. In diese Richtung. Ggf. werden noch ein paar kleinteile und nen Betriebssystem dazu benötigt.
https://geizhals.de/?cat=WL-1079525
Ich habe da mal mit einem Hardware RAID-6 mit 5 Platten + eine Hotspare = 30TB Nutzkapazität bei 6 10TB Platten als Beispiel kalkuliert.
Da ich davon ausgehe, das hier nur Windowsfreigaben genutzt werden sollen, könnte man als Betriebssystem auch Windows Server oder wenn nicht all zu viele gleichzeitige Clientzugriffe benötigt werden auch nen Windows 10 Pro nehmen. Alternativ geht auch OpenMediaVault.
Mit nem HBA statt dem Raidcontroller könnte man noch etwas Geld sparen und dann sollte mit Software RAID und Freenas arbeiten ne Lösung möglich sein.

Das Mainboard hat 2x10Gbaste-T onboard, kann bis 128gb ECC RAM.

 

[rocketworm]

Ergänzung (3. Dezember 2018)

Danke, das ganze schau ich mir die tage mal genauer an und werde überlegen ob ich doch soetwas mache. Hab meistens schon sehr viel Spaß am PC schrauben.

Darf ich Fragen wieso du bei FreeNAS zu einer Hardware RAID greifen würdest? Ist das intressante daran nicht, dass es Hardwareunabhängig funktioniert und dadruch bei Ausfall leichter zu ersetzen ist?

EDIT: Grade gesegen, dass sich das Hardware RAID wohl eher auf einen "Windows o.ä." Server bezieht.

Wenn ich einen selber baue wäre FreeNAS oder ähnliches schon sehr intressant, da ich wenn ich umgezogen bin diesen dann als Hauptserver für alles in das Haus installieren würde. (Erster Fotobackup, Cloud Speicher, Überwachungskamera, Film und Musik Server)

Freenas geht natürlich auch. Das Board hat ja 6 Sata Ports. Wenn du damit hinkommst brauchst du nichtmal nen extra Controller. Wenn mehr als 6 Platten genutzt werden sollen, brauchst du einen Freenas Kompatiblen SATA/SAS Controller. Die sind für ~200-300€ zu bekommen.

Ich habe die Zusammenstellung mal angepasst und habe den Raidcontroller durch einen laut Freenas Forum Kompatiblen HBA(Broadcom 9300-8i) ersetzt:
https://geizhals.de/?cat=WL-1079525

Aber wie gesagt, wenn du mit 6 Festplatten hinkommst, kannst du den weglassen. Das Board hat 6 Sata Ports.

Der Raidcontroller war da drin, da es auf einer Zusammenstellung für meinen eigenen Bedarf basierte, die ich ein wenig angepasst habe. Bei mir läuft eine fast identische Maschine als VMware Server. Ich plane nun jedoch Festplatten und nen Raid Controller nach zu rüsten um diesen auch als NAS zu nutzen.

 

[reven]

Kurze Frage zum erweitern des Speichers und ob ich den Teil richtig verstanden habe:

- Bei Synology SRH-2 (denke Qnap hat was ähnliches) kann ich z.b. 5x10TB Platten anfangen und komme so auf 30TB nutzbaren Speicher. Wenn ich dann mehr benötige und kann ich eine, zwei oder drei weitere Platten reinschieben. Bei drei weiteren 10TB wäre ich dann insgesamt bei 60TB nutzbar.

- Bei FreeNas muss ich mehr aufpassen. Wenn ich mit 5x10TB Platten anfange habe ich ähnlich wie oben 30TB Speicher. Wenn ich jetzt aber mehr brauche muss ich ein neues vDev erstellen, da ich dann bei RAIDZ2 bleiben möchte müsste ich 4 weitere Planne anstatt 3 hinzufügen. Das erbigt dann insgesamt 50TB. (vs 70TB bei Synology wenn ich 9 HDs verwenden könnte)

Habe ich das so richtig verstanden, dass dies der einzige Weg ist bei FreeNas den speicher zu erweitern? Dann müsste ich auf jeden Fall großzügiger Planen, da sonst auch viel Platz verschwende wird. Man könnte natürlich noch sagen, dass bei FreeNas theoretisch 4 Platten ausfallen können, vorausgesetzt es fallen 2 Pro vDev aus. Ist das so korrekt? Oder habe ich was falsch verstanden?

Danke für die Hilfe!

 

[rocketworm]

Habe ich das so richtig verstanden, dass dies der einzige Weg ist bei FreeNas den speicher zu erweitern? Dann müsste ich auf jeden Fall großzügiger Planen, da sonst auch viel Platz verschwende wird. Man könnte natürlich noch sagen, dass bei FreeNas theoretisch 4 Platten ausfallen können, vorausgesetzt es fallen 2 Pro vDev aus. Ist das so korrekt? Oder habe ich was falsch verstanden?

Ja das ist Richtig, bei ZFS kann man keine zusätzlichen Platten wie bei einem klassischen Hardware oder Software RAID hinzufügen.
Du kannst hast bei Freenas zwei möglichkeiten:
- einen weiteren ZFS Pool erstellen, mit dem nachteil nochmal Kapazität für Redundanzdaten zu verlieren
- die platten stück für stück durch größere ersetzen. Platte 1 Raus, größere dafür rein, Rebuild abwarten und dann mit Platte 2, 3, 4... ebenso verfahren.

Vielleicht wäre Openmediavault noch eine alternative. Da plane ich gerade etwas mit zu bauen.

Kleiner Tipp am Rande. Installier dir ein FreeNAS, OpenMediaVault oder was auch immer in einer virtuellen Maschine z.B. mit Virtualbox , VMware oder Hyper-V und teste es einfach und finde so heraus welche Lösung für dich die Beste ist.

 

[spcqike]

Die Idee mit dem testen in einer virtuellen Umgebung ist gut. So kannst du das auch alles schon einmal durchspielen und den Upgrade Vorgang testen (natürlich nicht mit 6x10TB aber mit 6x100GB zB)

Da kannst du dir auch xpenology angucken. Als „Alternative“ zum DSM von synology.
(Kann ich für ein produktiv System nicht empfehlen. Zum Spielen/ testen aber durchaus brauchbar)

Bei einem selbst Bau NAS kann man allgemein überlegen, das „nas os“ zu virtualisieren und die Festplatten per passtrough durchzureichen. Hat den Vorteil dass freie Ressourcen des Servers zB mit einer (oder mehreren) weiteren Linux VM sinnvoll genutzt werden können.