Nachhaltige, skalierbare NAS-Lösung (Große Datenmengen)

Bei Videoschnitt sehe ich vor allem die lahme Latenz bei der Zugriffszeit der HDDs als Problem an und erst danach das Netzwerk mit 1G. Sobald man beim editieren des Videomaterials im Video hin- und herscrollt oder springt wird man immer und immer wieder Zeit mit warten verbringen...
 
CS381 hab ich im Einsatz, wechsel gerade aber auf ein 19" Server Case. Bin sehr zufrieden mit dem CS381, einzig der Preis ist happig.

@Anko. hätte ich Selbstbau unRAID empfohlen. Schade das das keine Option ist. Synology RAID kann "wachsen" aber das geht nur Platte nach Platte und dauert!
 
snaxilian schrieb:
Bei Videoschnitt sehe ich vor allem die lahme Latenz bei der Zugriffszeit der HDDs als Problem an und erst danach das Netzwerk mit 1G. Sobald man beim editieren des Videomaterials im Video hin- und herscrollt oder springt wird man immer und immer wieder Zeit mit warten verbringen...
Ich hätte jetzt sowieso ganz naiv einfach die Dateien, an denen gerade aktiv gearbeitet werden lokal am Rechner vorgehalten.
 
@BeBur Würdest du so machen und ich vermutlich auch aber das geht nicht aus dem Text des TEs hervor. Ich lese da eher "Bearbeitung" auf dem NAS, zumindest aktuell auch wenn er das irgendwann in der Zukunft ändern will (#6, sein Punkt 4.).
Wenn zukünftig die Bearbeitung lokal am PC erfolgen soll dann reichen natürlich HDDs im NAS und 10G macht mehr Sinn da ja dann nur linear gelesen oder geschrieben werden soll und quasi keine random IOPS erfolgen.
 
Bei Bearbeitung vom NAS muss das auf SSDs setzen - selbst am lokalen PC hat man doch keine Lust mehr, hochauflösendes Video von einer HDD zu bearbeiten...

Und mit mehreren Leuten wird das auch nix.

Die Entscheidung, ob irgendwie auf dem NAS bearbeitet werden soll, muss hier fast als erstes kommen - denn davon hängt viel ab. LinusTechTips hatte ewig Probleme damit, dass sich Premiere dauernd aufgehängt hat, weil die Latenz kurzfristig zu hoch war, und das war schon ein SSD Server mit Glasfaser-Netzwerk. Gut, da waren es auch ~5-10 Leute, die da parallel drauf waren.
 
War das nicht der, der über den Totalausfall seines NTFS RAID 5 erstaunt war?
Zum Thema, spätestens bei dreistelligen TB auf HHDs und Cache für parallele Videobearbeitung im TB Bereich wird es doch Zeit für ein richtiges SAN. Ein NAS wird da nicht mehr mitkommen.
 
  • Gefällt mir
Reaktionen: M@tze
@iWaver Wie kommst du denn auf den Trip? Oder wir haben unterschiedliche Vorstellungen/Definitionen davon was NAS und was SAN ist.
Aber warum sollte man da ein SAN brauchen? Ausreichend viele HDDs und ne handvoll SSDs in Kombination mit ZFS können wunderbar ausreichen für Videobearbeitung....
 
Also 60TB sind Kleinkram.

Das wird erst so richtig interessant wenn du in die Region kommst wo nen einzelnes Stirsge nicht mehr ausreicht. Also sowas wie 24 bis 36 3.5" Disks.

Gehen wir mal von 16TB pro Platte aus und machen aus jeder 8er Gruppe nen Raid sechs, dann hast du mindesten 24/8*6*16TB=288TB

Davor muss man sich gar nichts spezielles anschauen. Das geht mit ganz simpler off the shelf Hardware. Wenn du dir die 4U Kisten von z.B. Supermicro anschaust dann haste dann auch noch PCIe slots. Kannst also nochmals 1-4 Jbods dran hängen die jeweils auch nochmals 288TB an Kapazität bringen. Erst danach musst man auf verteilte Systeme gehen.

Wie du siehst kann man da echt weit skalieren, wen. Man sich ne 4U Kiste hinstellt. Da ist eher dann die Frage, ob man HA braucht, oder ob man mehr Bandbreite braucht. Das Netzwerk wird nämlich schnell teuer.

Daher mach dir bitte bitte bitte Gedanken über dein Use Case. Also welche Prozesse hast du? Da ist es wirklich oft besser nen paar DAS zu haben und. Die direktan den Rechner anschließen zu können. Die Latenz ist Kacke, aber die Bandbreit ist Porno. Ist halt wie die Brieftaibe mit SD Karte ;)

Ansonsten, wenn du so viele Daten hast macht eventuell die Sicherung auf Band schon Sinn. Die Medien sind einfach billig und lassen sich besser lagern als HDD. Dafür müsste aber halt klar sein wieviel du wann wo und wie lange sichern musst/willst.

Die Cloud frisst dir da schnell die Haare vom Kopf und überschlagen mal bitte wie lange sowohl der Upload aber vor allem der Dow load braucht. Für TB an Daten sind das schnell viele Tage. Das ist oft nicht akzeptabel.
 
  • Gefällt mir
Reaktionen: snaxilian
Anko. schrieb:
Das Backup würde ich dann in die Cloud (C2, AWS & Co.) geben. Oder hättet ihr da für das Backup eine schlauere Lösung?
Was hast du denn für eine Internetleitung?
Um bei zig TB an Nutzdaten noch sinnvoll ein Backup in die Cloud machen zu können sehe ich symmetrische Gigabit Glasfaser als Mindestanforderung.

Mit einer typischen 100/40 Mbit DSL-Leitung dauert 1TB in die Cloud laden mal eben 2-3 Tage. Mit Gigabit Glasfaser immerhin nur 3h oder so.


Die am einfachsten skalierbare Lösung wäre wohl Backup auf Band. LTO-9 ist frisch auf dem Markt und fasst 18TB unkomprimiert pro Band, wobei der pro-TB Preis bei 12TB (unkomprimiretes) LTO-8 deutlich besser ist.
Unkomprimierte Angabe, da Video bereits komprimiert ist und daher die zusätzliche Komprimierung in der Datensicherung relativ gering ist.

Preistendenz LTO-8: HPE Ultrium LTO-8 Kassette Eco Pack, 20er-Pack aktuell ~1200€ direkt bei Amazon.
Das sind 60€ pro 12TB Kassette oder 5€/TB, HDDs sind da grob Faktor 4 drüber. Außerdem ist Tape besser für Langzeitlagerung geeignet. Da lohnt sich auch die Investition in einen Bandloader, wenn man in Zukunft hohe Datenmengen erwartet.
 
Zuletzt bearbeitet:
Oder ein zweites NAS mit größerer Kapazität (weil man ja mehr Versionierung nutzen möchte), macht die erste Sicherung lokal im LAN, bringt das NAS dann zum Zielort und sichert danach nur noch die Änderungen.

Dürfte aber teurer als Tape sein, dafür für Laien vermutlich einfacher einzurichten. Tapes erfordern aber noch Anschaffungskosten für das Laufwerk und irgendwo und -wie muss das Laufwerk ja auch angeschlossen werden und es braucht ne passende Software. Alles keine Raketentechnik und das sind lösbare Probleme aber sollten nicht verschwiegen werden.
Bei LTO-8 Tapes braucht es mindestens ein LTO-7 Laufwerk, gebraucht ab ca. ~1700€, neu ab ~2200€. Klingt erst einmal viel aber Tapes spielen ihre Stärke aus über die Menge an Daten die relativ günstig mitwachsen kann für dann vergleichsweise wenig Geld.
Die Nachteile sind die höhere Komplexität bzw. man muss sich mit der Backupsoftware beschäftigen oder Zeit gegen Geld tauschen und andere sich damit beschäftigen lassen und der manuelle Aufwand beim Tausch der Tapes. Das tauschen und mitnehmen muss also "antrainiert" werden damit man es nicht vergisst. Der beste Plan fürs Backup bringt nix wenn er nicht umgesetzt wird und ist einer der Gründe warum Leute lieber mehr Geld für Faulheit eintauschen bzw. Geld dafür eintauschen um diese menschliche Fehlerquelle auszuschließen.
 
Bandsicherung bei nur 60TB dürfte kaum wirtschaftlich sein. Neben den Kosten fürs Laufwerk braucht es auch passend Hardware und das ist kein bzw. nicht nur ein NAS.
Und da es kein Eigenbau sein soll, dürfte es deutlich teurer werden.
 
Pandora schrieb:
Bandsicherung bei nur 60TB dürfte kaum wirtschaftlich sein.
Ich hatte den Eindruck, dass hier eine langfristige Planung mit Potential auf Skalierung gewünscht ist. Da muss Band zumindest mal als Option erwähnt werden.
 
Und ja klar, da muss man sich nen gebrauchtes Laufwerk holen bei den kleinen Datenmengen. Zwei Offline Backups von allem tun dann aber auch nicht mehr so weh wie mit HDD. Zudem ist Band halt deutlich besser zu lagern als HDD.

Und Backup sollte einem schon wichtig sein wenn man seinen Lebensunterhalt damit verdient.

Und schau mal hier LTO7 für 540€ https://www.kaufland.de/product/322...RHm7FYT0A-8djSPr0E2P-URTvEjhRSpMaAo79EALw_wcB

Bei 15€/TB Preisvorteil biete bei spätestens 36TB mit Tape schon günstiger als mit HDD. Und das Bandlaufwerk kannste einfach mitnehmen und an nen PC stecken. Wenn du da 60TB offline Backup machen willst, brauchst ja noch nen zweiten Rechner. Da bist du aber schnell ab TB eins mit dem Tape günstiger. Vor allem kannst die auch nen Jahr einfach liegen lasse. HDD sollten alle paar Monate mal an sein...

@Rickmer naja "Skalierung". Wie gesagt, wir reden hier noch über Datenmengen die mit nem kleinen NAS zu bewerkstelligen sind. Eins der größeren Prosumer NAS von Synology oder QNAP mit seinen 8-10 bays wie 1821+ oder 2419+ reichen da schon. Bei denen kann man sogar noch nen JBOD dran hängen, kann die Kapazität also noch steigern, auch wenn die Anbindung dann schwächer ist.

Wie oben schon gesagt unter 288TB ist das alles Kindergarten wenn man keine besonderen Anforderungen an die Bandbreite oder HA hat. Man kann mit JBODs sogar auf ne PB mit ner einzelnen Kiste ohne größere Probleme gehen, wobei die Verwaltung dann schon interessant wird ;)

Erst wenn man mit der Bandbreite nicht hin kommt oder HA braucht wird es eklig, weil man dann mehrere Rechner brauch und dann entweder HA Paare macht mit z.b.. Pacemaker und Corosync oder gleich auf etwas wie Ceph oder Gluster usw geht.

Das frisst dir aber schon die Haare vom Kopf sowohl bei der Anschaffung als auch im Betrieb.
 
Zuletzt bearbeitet:
iWaver schrieb:
War das nicht der, der über den Totalausfall seines NTFS RAID 5 erstaunt war?
Wenn wir das gleiche meinen - so wirklich erstaunt war er nicht.
Damals war der ganze Laden noch ziemlich in einer jank-startup-Phase, und ein Defekt am MB / RAID Controller hat was zerschossen, während gerade das Backup erstellt wurde.

Mittlerweile ist das ganze aber ziemlich gut gewachsen und ausgereift. Minütliche Backups auf einen anderen on-site Server, stündliche Offsite-Backups.

Man sollte also nicht unbedingt die LTT-Videos von vor 5 Jahren dazu schauen, sondern eher das aus den letzten 1-2 Jahren.

Und es ist natürlich auch nicht der einzige Ort, wo man Infos finden kann. Wenn man keine Lust hat, die Infos in den auf unterhaltsam gemachten Videos zu suchen, kann man auch zu Serve the home gehen oder ähnlichen Seiten.
 
Zuletzt bearbeitet:
Danke für die zahlreichen Rückmeldungen - Das freut mich sehr! :) Ich versuche mal kurz alle meine Antworten & Fragen auf eure Kommentare in einem Beitrag zusammenzufassen.

Die Idee mit dem Cold Storage in der Cloud ist sehr cool, jedoch muss ich die Idee mit "Backup in der Cloud" wohl vergessen, da mich netterweise auch einige von euch auf die Internetverbindung bei solchen Cloud Backups hingewiesen haben. Ich habe aktuell eine sehr furchtbare Internetverbindung. Sie schwankt sehr und liegt meistens im Bereich zwischen 5-30 Mbits (30 ist äußerst selten). Daher wird das Backup mit mehreren TB sehr zeitaufwendig und ist für das Business zeitlich nicht akzeptabel. Vielen Dank für den Tipp!

Jetzt ist natürlich die Frage, wie man das Backup ohne Cloud löst. Viele haben geschrieben ich soll es auf Band machen, jedoch brauche ich dazu doch auch eine gewisse Hardware? Kenne das nur flüchtig aus meiner alten Firma.

Die aktiven Dateien lokal auf dem Rechner bzw. auf einer schnellen externen SSD zu haben, ist natürlich eine Möglichkeit. Bei vielen Projekten gleichzeitig und mehrere Personen die daran vielleicht arbeiten, scheint diese Möglichkeit in meinen Augen allerdings nicht sehr Nachhaltig zu sein.

Meine Prozesse sind Videos bearbeiten, Dateien lagern & Dokumente bearbeiten. Mehr würde mir da nicht einfallen, was auf regelmäßiger Basis passiert. Das bearbeiten der Videos ist aber natürlich sehr vielfältig.

Jetzt noch eine Frage, die mich gerne interessieren würde (theoretische Fragen):
1. Wenn ich bei meinem Synology NAS 918+ die 2x10 TB rausnehme und 4x16 TB reingeben möchte, wie könnte ich am schlauesten die Dateien von den 10TB Festplatten auf die 16TB Festplatten bekommen?

Ich werde mir versuchen, so viele Informationen (auch von Experten, Stichwort Systemhaus) einzuholen und dann die in meinen Augen sinnvollste Entscheidung treffen.
 
  • Gefällt mir
Reaktionen: BeBur
Anko. schrieb:
1. Wenn ich bei meinem Synology NAS 918+ die 2x10 TB rausnehme und 4x16 TB reingeben möchte, wie könnte ich am schlauesten die Dateien von den 10TB Festplatten auf die 16TB Festplatten bekommen?
1. Eine der 16TB einbauen und als eigenes Volumen einrichten
2. Daten intern vom alten auf das neue Volumen kopieren
3. Altes Volumen entfernen und die 10 TB Festplatten ausbauen
4. Die drei verbleibenden 16 TB einbauen und das Volumen erweitern (du kannst aus einem Basic auch ein RAID5 oder SHR machen).
https://kb.synology.com/de-de/DSM/tutorial/how_to_expand_storage
 
Anko. schrieb:
1. Wenn ich bei meinem Synology NAS 918+ die 2x10 TB rausnehme und 4x16 TB reingeben möchte, wie könnte ich am schlauesten die Dateien von den 10TB Festplatten auf die 16TB Festplatten bekommen?
Die musst du irgendwo zwischen speichern

Theoretisch könntest du auch die Daten auf eins der 16TB packen, mit den anderen dann ein 3er Raid 5 aufsetzen, die Daten auf das Raid spielen und dann das Raid erweitern. Wäre nervig.
[edit: Nilson beschreibt mehr oder weniger dasselbe, etwas weniger umständlich. Ich vergaß die Eigenschaften des SHR]

Backup brauchst du sowieso, dann kannst du ein Backup machen, die Platten wechseln, und die Daten aus dem Backup wiederherstellen.
 
Ein Offsite-Backup ist im Prinzip nicht optional. Bei Brand, Einbruch, Wasserschaden oben drüber, Blitzeinschlag in der Nähe, etc. sind sonst ggf. alle Daten verloren. Geht gewiss auch mit Bandlaufwerk und halb-manuell (Kasette wird automatisch beschrieben und manuell 'Offsite' gebracht).
 
  • Gefällt mir
Reaktionen: Autokiller677
Anko. schrieb:
Meine Prozesse sind Videos bearbeiten, Dateien lagern & Dokumente bearbeiten. Mehr würde mir da nicht einfallen, was auf regelmäßiger Basis passiert. Das bearbeiten der Videos ist aber natürlich sehr vielfältig.
Das sollte schon noch etwas genauer sein. Also insbesondere wie ist die angedachte Arbeitsweise mit mehreren Mitarbeitern?

Wenn die Stunden/Tage/Wochen mit einem Datensatz hantieren und der nächste erst danach, dann ist ein DAS viel sinnvoller als ein NAS weil man schnell TB an Daten zwischen PCs austauschen kann. Du musst ja Bedenken, selbst mit 10Gbit/s ist die Bandbreite zwischen X Leuten geshared. Wenn 3 Leute nen DAS haben, hat jeder die volle Bandbreite. Also z.b. 12 GBit/s oder mehr, je nach Anbindung
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: snaxilian
Das was @Skysnake sagt! Zuerst musst du klar und deutlich definieren wie gearbeitet werden soll. Erst wenn das klar ist, kann geguckt werden welche Technologien sinnvoll die Anforderungen erfüllen und wenn das klar ist, kann man konkret gucken welche Produkte dies umsetzen können.
Nachteil: Du lieber @Anko. musst dir Gedanken machen. Vorteil: Hast am Ende eine Lösung, die deine Anforderungen erfüllt.

Ooooder du hast darauf nur wenig Lust also fängst du mit irgendwas an und frickelst immer mehr dazu.
Nachteil: Insgesamt höhere Kosten weil du ggf. merkst, dass bisher genutzte Hardware nicht mehr taugt. Vorteil: Du kannst schneller los legen.

Ich sehe hier in dem Thread aber vor allem mehrere Anforderungen:
  • zentraler Primärstorage für Datenablage von Dokumenten. Das kann ein NAS lokal sein oder falls man als Unternehmen sich ms365 business angelacht hat, Sharepoint und/oder OneDrive.
  • Primärstorage für die Videodaten. Das kann ein DAS pro aktivem Projekt sein wenn nicht 2+ Leute parallel daran arbeiten sollen. Bei Parallelität bleibt fast nur ein NAS, hier würde ich auf SSDs als Cache oder SSD-only setzen aufgrund der niedrigen Zugriffszeiten bei random IOPS. ABER: Nicht jede Videobearbeitungssoftware kommt damit klar wenn die zu bearbeitenden Daten nicht lokal liegen. Muss der TE prüfen!
  • Sekundärstorage/Archiv für abgeschlossene Projekte. Wenn man doch noch regelmäßiger darauf zugreifen will/muss, denke ich an ein NAS mit HDDs. Wenn man es aufbewahren will oder muss aber nicht mehr wirklich braucht: LTO/Tape. Aber ernsthaft: Sowas gehört eingepreist oder du übergibst das Material nach Abschluss der Bearbeitung an den Kunden und wenn der es aufbewahren will soll sich dieser darum kümmern.
  • Backup: Sicherung der Dokumente als auch des Primärstorages (egal ob NAS/DAS/Whatever). Im allerbesten Fall willst du Backups stündlich/täglich mit schneller Möglichkeit zur Wiederherstellung UND du willst Offsitebackups für den Desasterfall. Das würde aber einen lokalen Backupstorage UND irgendwas für Offsite bedeuten. Oder du musst Kompromisse eingehen, z.B. wenn Primärstorage ein Snapshot-fähiges NAS ist und du Snapshots als "erste" oder schnelle Sicherung ansiehst und täglich die an dem Tag erstellten Snapshots auf LTO/Tape sicherst und mit nimmst.

Aber bevor du nicht weißt oder klar benennen kannst was du willst und brauchst kann man keine sinnvollen Empfehlungen aussprechen.
 
  • Gefällt mir
Reaktionen: Autokiller677, PHuV und Skysnake
Zurück
Oben