Datenumzug NAS -> NAS (ohne Umweg)

Meetthecutthe

Banned
Registriert
Mai 2012
Beiträge
1.966
Hallo zusammen,

wie bereits in einem anderen Thread ausgeführt habe ich mir ja bereits vor fast 1,5 Monaten zwecks Datengraberweiterung 2 Seagate Archives 8 TB bestellt.
Nachdem diese allerdings nach wie vor noch nicht wirklich deckend Lieferbar sind und man mir seitens des Händlers immer noch keinen absehbaren Zeitrahmen der Verfügbarkeit nennen konnte, habe ich vergangenes Wochenende storniert und mich nach etwas umschauen nun komplett umorientiert.

Es wurde also nach einiger Recherche die Entscheidung zu einem Eigenbau-NAS gefällt und Vorgestern dann die Bestellung aufgegeben (4x4TB HDD , ITX Gehäuse + NT ,Intel j1900 nebst ITX-Board sowie 8GB DDR3).
Das Ganze soll auf Basis von FreeNAS als Raid-Z1 (Raid-5 mit einer ParitätsHDD auf ZFS) konfiguriert werden und schlussendlich 12TB Nutzkapazität und einen "Freischuss" an Plattenausfall ermöglichen.

Mein bisheriges NAS ist ein Fertigprodukt Zyxel NSA-325 mit 10TB jedoch ohne jegliche Ausfallsicherheit (Spiegelung oder Backup).

Ich möchte nun gerne sobald das neue NAS vor Ort und betriebsbereit ist (die Teile befinden sich schon auf dem Lieferweg) eine Migration von ~7TB Daten des vorhanden FertigNAS von Zyxel auf das neue CustomNAS vornehmen.

Das Ganze soll dabei allerdings nach Möglichkeit nicht durch kopieren zwischen gemappten Volumes über einen Rechner, sondern direkt von NAS zu NAS funktionieren.

Was ist dafür zu beachten?
 
Zuletzt bearbeitet:
Sofern beide NAS Lösungen es untersützen würde ich den Spaß via FXP pachen. Einfach ausgedrückt läuft der Datentransfer dann via FTP von Server zu Server, dein Client sagt nur was kopiert werden soll. Als Client-Software sollte FlashFXP als Testversion ausreichen, hoffe ich zumindest ;)
 
Oder du nimmst Rsync, das geht auch direkt von NAS zu NAS. Zumindest auf unserem NAS ist das aber arg langsam. Ich würde, auch wenn du den Weg nicht magst, beide ans Netz hängen und über einen PC kopieren. Dauert dann zwar etwas, aber kann man ja nachts laufen lassen. Mit einem geeigneten Copy-Tool (robocopy oder teracopy) hast du auch ausreichend Möglichkeiten zur Verifikation der Kopie.
 
Danke schon mal für die Tipps.

@ Blade :
Und das würde dann mit einmaligem antriggern seitens des Rechners funktionieren und seinen Lauf zwischen den 2 NAS nehmen auch wenn selbiger herunter gefahren wird (..der Rechner)?

Beim Zyxel habe ich zudem etwas Bedenken wegen dem FTP Protokoll.
Ich habe davon damals über FTP in Richtung eines Windowsclient nur die halbe Transferrate erreichen können als es mir in der gleichen Konstellation mit dem kopieren aus einem NFS Mapping möglich war.

@ redasurc :

Hm, wäre auch eine Überlegung wert. Ich habe rsync allerdings auch noch düster aus einem USB3 Backup als sseeeehr langsam in Erinnerung.


Mein Problem beim kopieren über den Rechner liegt eigentlich weniger in dieser ersten Großmigration, als vielmehr darin dass ich das FertigNAS vielleicht noch als ZweitNAS behalten und zwischendurch das ein oder andere TB umherschichten will.
Beim Weg über den Client müsste selbiger während dessen immer laufen und andererseits wäre die Bandbreite der Copyjobs durch das kreuz und quer schicken übers GBit-LAN vermutlich stark im Keller.
 
Zuletzt bearbeitet:
Nein der Client muss da weiterhin laufen, nur der Datentransfer geht bei FXP direkt von Server zu Server.
 
Hm, damit wäre (die Protokoll-Frage mal außen vor) zumindest schon mal der Flaschenhals an Halbierung der LAN-Geschwindigkeit durch den Umweg über den Rechner vom Tisch.

Ich werde das im Hinterkopf behalten und zudem mal schauen ob es in FreeNAS (evtl auch NAS4Free - steht noch nicht 100% fest) nicht die Möglichkeit -ein Copytool- gibt um auf NFS-Freigaben des Zyxel zuzugreifen und sich von dort zu betanken.
 
Zuletzt bearbeitet:
Rsync wird vermutlich auch Mittel der Wahl werden da scheinbar vom alten wie neuen NAS unterstützt.
 
Zuletzt bearbeitet:
RAIDs ersetzen keine Backups! Das gilt auch für die RAID von ZFS und erst recht wenn man dann noch ZFS ohne ECC RAM fährt, den Mut hätte ich nicht. Statt so eines Selbstbaus hätte ich an Deiner Stellen einen Microserver wie den HP N54L, der leider schon ausläuft oder dessen Nachfolger HP Microserver G8 genommen, wird teils nicht teurer, bietet aber ECC-RAM!
 
Es handelt sich (nach wie vor) ausschließlich um ersetzbare Daten. Daher ist weder ein zusätzliches Backup noch ECC nötig.
Da die Wiederbeschaffung allerdings mit Aufwand verbunden wäre, soll diesbezüglich allerdings wenigstens mit moderatem Aufwand eines Raid-Z1 ein wenig zusätzliche Sicherheit erzeugt werden.
Ich werde allerdings -nachdem ich nun noch ein wenig um ZFS geschmökert habe- wohl lieber gleich mit 16GB Ram an das 16TB NAS gehen anstatt den bestellten 8GB.

Es geht hier -im Thread- allerdings hauptsächlich um den Copyjob von NAS zu NAS.
 
Zuletzt bearbeitet:
Hey,

16 GB sind bei der Größe Pflicht.

Ich würde auch rsync nehmen.
Du loggst dich auf dem neuen NAS per SSH, und dann geht es los. Erstmal screen starten - so kannst du dich einfach ausloggen und deinen PC ausschalten!

Code:
screen
rsync --progress -ave ssh altesnas:/deine/daten /lokaler/Speicherort

Mit STRG+A; STRG+D kannst du dich von der screen Session trennen, deinen Rechner herunterfahren etc.

Später dann einfach per

Code:
screen -rd

wieder mit der Sitzung verbinden.

MfG.
 
Update :

Ich habe mich -nachdem RSync vom alten NAS- sehr langsam lief, Vorgestern doch dazu entschlossen für die Migration auf ein kopieren über Freigaben vom Rechner aus zu setzen.
Zwar dauerte dies auch gut 1,5 Tage, nun jedoch sind die zu verschiebenden 7,5TB auf dem neuen NAS.

Ebenso habe ich bereits meine Backupjobs umgeschwenkt, die Rechtevergaben vorgenommen, zugreifende Endgeräte umkonfiguriert, Transmission in Betrieb und das Protokollmanagement konfiguriert .

Kurzum.. : Das neue NAS ist komplett integriert und das alte sogar bereits außer Betrieb, die Platten Verkaufsicher gelöscht\überschrieben und alles zum Weiterverkauf verpackt (ich habe mich dazu entschlossen das die Kapazität des neuen NAS für sich alleine erst mal ausreichen sollte/muss :) ) .

Eine Frage hätte ich allerdings noch zu dem vielerorts angesprochenen Ram-Bedarf des ZFS Dateisystem.
Man liest ja überall man solle dabei Minimum 1GB-Ram Pro TB Speicher rechnen.
Ich habe den angedachten zweiten 8GB Riegel für das 16TB NAS dabei vorerst noch nicht gekauft und konnte nach 2,5 Tagen des Beobachtes der Auslastung trotz diverser Copysjops und mittlerweile 60%tigen Betankung nicht mal annähernd eine Auslastung der 8Gb feststellen.

Das NAS nimmt sich unmittelbar nach Start 16% der 8GB und war auch nach Stundenlangen Katalogisierungs und Kopiejobs nie hungriger als 20%.
Kommt der Speicher-Hunger bei ZFS erst mit fortschreitender Alterung/Fragmentierung des Verbund zum tragen oder passt da irgendwas nicht?
Oder liegt es einfach daran das der Raid-Z1 aus 4 7200er Platten 1-2 parallel Zugriffe ohne großes Zwischenspeichern weg-schreibt ?
Denn mit der Geschwindigkeit bin ich eigetnlich sehr zufrieden. Ich lese mit 90-100MB/s, schreibe mit 80-90MB/s und auch zeitgleich nebenher laufende Zugriffe werden quasi verzögerungsfrei umgesetzt.
 
Zuletzt bearbeitet:
Nachtrag : Ich habe nun noch ein bisschen Feinschliff betrieben.

Der Verbrauch liegt nun bei ~42-44Watt "unter Feuer" und 20Watt wenn die 4 Platten schlafen. Vermutlich knappst sich das 300Watt Bequiet-NT hier ~5-8 Watt mehr ab als es ein externes 60-70Watt NT getan hätte.

Der Datendurchsatz bei großen Dateien liegt nun bei 100MB/s schreiben und 110MB/s lesen (je 40-50% Prozessorauslastung des J1900).

Alles in allem bin ich mit dem aktuellen Stand zufrieden.
 
Zuletzt bearbeitet:
Nein, bisher noch nicht.
Ich habe allerdings eben mal ein bisschen danach gesucht. Liest sich interessant. Werde es wohl bei Gelegenheit mal testen.

Danke für den Tipp.
 
Zurück
Oben