Datentransfer von NAS1 zu NAS2 mit Fullspeed (1 GBit) ? -> 2 Netzwerkadapter korrekt konfigurieren - wie?

[HALOdri]

Wow, war ich schon lange nicht mehr hier unterwegs.

Aber jetzt bräuchte ich mal Hilfe von einem Netzwerkspezialisten.


Ich habe heute ein 2x14TB=28TB WD EX2 Ultra-NAS in Betrieb genommen (nachfolgend = NAS2)
(Ja, das WD-"Mini"-NAS ist nicht der Hit, reicht für meine Ansprüche aber mehr als aus - ich will nur so günstig wie möglich Speicher im Netzwerk haben.)

Ich will nun von meinem anderen 16TB-WD-EX2-NAS (= NAS1) alle Daten rüberziehen, ca. 14 TB belegt.

Dazu habe ich mir extra einen USB3-Netzwerkadapter gekauft, in der Annahme, ich könne damit den Speed von 50 MB/sec auf 100 MB/sec verbessern.

Denn wenn ich über den PC auf beide NAS zugreife (alle 3 Geräte an einem 1 GBit-Switch) und einen Dateitransfer starte, so laufen ja die Daten von NAS1 zum PC und dann vom PC zu NAS2, so dass ich effektiv die Bandbreite halbiere.

Bei 14TB macht es aber schon einen Unterschied, ob ich mit 50 MB/s ganze 80 h (!) brauche oder mit 100 MB/s "nur" 40 h.


Problem ist, dass ich's mit dem 2ten Netzwerkadapter nicht konfiguriert bekomme.

Der Aufbau:

<NAS1> --- <Switch> --- <NIC1>[PC]<NIC2> --- <NAS2>

NIC1=Mainboard-NIC
NIC2=USB3-Adapter

Habe es versucht mit allen Geräten im selben Subnetz (192.168.0.xxx / 255.255.255.0)
Ging nicht so dolle.
So 2 Sekunden scheint der Kopierprozess Vollgas zu geben mit 100 MB/s, dann bricht der Speed aber plötzlich auf 0 ein?
(Liegt nicht am USB3-Netzwerkadapter, da der Transfer vom PC auf NAS2 mit vollen 100 MB/sec klappt.)

Vielleicht klappt da was mit dem Datenstrom nicht, da ja NAS2 hinter dem 2ten Netzwerkadapter ist und quasi nicht "nebeneinander", wie wenn alles an einem Switch hängt?

Habe dann NIC2 und NAS2 eine IP im anderen Subnetz gegeben (192.168.1.xxx)
Dann müsste ich ja eigentlich routen?
Komischerweise kann Windows 10 beide NAS pingen, das Webinterface funktioniert bei beiden.
Beim Kopieren aber wieder dasselbe wie oben - erst 2 Sekunden Vollgas, dann 0.

Habe dann versucht die Verbindung im Netz-und Freigabecenter /Adaptereinstellungen zu brücken.
Das verbindet ja eigentlich 2 Netze miteinander.
Vielleicht könnten auch NAS1 und NAS2 miteinander "reden", aber der PC konnte dann beide nicht mehr ansprechen, was aber natürlich nötig ist um die Daten zu kopieren.

Hier mal die Konfig

Hat jemand eine Idee?
Muss ich da in die Routing-Tabelle einen Pfad zu NAS2 eintragen?

Wenn man googelt findet man zigtausende Einträge zum Thema Netzwerk - nur in dieser spezifischen Konstellation konnte ich nichts finden.
Dabei muss es doch hin und wieder mal jemanden geben, der auch den Inhalt eines NAS auf ein anderes transferiert?

 

[BFF]

Kannst Du nicht von einem NAS direkt zum Anderen Kopieren ohne den lahmen USB und PC dazwischen?

Wie bekommen die Geraete eine IP?
Manuell?

 

[whats4]

also:
mein verdacht ist:
erstens: daß das wd kasterl sparsamst ausgestattet ist, von der hardware.
tweitens: daß die platten smr modelle sind.

 

[wizzi]

Am besten alle 3 Devices an den Switch hängen und im gleichen Subnetz betreiben. Dann kannst doch bestimmt vom einen NAS zum anderen ein SMB Share mounten und die Sachen rüber schieben oder evtl. gibts rsync oder was auch immer dein NAS dir als Optionen anbietet.
Dein 2 Subnetz Szenario funktioniert nicht weil du bei beiden NAS jeweils die IP der entsprechenden Netzwerkkarte deines PCs als Gateway auf dem NAS eintragen musst.

Ob du 100 MB/s erreichst hängt auch von den Platten ab sowie was gerade kopiert wird viele kleine files werden wohl keine 100 MB/s einbringen. Vergewissere dich auch das dein USB Netzwerkadapter auch an einem USB 3.0 Port hängt.

 

[Raijin]

Ich hättr jetzt auch einfach auf NAS1 ein share von NAS2 gemountet (oder andersherum) und dann über die Weboberfläche des NAS kopiert. Dann braucht man den PC überhaupt nicht und kann die Kisten im Hintergrund kopieren lassen, egal ob das dann 4h, 40h oder 400h dauert.

*edit
Auf Seite 48 der Bedienungsanleitung wird beschrieben wie man eine "Remotesicherung" auf ein zweites WD NAS macht.

 

[chrigu]

Nas zu pc zu nas halbiert nichts, es nimmt die Geschwindigkeit des kleinsten Nenner an. Wahrscheinlich die wd Mühle mit Adapter.
Starte einfach im nas selber den Kopiervorgang und lass den pc aus dem Spiel, wie schon geschrieben wurde
Netzwerk Brücken ist was anderes, und pingen geht auch in fremden subnetz.

 

[stabile]

@chrigu

Klar halbiert er die Datenrate, die Geschwindigkeit deines Interfaces begrenzt. Im Idealfall können NAS 1 und 2 jeder volles Gigabit liefern, also rund 112M MB/s. Wenn der PC aber die Daten erst entgegen nimmt und dann direkt weiter schickt, limitiert das GB Interface des PCs selbst.

Erst wenn der PC über einen entsprechenden Switch etwa per 2,5GBe angeschlossen wäre, könnte seine Schnittstelle beide NAS voll versorgen. Allerdings wie schon gesagt, begrenzen wahrscheinlich die beiden NAS. Dauerhaft Gigabit kriegt man erst bei großen Dateien und wenn das NAS mitspielt. Meine 918+ könnte das im Idealfall.

 

[HALOdri]

[Na toll, diesen Text hatte ich schon Samstag morgen verfasst, aber nicht abgeschickt - war wohl noch zu früh...]

Guten Morgen zusammen,

danke für die zahlreichen Antworten - und das mitten in der Nacht!

Ja, tatsächlich kann man eine Sicherung direkt von WD-NAS zu WD-NAS einrichten.

Das habe ich zuerst versucht.
Die Datenübertragungsrate ist mit 60 MB/sec echt bescheiden.
Liegt nicht an kleinen Dateien, sondern am NAS selbst - das Ding hat halt keinerlei nennenswerte Ressourcen.

Außerdem müsste ich mehrere Freigaben einrichten, um häppchenweise kopieren zu können.
Würde ungern einen 40h-Kopierjob starten und durchlaufen lassen.

Das WD-NAS ist tatsächlich extremst limitiert in seinen Möglichkeiten - aber in der Datenübertragung trotzdem schnell.

Sonst bekomme ich von PC zu NAS oder NAS zu PC immer max. Bandbreite, also bei 1 GBit etwa 100 MB/sec.

Ich habe mittlerweile gelesen, dass evtl. rsync startbar ist, wenn man direkt per SSH auf die Linux-Ebene von dem Teil geht.
Ich könnte das zwar machen, ist mir aber zu viel Gefrickel, da nur Kommandozeile.

Vielleicht mache ich es aber wirklich so, da dann der PC nicht an sein müsste.

Unabhängig davon würde ich trotzdem gerne wissen, wie man das oben genannte Netzwerk-Szenario zum Laufen bekommt.

Sowas muss doch gehen.
Bräuchte ich da einen echten Router zwischen NIC2 und NAS2?

@chrigu: kleinster Nenner wäre hier der Netzwerkadapter des PCs. Da der nur 1GBit schafft und gleichzeitig Daten empfängt und sendet, kommen im Endeffekt eben nur 500 MBit Übertragunsrate raus.

Jetzt hast du mich aber auf eine Idee gebracht - könnte meine Netzwerkkarte auf 10 GBit aufrüsten.

Da der Switch mit 1 GBit senden und empfangen kann, müsste es so in beiden Richtungen mit voll Speed laufen.

Der Preis ist allerdings mit ca. 80-100 EUR echt happig.

Ergänzung (18. Mai 2020)

OK, habe es jetzt doch anders gemacht.

Dieser Aufschrieb ist fürs Protokoll und für potentielle Google-Sucher mit demselben Anliegen.

Also - die wirklich schnellste Methode um den Inhalt von einer WD My Cloud EX2 Ultra Festplatte auf die andere zu bekommen, ist direkt in einem PC über den SATA-Anschluß.
(oder ggf. mit 2 SATA-USB-Adaptern auch am Laptop)

Datenrate: ca. 150 MB/sec!
(abhängig von der eingesetzten Festplatte - aber heute sollten alle Platten diesen Wert schaffen, eher mehr.)

Das ist ca. 1,5 mal so schnell wie die max. Datenrate per Netzwerk (ca. 100 MB/sec) und 2,5mal so schnell wie von NAS zu NAS übers Netzwerk zu kopieren (nur ca. 60 MB/sec)

Somit komme ich bei der Übertragung von 16TB rechnerisch auf "nur" noch ca. 30 Stunden.
Trotzdem mindestens 14 Stunden gespart gegenüber max. speed Netzwerk mit ca. 44 Stunden.

Die WD-NAS sind eigentlich kleine Linux-Systeme und formatieren die Platten in EXT4.
Also kann man da einfach auch mit einem "anderen" Linux drauf zugreifen und direkt von Platte zu Platte kopieren.


Folgendes ist zu tun:

[HINWEIS:
das geht NUR DANN, wenn die Platten NICHT verschlüsselt waren.
Damit meine ich nicht eventuelle Passwörter von auf dem NAS eingerichteten Freigaben - die interessieren nicht und werden nicht abgefragt. Gemeint ist die Einstellung "Verschlüsselung" beim Einrichten der Laufwerke.
Wenn verschlüsselt wurde, geht die Datenübertragung ausschließlich übers Netzwerk, da nur der NAS-Controller entschlüsseln kann.]

Man nehme einen (Desktop-)PC, stecke am besten alle eigenen Laufwerke komplett ab.

Man downloade eine Linux-Installations-ISO, z.B. das bekannte Ubuntu (ich habe die aktuelle 20.04 genommen.)
Man nehme "Universal USB Installer" (https://www.pendrivelinux.com/universal-usb-installer-easy-as-1-2-3/) und erstelle sich einen Linux-Installations-Stick.

Man kann Linux auch direkt vom Stick starten. Da ich die Performance direkt vom Stick nicht so dolle fand, habe ich letztlich Linux auf einer kleinen alten SSD installiert, die ich noch rumliegen hatte.

Tipp, wer Linux vom USB-Stick starten möchte: bei den Einstellungen eine kleine "Persistence-Partition" erstellen (1GB reicht schon). So können Einstellungsänderungen im Live-Linux gespeichert werden.

Nach der Linux-Installation Rechner ausschalten, die beiden NAS-Platten an SATA-Anschlüsse anstecken (am besten die "nativen" vom Board - keine von irgendwelchen extra-Controllern, die meist eine andere Farbe haben) und natürlich auch mit Strom versorgen.

Natürlich müssen die Platten nicht fest eingebaut werden, sondern können einfach irgendwo flach und sicher neben den PC gelegt werden.

Dann Linux starten.

Wo sind jetzt die Laufwerke?
Müssen bei Linux erst "gemountet" werden.

(Anleitung hier gefunden, im folgenden Schnellzusammenfassung:
https://askubuntu.com/questions/1029040/how-to-manually-mount-a-partition)

[ 0. Terminal starten ]
(bei Ubuntu 20 .04 App-Menü-Button ganz links unten, dann am besten oben bei der Lupe "Terminal" tippen)

1. Zunächst alle Laufwerke auflisten

lsblk -o NAME,FSTYPE,LABEL,SIZE,MOUNTPOINT

Die Bezeichnungen beachten - die beiden Partitionen in der richtigen Größe mit "ext4" sind die gesuchten.
Bei mir waren es "sdb2" und "sdc2".

2. Mount point Verzeichnis erstellen - 1x für alte Platte, 1x für neue

sudo mkdir /mnt/<name>

z.B.
sudo mkdir /mnt/altehdd
sudo mkdir /mnt/neuehdd

3. Laufwerke mounten

sudo mount -t auto -v /dev/<Bezeichnung> /mnt/<name>

z.B.
sudo mount -t auto -v /dev/sdb2 /mnt/altehdd
sudo mount -t auto -v /dev/sdc2 /mnt/neuehdd


4. Dateien kopieren

Man könnte den in Ubuntu eingebauten Dateimanager nehmen, 2 Fenster aufmachen und wie in Windows eins an den linken und eins an den rechten Rand schieben, um sie einzupassen.

Ich bin allerdings ein riesen Fan vom "Norton Commander" (Relikt aus DOS-Zeiten), bzw. auf Windows "SpeedCommander", eine kommerzielle Version vom "Total Commander".
Das Äquivalent auf Linux ist z.B. der "Double Commander" (gibt auch andere).

Wenn gewünscht einfach mit dem Ubuntu App-Manager installieren.
App-Manager öffnen, mit der Lupe nach "Double Commander" suchen, installieren.

Der "DC" hat den Vorteil, dass man 2 Fenster hat und damit eine schöne Übersicht.
Über den Fenstern werden komfortabel unsere gemounteten Laufwerke angezeigt und beim Kopieren ("F5" als Kürzel) hat man mehrere Warteschlangen und eine schöne "Datei x von y kopiert"-Anzeige mit Restzeit-Schätzung.

Hier dann entweder alle Ordner+Dateien der alten HDD markieren und auf die neue kopieren oder häppchenweise vorgehen.

5. Unmount

Am Ende des Kopiervorgangs zur Sicherheit die Laufwerke wieder "unmounten".

(Wie bei Windows: "sicheres Auswerfen")

sudo umount /dev/<Bezeichnung> -l (<- dies ist ein kleines L)

z.B.
sudo umount /dev/sdb2 -l

sudo umount /dev/sdc2 -l


Allen, die dasselbe vorhaben, viel Erfolg

 

[Humptidumpti]

Netzwerkadapter sind schon seit Ewigkeiten Full-Duplex fähig. Ergo kann man mit einem Gigabit Port in etwa 110MB/s empfangen und gleichzeitig auch versenden. Da wird nix halbiert.

 

[stabile]

Das merke ich gerade auch. Sorry, nicht nachgedacht. Meine Aussage war also definitiv falsch. Danke!

 

[matti87]

Erstell nen virtuellen Switch, binde beide NICs an denselben virtuellen Switch an. Führe alle Geräte in einem Subnetz zusammen.

Ob das die Lösung ist, weiß ich nicht, aber wäre etwas, das ich versuchen würde.

Dein eigener PC sollte nur mit einer Lane an den virtuellen Switch angebunden sein, weil der virtuelle Switch auf deinem PC läuft.

Edit: ich hab mal meine paint skills ausgepackt um das schematisch zu erklären.