Vorbereitung für Leseartickel

[Multithread]

Nachdem ich mit ein NAS zusammengestellt habe, bin Ich dabei dieses mit verschiedenen Konfigurationen auszutesten.

Das NAS:
Ryzen 3600
32GB 2666 Ecc RAM
OS/Cache Raid-1 Kingston 1TB NVMe
Festplatten: 6*6TB
OS: Freenas 11.3 (TrueNAS)
Netzwerk: 10GBit - 10GBit Switch - 10GBit (Client)

Gegenstelle des NAS ist ein Lubuntu 20.10.

Meine Fragen:
1.
Die Schreibperformance ohne Cache erscheint mir ziemlich niedrig im Raid 1 (2 Platten). Ich komme Sequenziell nur auf knappe 50MB/s:
IOPS=0, BW=45.7MiB/s (47.9MB/s)(2048MiB/44799msec);

Stimmt das so, wenn mit fio geschrieben wird?
Auf den SSD-Cache schaffe Ich etwas mehr als 500MB/s zu schreiben

2.
Welche Werde sind alle Interessant?
4KQ1
4KQ4
4KQ32
Sequenziell LZ4 (2GB)
Jeweils mit lesen und schreiben und Ich habe alle Tests mit Deaktiviertem Caching durchgeführt, weil die sonst sehr lange laufen müssen bis der Cache voll ist

Geplante HDD Konfigurationen:
Raid 0 (2), Raid 1(2), Raid 5(4), Raid 5(6), RaidZ3(6), RaidZ2 (6).

Gruss Multi

 

[Sbibi]

Für den offenbar kommenden Leserartikel bitte deutlich mehr auf die Rechtschreibung achten

 

[Fujiyama]

Vor allem wäre eine korrekte Rechtschreibung durchaus angebracht. Auch eine strukturierte darstellung der Daten und Informationen wäre vorteilhaft.

 

[pseudopseudonym]

Das Schreibproblem lässt sich technisch leicht lösen:
https://chrome.google.com/webstore/detail/grammar-and-spell-checker/oldceeleldhonbafppcapldpdifcinji
oder
https://chrome.google.com/webstore/...chrome/jfpdnkkdgghlpdgldicfgnnnkhdfhocg?hl=de

 

[foo_1337]

Vor allem wäre eine korrekte Rechtschreibung durchaus angebracht. Auch eine strukturierte darstellung der Daten und Informationen wäre vorteilhaft.

SCNR

 

[Informer]

Seid mal nicht päpstlicher als der Papst.
Ich melde mich freiwillig zum Korrekturlesen.

 

[xXQuadXx]

Zu Punkt 1:
Das scheint mir generell ein bisschen zu langsam. Ich kenne mich zugegebenermaßen nicht besonders mit Freenas aus; an meinem UNRAID Server (auch 10Gbit angebunden) schreibe ich auf den Cache mit deutlich über 1GB/s.

Welche MTU hast du eingestellt?

 

[foo_1337]

@Multithread interessant wären:

• Mit welchen Parametern wurde fio genutzt?
• Wie sieht zpool iostat 1 aus?
• Wie sind die nfs Mountoptionen auf dem Client?
• wie sieht's mit fio lokal auf dem FreeBSD aus?
• Wieso Raid1 bei den 6T Disks?
• Was sagt iperf zwischen den beiden Hosts?

Zum Cache: Einen Cache im eigentlichen Sinne gibt's per-se bei zfs nicht. Du kannst das ZIL auf die SSD legen und den L2ARC. Das Raid1 der SSD bitte nur mit ZFS machen und nicht mit irgendwelchen Raid Controllern.

 

[Multithread]

Welche MTU hast du eingestellt?

Standard. Daran habe Ich nichts geändert.
Mit DD und eingeschaltetem Caching kann Ich mit 1GB/s lesen/schreiben.
Netzwerk ist aktuell nur unter WIndows ein Problem (400MB Schreiben, 135MB Lesen)

1. Mit welchen Parametern wurde fio genutzt?
2. Wie sieht zpool iostat 1 aus?
3. Wie sind die nfs Mountoptionen auf dem Client?
4. wie sieht's mit fio lokal auf dem FreeBSD aus?
5. Wieso Raid1 bei den 6T Disks?
6. Was sagt iperf zwischen den beiden Hosts?

1. Sequenziel: bs=2GB fs=2GB. 4K: bs=4K fs=100MB
2. zwischen 290 und 660 iops. Interessanterweise kriege Ich auch bei Raid5 mit 4 Disks nicht mehr als 55MB/s durch, da ist was faul.
3. Mount-befehl: mount.cifs //192.168.1.120/jail /mnt/jail/ -o user=gast
4. Fio lokal: 330MB im Raid5 4 DIsk. Das würde in etwa mit der Erwartung stimmen. -> Alle Tests nochmals neu machen Lokal?
5. Raid 1 und 0 nur mit je 2 Disks. Eigentlich gedacht als Basiswerte.
6. iperf liefert bis zu 6,7GBit/s.

Das Raid 1 mit dem Cache ist auch mit ZFS gemacht (darauf liegt auch das OS)

Ich habe noch keinen l2arc eingerichtet, Ich habe die Synchronisation auf "Always" gestellt. Ist das der Fehler?

Bezüglich dem gegenlesen: Ich werde mich da melden. Danke im voraus.

 

[foo_1337]

Wenn sync=always (was, wenn die Datenkonsistenz wichtig ist, sinnvoll ist), dann macht ein schnelles slog (mit SSD) wirklich Sinn. Da bei dir lokal aber die Geschwindigkeit erstmal einigermaßen ok ist, scheint das Problem eher von dem CIFS Mount zu kommen. Wie ist denn die CPU Usage vom smbd auf dem freenas während dem Fio Test? Netzwerk scheint ja erstmal ok zu sein mit 6,7Mbit/s. Mit smb selbst habe ich leider keine wirkliche Erfahrung, da ich nur nfs nutze. Daher bin ich bei dem Thema raus

 

[Multithread]

Ich habe das gleiche mit nfs ausprobiert:

4KQ1: 80MB/s auf einem Raid 5 (4Disk), 1000MB
Seq: 500MB/s auf einem Raid 5 (4Disk), 2GB

Dies erscheint mir etwas zu hoch, als das dies Dauerhaft so geschrieben werden kann.


Sync=Always werde Ich für den Dauerbetrieb wieder auf den Standard zurücksetzen, da Ich dort den Cache und den L2ARC Cache gerne voll ausnutzen möchte, wenn Ich Backups erstelle und VM's verwende

 

[Multithread]

Da nfs auch keine sinnvollen ergebnisse gibt, habe Ich mir überlegt:
Alle Tests mit fio direkt auf dem NAS, und danach noch einen Sequenziellen Test von einer Sata SSD auf das NAS und von einer NVMe SSD auf das NAS. (Sync auf Standard)

Wäre dies für die Vergleichbarkeit gut genug, oder muss Ich da irgendwelche Probleme aus dem Weg schaffen?