8-Port SATA-Controller mit 4K-Sektor-Unterstützung gesucht

[WilliTheSmith]

Moin zusammen,

ich benötige für meinen Homeserver mehr SATA-Anschlüsse. Die 6 Onboard-Anschlüsse vom MSI MAG B550M Mortar sind mit Seagate Exos 16TB belegt. Die Exos laufen mit 4K Sektoren. OS ist Linux/Debian, wobei ich mir die Option zu FreeBSD/TrueNAS offen halten möchte. Geplant ist eine Kapazität von 14 HDDs, genauer zwei RAID6 Arrays bestehend aus 6 bzw. 8 Platten.

Soweit ich gelesen habe, wäre ein 8-Port HBA genau das richtige. Was wäre da empfehlenswert? Kann man getrost zu Refurbished-Controllern greifen? Wichtig ist mir, dass der Controller zuverlässig ist und gut vom OS unterstützt wird. RAID-Funktionen werden nicht benötigt.

Oft empfohlen wird der LSI 9211-8i, wobei ich mir nicht sicher bin, ob der mit seinem SAS2008 Chipsatz schon mit 4K-Sektoren umgehen kann. Dann habe ich noch den LSI 9300-8i mit SAS3008 gefunden, mit dem sollte es definitiv gehen. Die gibt es z.B. mit Fujitsu Branding auch schon ab 120EUR. Wäre das eine brauchbare und vor allem aktuellere Alternative?

Zu guter Letzt, wenns denn ein SAS-HBA wird: Was wären gute Kabel-Hersteller? Nachdem ich in der Vergangenheit bei SATA auf einige problematische Kabel gestoßen bin, die zu CRC-Fehlern führten, bin ich da mittlerweile auch etwas vorsichtiger.

Ich freue mich auf eure Vorschläge.
Viele Grüße

 

[wern001]

der 9211-8i kann kein 4Kn

der große unterschied zwischen Sata und SAS sind
1. Kabellänge: max 1m bei SATA. Bei Backplane/Hotswaprahmen etwas weniger
2. SATA -> Halbdublex SAS -> Volldublex

 

[Fusionator]

Seagate Exos 16TB belegt. Die Exos laufen mit 4K Sektoren.

Sind das die normalen ST16000NM001 mit 512e oder hast du wirklich Platten mit 4Kn?
Das zweite würde mich wundern. Ich wüsste aber nicht warum der 9211 das nicht können sollte. Edit: siehe unten.

der 9211-8i kann kein 4Kn

Why not? Wo steht das und ist das nicht Sache des Betriebssytems?

 

[wern001]

es ist eine sache des Controller-Chip/Firmware des plattencontrollers. Erst ab Chipversion 2208/2308 ist 4Kn möglich

 

[Fusionator]

Laut:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

funktioniert es mit einer 8TB HGST SAS-Platte. Er benutzt die aktuelle Firmware.
Laut einem Kommentar werden 4Kn Platten im IT-Mode unterstützt und im RAID-Mode nicht! Daher vielleicht die unterschiedlichen Aussagen dazu.

 

[RalphS]

Bei mir hängt ein 9440 8i drin. Bin zufrieden damit.

Allerdings, wenn es schon bekanntermaßen mehr als acht Platten werden sollen, dann kauf auch den größeren Controller. 16i sollten es dann schon sein. Einfach deswegen, weil die SATA onboard nicht die volle Bandbreite per Port bekommen, sondern nur per "Bündel". Kein Thema für ein zwei Platten. Sehr unschön allerdings für viele Platten, die ständig Daten schaufeln sollen.

Ich geh mal davon aus, daß die Platzfrage geklärt ist? Die Platten müssen ja auch irgendwo hin.
Wenn nicht, auch nach externen Gehäusen gucken und dann drauf achten, daß es eben nicht *i sondern *e sein muß. Kosten sind in etwa dieselben, aber im Zweifel ist halt der Anschluß an der falschen Seite. Das wäre doof.

SAS Platten haben den Vorteil, daß in Verbindung mit passender Backplane -- zB über ein externes SAS Case --- auch FAIL Informationen rausgehen und zB der passende Slot dann rot leuchtet. Sonst sucht man, wenn das OS sagt "hey der is down".

 

[WilliTheSmith]

Hey, danke für die Antworten.

Die Frage, ob der SAS2008 4K-Sektoren unterstützt, stellt sich eigentlich nur, wenn ihr mir von aktuelleren Chipsätzen abraten solltet. Der oben verlinkte LSI 9300-8i (Fujitsu D3307 CP400i) hätte einen SAS3008er Chipsatz.

Sind das die normalen ST16000NM001 mit 512e oder hast du wirklich Platten mit 4Kn?
Das zweite würde mich wundern. Ich wüsste aber nicht warum der 9211 das nicht können sollte. Edit: siehe unten.

Ja, es sind wirklich 4k-Sektoren. Bei den Exos lässt sich das einstellen und ich habe es damals auf 4k gestellt. Frag mich nicht warum ich das gemacht habe.

Disk /dev/sda: 14,55 TiB, 16000900661248 bytes, 3906469888 sectors
Disk model: ST16000NM001G-2K
Units: sectors of 1 * 4096 = 4096 bytes
Sector size (logical/physical): 4096 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

@RalphS Zur Zeit hängen die 6 Platten ja an den Onboard-SATA und die Performance ist eigentlich gut. Der Server hat eine 10G Netzwerkkarte und von meinem Desktop schaufel ich munter Daten mit 2,5Gb/s hin und her. Der Desktop hat nur eine 2,5Gb Karte, mehr geht also zur Zeit nicht. Aber ja, ich hätte auch lieber ein 16i, aber dafür zahlt man dann auch direkt das dreifache vom 8i. Und ehrlich gesagt sehe ich auch den Sinn des 16i bei mir noch nicht wirklich, außer "haben wollen". Mehr als 14 Platten wird es erstmal auch nicht, die sind bereits weit in die Zukunft geplant.

Ich geh mal davon aus, daß die Platzfrage geklärt ist?

Ja, Platz findet es in einem gut durchlüfteten Fractal Design Define R5. Da gehen von Haus aus 11 Platten (inkl 3 im 5,25" Schacht) + 3 oder 5 mit einem weiteren HDD Cage rein. An der Beschaffung des zusätzlichen Cages arbeite ich noch. war nicht meine Beste Idee, ein so altes Gehäuse zu kaufen, wo der Ersatzteilmarkt praktisch nicht mehr existent ist.

 

[RalphS]

Na okay, wenn die einzige Aufgabe der Daten ist, vom und zum Netzwerk zu kommen, dann ist der Durchsatz an den SATA-Ports wohl nachrangig. Interessanter wird es erst, wenn noch mehr damit passieren soll, was server-lokal passieren soll -- also Datenbanken, Transcoding, weiß der Geier ob und wie die bei dir noch verarbeitet werden sollen.

Preise hab ich mir jetzt nicht angeschaut. Dreifach bezahlen ist natürlich albern, wenn man auch zwei Controller verbauen kann oder wenn Expander eine Option sind. Muß man gucken.

Festplatten halt nicht viel wärmer als 40°C. Wenn das gehalten werden kann, dann ist der Rest mehr oder weniger egal.

 

[fgordon]

40 Grad ist aber schon sehr ambitioniert. Ich komme auf so ~46 Grad. Für <= 40 muss man dann aber schon sehr stark kühlen.

Hihi da haben wir ja fast das gleiche Setup WilliTheSmith mein Setup sind auch Exos X16 16 TBs, Fractal R5, 10 Gbit und LSI Controller xD Ich finde das Fractal R5 fast konkurrenzlos aktuell für kleinere Server - zumal auch der Preis ok ist.

Ich nutze jeweils einen 2008 LSI (IT) + OnBoard C204 das reicht locker für 10 GBit und mehr hat man doch eh selten im Netzwerk.

Wie hast Du das denn bei der Exos umgestellt mit den seachest tools?

-------------------------------

Falls das auch wen interessiert ich habe jetzt auf einem meiner Server das umgestellt von "Sector Sizes: 512 bytes logical, 4096 bytes physical" auf "Sector Size: 4096 bytes logical/physical"

mit openseachest neu "formartiert", die gpt partitionen neu angelegt und ..... ZFS hatte noch alle Daten xD ich lass da gerade einen scrub drüberlaufen (ZFS etc war allerdings alles bereits auf 4096 eingestellt, auch die Paritionsgrenzen etc)

Cool dass das ging ohne dass ich alle Daten neu übertragen musste nun bin ich och full 4k xD

 

[WilliTheSmith]

@RalphS Du hast Recht, ich habe nicht wirklich geschrieben, wozu die Platten genutzt werden. Da bin ich wohl zu sehr in der Denke, dass ich mit einem Raid 6 niemals IOPS-lastigige Dinge machen würde. Da würde ich mir heutzutage wahrscheinlich eher ein SSD-Mirror bauen, oder je nach benötigten Platz ein Raid 10. Also ja, es werden zum Großteil nur Daten übers Netzwerk hin und her geschaufelt.

40 Grad ist aber schon sehr ambitioniert. Ich komme auf so ~46 Grad. Für <= 40 muss man dann aber schon sehr stark kühlen.

Hab mal bei mir ins Monitoring geguckt, Platten sind meist bei knapp über 30°, wenn viel los ist sind es so 40°.

Wie hast Du das denn bei der Exos umgestellt mit den seachest tools?

Ja genau. Einer der vielen Gründe, warum ich mittlerweile Seagate bevorzuge.

Nochmal zurück zu den Controllern:
Wenn ich das richtig verstanden habe, sind für einen reinen HBA (im IT Mode) die Chipsätze SAS2008, 2308 und 3008 empfehlenswert. Andere Controller bringen oft noch Cache, BPU, eMMC etc mit, was den Controller in meinem Fall unnötig komplex und teuer macht. Ich würde eine PCIe3 Karte bevorzugen, einfach damit ich dann in Zukunft nicht in einen Flaschenhals laufe, z.B. falls ich ein SSD-Array mit dem Controller bauen sollte oder wenige Lanes zur Verfügung haben sollte. Damit fallen die 2008er raus. Der Preisunterschied ist jetzt auch nicht so groß wenn man von einem Händler kauft.

Gibt es relevante Unterschiede zwischen den verschiedenen Controllern mit dem gleichen Chipsatz? z.B. im Punkto Leistungsaufnahme? Abgesehen davon, dass die 3008er anscheinend alle den neueren SFP-Stecker haben?
Bei IT Service Hähnlein (habe mit denen in Vergangenheit bereits gute Erfahrungen gemacht) gäbe es z.B. verschiedene Refurbished Controller mit 2308 und 3008 von 100-150EUR. Darunter Dell Perc H330, IBM Lenovo M1215, Fujitsu D3307 CP400i und LSI/Broadcom 9207-8i
Falls ihr mir bei der Auswahl helfen könntet, würde mir das sehr helfen. Ich bin im Bereich der HBAs halt echt noch ein Neuling

 

[Fusionator]

Wenn es PCIe 3.0 sein soll, dann bräuchtest du wohl den da, weil schon fertig geflasht:
https://www.its-haehnlein.com/Shop/...a-pcie-x8-avago-lsi-9217-8i-raid-it-mode?c=46
oder den:
https://www.its-haehnlein.com/Shop/detail/index/sArticle/171/sCategory/46

Oder den und dann gleich vor dem Versand flashen lassen:

https://www.its-haehnlein.com/Shop/...er-raid-12gbps-pcie-x8-avago-lsi-9341-8i?c=46

Den Dell müsstest du wohl erst selber crossflashen, falls das überhaupt möglich ist. Da bin ich aber eher vorsichtig mit solchen Aktionen.

 

[WilliTheSmith]

Kurzes Update:
Habe mich nun für den Fujitsu CP400i entschieden. Für unter 70EUR für einen 3008er Controller schien mir das ein sehr guter Deal zu sein. Hab zuvor noch etwas recherchiert und die Raid-Variante lässt sich problemlos mit einer IT-Firmware flashen. Auch haben viele andere bereits gute Erfahrungen mit dem Controller und dem Shop gemacht.

Der Hinweis mit dem Dell war übrigens gut. Der lässt sich wohl tatsächlich nicht so einfach flashen. Zumindest nicht Cross-Vendor, hab den Forenbeitrag leider nicht mehr offen.

 

[RalphS]

40 Grad ist aber schon sehr ambitioniert. Ich komme auf so ~46 Grad. Für <= 40 muss man dann aber schon sehr stark kühlen.

Naja, bei mir leisten das zwei 140mm mit ein paar hundert RPM direkt an den Platten. Paßt, denke ich. Muß halt Luft dran vorbei können.

46°C sind auch okay in Spitze. Aber wenn das eher Durchschnitt ist oder wenn es sogar noch unter dem Durchschnitt wäre, dann sehe ich tatsächlich Handlungsbedarf re: Kühlung, weil es sich einfach auf die Lebensdauer auswirkt.

Zum Vergleich: Einmal bis an 80°C ran und die Platte ist garantiert gealtert, bis zu dem Punkt wo sie je nach Platte und Situation hinterher durchaus defekt sein kann... egal wie sie vorher beschaffen war.

 

[fgordon]

Ich habe auch 2 x 140 vorne + 1 x 140 hinten (+Netzteillüfter) im Fractal R5 also auch mit etwas Abstand zwischen den HDDs und komme trotzdem auch auf Mitte 50, wenn ich länger was intensiveres mache wie z.B. scrubben - da wird auch die CPU etwas wärmer, die hat zwar AES-NI aber da alles gecrypted ist muss die schon etwas werkeln beim scrub.

Allerdings ist das R5 schallgedämmt und die gedämmte Tür vorne zu - vielleicht lasse ich die einfach mal aufstehen.

Bei 60 Grad HDD Temp schalte ich das System eh aus. Ich finde halt 40 echt sportlich - aber haette das auch gerne

 

[RalphS]

Hui, da muß ich wohl mal graben gehen...
Nachstehend alle verbauten Datenträger, ohne besondere Priorisierung. Paar SSDs dabei. Paar WD Reds. Und paar Exos X10.
Paar müssen ersetzt werden. Spiegelt sich auch in den Temps wieder...

root@esxi:~] for item in $( esxcli storage core device list|grep -E '^[^ ]'); do  esxcli storage core device smart get -d "$item";done|grep -i temp

Parameter          Value       Threshold  Worst  Raw
-----------------  ----------  ---------  -----  ---
Drive Temperature  41     0          N/A    41
Drive Temperature  39  N/A        N/A    N/A
Drive Temperature  37  N/A        N/A    N/A
Drive Temperature. 63     0          51     37
Drive Temperature  39     0          N/A    39
Drive Temperature  54     0          41     46
Drive Temperature  36    N/A        N/A    N/A
Drive Temperature  61     0          43     39
Drive Temperature  37    N/A        N/A    N/A
Drive Temperature  44     80         N/A    N/A
Drive Temperature  39    N/A        N/A    N/A
Drive Temperature  37    N/A        N/A    N/A

SMART und Temps sind natürlich so ne Sache. Teilweise funktioniert das gut. Teilweise hast aber auch gar nichts.

 

[fgordon]

Sind das Temps unter (Voll-) Last? oder im "idle"?

emp sind glaube ich bei wohl 99,9% der mechanischen Laufwerke glaub ganz ok implementiert - ansonsten sind mögliche ZFS Errors sicher dann verlässlicher als SMART