Overkill > Server-Heimnetzwerk-Schrank für 100 Festplatten

[killerbiene]

Hi,

Wie aus meinen anderen Thead's zu lesen ist bin ich gerade in Gross-Planung ^^

Was ich brauche/suche sofern es das gibt für den Costumer-Market...

• Server-Schrank (Storage) mit Platz für 100 Festplatten, am besten Hot-Swap und direkt über eines oder mehrere 10 Gbit Kabel (Glasfaser nehm ich mal an) mit meinem anderen Server (Windows/Linux Server) verbindbar. < Denke bei Fertig-Lösungen ist die Stromversorgung für Festplatten schon dabei oder? Aber am besten mehrere Netzteile für die Festplatten falls ein Netzteil abraucht laufen die anderen Festplatten weiter ohne vlt. einen Schaden zu bekommen.
• Integrieter grosszügiger Sicherungskasten mit Stromverbrauch
• Feuer/Wasser-fest (Kein Muss, aber wäre von vorteil)
• Feuerlöscher (Nein, ich dachte da an einen Sensor, der bei Rauch CO2 ins Gehäuse Pumpt und alles erstickt ) < Paranoid bisschen
• Falls eine HDD Defekt ist, sollte mir das irgendwo angezeigt werden, vlt über eine LED in Rot z.b. (Halt für jede Festplatte seperat mit Nummerierung etc.)
• Erschütterungs-Fest (Halt bei Stössen oder Erdbeben oder was auch immer, sollte das abgefedert werden)
• Abschliessbar oder dergleichen ist kein muss
• Ich würde sonst auch 2x50 oder 4x25er Server-Schränke nehmen, aber einer wäre mir halt schon lieber...

Und wenn es sowas nicht als Komplett-Lösung gibt, muss ich halt alles selber zusammenbasteln, Plan hätt ich auch schon also für die Festplatten zumindest, 5zu1 Sata Multiplier Boards à 20x, über Sata/PCI-E anschliessen und an ein riesen Board mit vielen Sata/PCI anschliessen. Aber ob dann die Perfomance beim ansprechen von mehreren Festplatten noch I.O. ist, das ist eine andere Frage^^

Ja, ich bin ein Noob was "Server/Storage" angeht und Nein, für mich ist kein NAS Interessant.
PS: Geld spielt erstmal keine Rolle, aber der Schrank sollte auch nicht gleich ne Teure Rolex wiederspiegeln ^^
PPS: Und Nein, da kommen nicht gleich 100 Festplatten rein, erstmal nur 10x10 TB, bzw. die hälfte halt Redundant, und dann wird halt langsam aufgerüstet wenn mir der Space ausgeht.
PPPS: Und jetzt fragt sich der eine oder andere, boa was braucht der Typ nen Schrank für 100 Festplatten.... Naja, Lieber 1x richtig Investieren und dann hat man Ruhe für lange Zeit < meine Device ^^ Und: Pro neue Festplatte kommen auch immer 2 dazu bez, Redundanz, und dann füllt sich das schnell...

So, was raten die Profis in meinem Fall?

Danke,
mfg

 

[brainDotExe]

Suchst du so etwas?
http://www.45drives.com/products/storage/

 

[Prime2k]

Die erste Frage, die sich mir bei so etwas immer stellt, wie sieht den deine Elektroinstallation aus? Das von @brainDotExe verlinkte Produkt, hat nen 1200 Watt Netzteil. Bei 100+ Festplatten, wird die Leistung sich noch um einiges erhöhen. Frage 2 wäre der Überspannungsschutz. Du willst ja nicht, dass bei einem Blitzeinschlag alle 100 abrauchen oder? Dann die Abfuhr der Wärme? Wo steht den das Ding?

Dann kommen wir zum Netzwerk. Bei 10Gbe ist Kupfer möglich. Glasfaser sind die Swichtes viel teurer. Liese sich am besten mit CAT 8 realisieren. Wie sieht den die Heimverkabelung aus?

Fragen über Fragen...

 

[Merle]

Das „Noob, was storage angeht“ solltest du vor Realisierung abstellen...
Wie werden die betrieben? Wir gliederst du die RAIDs? Bist du dir der Nachteile von Consumerplatten in extrem großen RAIDs mit Parität bewusst? (Dass die statistisch ab einer gewissen Größe keinen fehlerfreien rebuild mehr sicher hinbekommen?)

 

[KillerCow]

Wenn du es "richtig" haben willst, dann such dir ein Systemhaus. Die haben die Erfahrung, dir die richtigen Fragen zustellen und dir dann was anzubieten, was auch passt.

Ansonsten wäre erstmal zu sagen, dass es keine Serverschränke für Festplatten gibt. Es gibt Serverschränke, in die man Gehäuse/Server montieren kann und in den Gehäusen/Servern befinden sich dann die Platten.

Alle Platten in ein Gehäuse wird eng, über externe SAS Verbindungen z.B. aber sicher machbar.

Wie willst du die Platten verwalten? Ein riesiges Raid? Netzwerk-Cluster (z.B. Ceph)?

3,5" oder 2,5" Platten?

Wie sieht das Backupkonzept aus? Da dir Feuer, Wasser und Erdbeben Angst einjagen, muss das Backup dann wohl bombensicher sein!?

Kühlung wäre auch noch eine Sache.

Alles in allem denke ich, du solltest eher umschreiben, was du erreichen willst und wie du die Daten nutzen möchtest und nicht, wie die Lösung aussehen könnte. Warum sollen es z.B. 100 Platten sein? Der verfügbare Speicherplatz ist doch das wichtige und nicht, mit wievielen Platten man das hinbekommt (zumindest im ersten Ansatz).

 

[Masamune2]

Bei einem Projekt diesen Umfangs würde ich noch etwas zu den Hintergründen erzählen. Da schreibst selbst das du da eigentlich wenig Ahnung von hast, vielleicht läuft das ganze Konstrukt schon in die falsche Richtung.
Ansonsten kenne ich sowas nicht als fertige Lösung, das wäre auch etwas zu unflexibel. Aber grundsätzlich kann man sowas mit einem normalen IT Schrank, entsprechender Elektrik und Server die auf viel Storage ausgelegt sind relativ einfach bewerkstelligen.
Wir haben ein ähnliches Konstrukt bei einem Kunden als zentralen Backup Server. Dort kommen Festplatten Enclosure mit jeweils 44 Einschüben zum Einsatz die mit SAS an einem Server hängen: https://www.supermicro.com/en/products/chassis/4U/847/SC847E1C-R1K28JBOD
Mit einem potenten Raid Controller und vier externen SAS Ports könntest du so schon mal 176 Platten unterbringen wenn nötig.

Es gibt fertige IT Safes z.B. von Lampertz die mit integrierte Kühlung und Löschanlage kommen und von außen Brand- und Einbruchssicher sind: https://www.datacenter-insider.de/l...imatisierten-rechenzentrums-schrank-a-117834/

So, was raten die Profis in meinem Fall?

Als erstes mal verraten was du damit vor hast damit man das Pferd nicht von hinten aufzäumt

 

[the_ButcheR]

Bei 100 Festplatten nutzt man doch kein RAID 1. Mit CO2 Löschanlage (braucht man da vielleicht sogar eine Zulassung? Kann ja auch gefährlich für Personen sein), Erdbebensicher, etc. wird das doch extrem teuer. Schätze da sind wir problemlos im sechsstelligen Bereich.
Wobei ein solcher Server ja eigentlich zweimal vorhanden sein muss, an zwei verschiedenen Orten.
Wenn dein Haus abbrennt, oder durch ein Erdbeben zusammenstürzt, oder ein Flugzeug darüber abstürzt, dann sind ja auch alle Daten hin .

 

[Lawnmower]

Und erst das Backup (selbst von 10 x 10 TB schon nicht ganz einfach) davon... - ne ne, so wird das nix. "Das Gehäuse" ist dein kleinstes Problem von sehr vielen anderen Problemen die sehr schnell richtig viel Geld kosten werden.

 

[BamLee2k]

Bei so einem Projekt ganz klar eine Firma die sich damit auskennt suchen und ausführen lassen.
Allein wegen der Absicherung vor Überspannung, Blitzschlag, Erdung, Unterverteilung. Also das alles auf die Beine stellen, nur durch Forum Hilfe. Nee keine gute Idee.

 

[h00bi]

PS: Geld spielt erstmal keine Rolle, aber der Schrank sollte auch nicht gleich ne Teure Rolex wiederspiegeln ^^

so billig wie eine Rolex wird der Schrank leider nicht werden.

Tipp:
https://www.supermicro.com/en/products/system/4U/6048/SSG-6048R-E1CR90L.cfm

 

[RalphS]

"Noob in Sachen Storage"?

Systemhaus und nichts anderes. Dort einen Ansprechpartner suchen und das Ganze durchplanen.
Einfach so aus der Hand geht das nicht.

Rein von der Sache her: 19" und ein paar HDD-only Systeme, sagen wir 24 HDDs per, und dann vier Stück davon plus SAS Expander und der Film ist gefuttert.

Mir erschließt sich nur der Sinn nicht. Aber, wie gesagt, muß auch nicht. Für solche Unterfangen immer(!) einen Dienstleister, sonst vergißt man nur die Hälfte, wie zB eben die Löschgeschichte. Willst ja nicht krepieren in dem Raum. Dann braucht es auch eine passende Installation für, mit der reinen Hardware ist es da nicht mal im Ansatz getan.

 

[wern001]

Falls Du das selber zusammenbasteln willst.
5zu1 Sata Multiplier Boards -> vergiss es.

Damit Du erkennen kannst welche Festplatte defekt ist brauchst Du einen SAS-Kontroller der Sideband unterstützt und SAS-Backplanes die das ebenfalls beherrschen.

PPS: Und Nein, da kommen nicht gleich 100 Festplatten rein, erstmal nur 10x10 TB, bzw. die hälfte halt Redundant, und dann wird halt langsam aufgerüstet wenn mir der Space ausgeht.

10 Platten als Raid 1? Wenn es mich nicht täuscht geht Raid1 nur mit max 4 Platten. Oder 5x Raid1? Ich würde da Raid6 empfehlen. Da lässt sich das Raid mit jedem vernünftigen Raid-Kontroller während des Betriebs vergrößern.

Der Supermicro SuperStorage Server 6048R-E1CR90L fängt bei ca 10.000€ an und hat eigentlich alles was Du zum starten brauchst. Hab selber mehre Supermicro Server am laufen und bin glücklich damit.

PS:
so ne billig Rolex gibt es ab ca 1000 Öcken und sieht aus wie ein 10€ Ticker aus dem Supermarkt.

 

[RalphS]

Natürlich geht RAID1 mit zehn Platten. Das geht auch mit 100 Platten.

Nachteil ist halt, daß man die Kapazität EINER Platte hat. Dafür hat R1 die mit Abstand beste Redundanz; von den 100 Platten können 99 ausfallen und die Daten sind immer noch da.

Da natürlich SAS zwingend ist und da eine Platte SAS 10T sowas wie 300 Euro kostet, muß man sich auf der anderen Seite fragen, ob man wirklich für 10 Terabytes Nutzlast 30'000 Euro bezahlen möchte oder ob das nicht vielleicht doch etwas... eh... Overkill war.

 

[Masamune2]

Bei einem Raid 1 mit 100 Platten erstellt man quasi ein Raid 10 und hat die Kapazität von 50 Platten. Eine 100fach Mirroring gibt es nicht, macht ja auch gar keinen Sinn. Einige wenige Systeme bieten dreifache Spiegel an aber das braucht man auch recht selten.
Bei der Menge an Platten die der TE hier anstrebt und erst recht wenn es Consumer Platten werden kommt einzig und allein Raid 6 in Frage um die Gefahr der gescheiteren Rebuilds durch die UBER zu eliminieren.

 

[RalphS]

Wie kommst Du auf die Idee? Datenträger kann man mehr oder weniger konfigurieren wie man will. Niemand sagt, daß R1 aus 100 vdevs sinnvoll wäre.

Mit Consumerplatten geht hier natürlich gar nichts, das scheitert schon an der fehlenden Info, welcher von den vielen Datenträgern denn nun eben hopsgegangen ist. Natürlich braucht man SAS, passende HBA, passende Expander und den/die HBA halt mit passender RAID-Funktionalität. Was genau dann zugrundeliegt ist fast wieder egal. Wegen mir könnts über iSCSI laufen.

Insoweit sind wir uns aber sicher einig, daß die Größenordnung nicht nur für Produktiv fragwürdig ist - für Privat ist es einfach Käse und man holt sich, wie Du ja andeutest, eher mehr Probleme ins Haus als daß man sie löst.

 

[Raijin]

So, was raten die Profis in meinem Fall?

Dann frag eben Profis und nicht in einem öffentlichen Forum. Sicher ist hier der eine oder andere dabei, der durchaus auch beruflich mit solchen Systemen Erfahrung hat, aber weißt du's? @RalpS könnte Maler sein, @Merle Kinderarzt, @Masamune2 Feuerwehrmann, @Lawnmower hat seinen Nick vielleicht deshalb gewählt, weil er Gärtner ist und ich bin vielleicht ein arbeitssuchender Brillenverkäufer (sorry Jungs .. .. oder Mädels )
Selbst wenn vermeintlich kompetente Antworten kommen, muss das in einem Forum noch lange nichts heißen, weil es sich auch um beliebig gefährliches Halbwissen handeln könnte.

Ein System wie du es dir vorstellst hat rein gar nichts mit Heimnetzwerken zu tun, weil es vermutlich auf dem ganzen Planeten nur eine Handvoll Menschen gibt, die in ihren eigenen vier Wänden ein Serversystem mit 100 Platten einplanen - und wenn sie es tun, dann haben sie entweder selbst das nötige KnowHow (unwahrscheinlich) oder beauftragen ein Systemhaus. Wenn du also nicht sehenden Auges gegen die Wand fahren und dein Geld verbrennen willst, lass das einen Profi machen, ganz offiziell über ein Systemhaus - Geld spielt deiner Aussage nach ja keine Rolle und dann ist das Honorar sicher auch noch drin.

 

[Lawnmower]

@Lawnmower hat seinen Nick vielleicht deshalb gewählt, weil er Gärtner ist

Mist, ich dachte man merkt das nicht...

 

[RalphS]

@RalpS könnte Maler sein,

I wish das mit den Brillen könnte aber hinkommen, Du hast mein H übersehen.

Wie auch immer, Du hast natürlich komplett Recht mit dem was Du sagst, und selbst wenn wir das mal alles außen vor lassen... bleibt immer noch die Verantwortung. Der Kram fliegt um die Ohren weil was mit der Elektrik nicht gepaßt hat dann steht WER dafür gerade? Wir Foris jedenfalls nicht.

Und das Wichtigste, son Systemhaus kann sich das auch anhören und kann nach genauen Anforderungen fragen - was soll eigentlich hinten bei rumkommen? -- und kann dann sagen, hör mal zu Mensch, das machen wir anders. Nämlich so und so und so.

Die sind ja nicht blöde, und auf offensichtliche Dinge kommt man manchmal einfach nicht. Ich bin selber auch schon am überlegen, ob ich in bezug auf meinen Server hier daheim nicht einfach wen mit Ahnung kontaktieren und das gemeinsam durchplanen und dann buchen sollte. Aber weiß ich auch nicht nicht so genau. Da gehts aber um mehrere Ordnungen kleiner.

 

[Pandora]

Naja naja, er will jetzt keine Rakete bauen und zum Mond fliegen. Und ob 12 oder 120 Festplatten macht dann auch keinen so großen Unterschied, zumal ich bei dem Text ohnehin davon ausgehe das es auf eine deutlich kleinere Lösung für max 24 Platten hinausläuft.
Den ganzen Kram wie Erdbebensicher, CO2 Löscher etc kann man direkt vernachlässigen, das liest sich doch wie die Wunschliste eines Zwölfjährigen der seine Pr0nsammlung gerne über die Apokalypse hinaus sichern will.

BTW: Festplatten entwickeln sich auch weiter, nur weil man jetzt 10TB+ neue Daten pro Monat produziert, benötigt man dafür nicht in 8 Jahren 100 Festplatten. Und wenn man überhaupt Daten in dieser Menge hortet, dann tauscht man die Platten auch regelmäßig gegen aktuelle/größere Modelle aus, womit sich die Anzahl der eff. benötigten weiter reduziert.

 

[RalphS]

Für einen simplen Fall von 10 HDDs reicht ein stinknormaler Tower mit ausreichend vielen Einschüben, ein SAS 16i HBA und ein passender Unterbau dazu.

Wozu sich ein 19" Rack ins Haus stellen, vier oder mehr Storagegehäuse einkaufen und einbauen, wenn drei davon leer bleiben und das vierte nicht mal halb befüllt ist? Den HBA braucht man ja immer noch und an der Stelle auch Expander, die aber an der Stelle ebenfalls funktionslos blieben.

Schlimmer noch, wie schon weiter oben angedeutet: je mehr Datenträger, desto häufiger fällt im Mittel einer aus. Irgendwann ist der Punkt da, wo jede Woche irgendeine Festplatte kaputt geht. Dann hat man mehr Rennereien und Kosten in bezug auf den laufenden Betrieb als daß man das noch in irgendeine brauchbare Relation setzen könnte.

Ich mein, es hieß ja von anfang an "Overkill", der TO wußte also ganz genau, daß das gesteckte Ziel evtl ein erreichbares Ideal, nicht jedoch ein praktikables Optimum sein würde.

Und was eine ordnungsgemäße Installation angeht:

• gehört die passende Räumlichkeit dazu
• gehört Klimaanlage dazu
• gehört USV dazu
• gehört die Hardware selber dazu
• gehören Abnahmen dazu, zB Stichwort Brandschutz.

Wie bereits eingangs gesagt. Eine professionelle Installation eines Storagesystems umfaßt weit mehr als nur die eigentliche Hardware.
Das kann man sich hier erfragen, was da dran hängt -- die Antworten gibt es hier im Thread und ich persönlich begrüße solches Interesse.

Aber wenn es darum geht, über das Interesse hinaus die Idee auch umzusetzen, dann darf die Antwort nur lauten: tu's nicht, schon gar nicht wenn Du keine Ahnung davon hast. Nur weil ich ein Auto bauen kann, heißt das nicht, daß ich auch wirklich eins baue und mich damit auf die Straße begebe OHNE außerdem noch alle erforderlichen Checks und Zertifizierungen und Freigaben eingeholt zu haben, denn ansonsten fällt mir das auf die Füße, spätestens wenn was schiefgeht.