Infiniband Verbindung aufbauen

[Knogle]

Moin moin

Ich kenne zwar schon den Fred zu dem 10GBit Homenetzwerk, jedch sind meine Wuensche etwas Individueller

Ich habe in meinem NAS einen RAID 0 mit 8 Platten, und wuerde gerne von meinem PC mit 2x SSDs im RAID, schneller die Daten auf meinen NAS spielen, da ich sehr oft grosse Festplattenimages kopiere.

Momentan bin ich bei RJ45, jedoch ist das ganze nicht so flott mit GBit

Habe mir deshalb gedacht dafuer auf Infiniband umzuruesten

Ist eine direkt Verbindung zwischen PC und NAS mit Infiniband moeglich? Und gibt es dafuer Wandsteckdosen? Weil so eine braeuchte ich da
Welche Kontroller sind empfehlenswert?


Bitte um Hilfe!!

 

[Masamune2]

Hat dein NAS denn eine Infiniband Schnittstelle bzw. die Möglichkeit eine Karte einzubauen? Und wenn ja wird das auch unterstützt?

Wenn dein NAS kein "vollwertiger" Server ist wird es da schwer, die fertigen von Synology, Qnap und Co können das nicht.

 

[TheRiddler1982]

Hi,

wenn du bereits auf Infiniband gestoßen bist, hast du bereits dich ja ein bisschen nach Alternativen schon umgehört. Generell würde ich dir von Infiniband, FibreChannel und iSCSI (die drei Möglichkeiten für den schnellen Datentransfer) abraten, da es keine Consumerhardware gibt, die dir das vorgebaut bietet. Sämtliche NAS Systeme haben GBit oder 2x GBit zum Pairing. Was du aber hier mit Infiniband anfrägst, ist ein SAN (Storage Area Network) und kein NAS (Network Attached Storage)

Wenn du der einzige bist, der auf die Daten zugreifen musst, würde ich dir einen DAS (Direct Attached Storage) empfehlen. Entweder über eSATA, USB 3.0 oder Thunderbolt. Bei diesen Geräten hast du dann aber nur Storage und keine andere Serverfunktionalität.

Hilft dir das weiter?

 

[Knogle]

Leider hilft mir das nicht weiter

Ich bin nicht der einzige der auf die Daten zugreift, momentan greifen 10 Rechner etwa drauf zu

Mainboard ist ein Intel S5520HC mit 2 Intel Xeon X5650 CPUs, einem LSi 9211 8i mit 8 Festplatten im RAID und 48GB Ram + 2ter LSI mit RAID 50

Also kann ich da nicht einfach eine Infiniband Karte einbauen und beide Rechner verbinden?

 

[BlubbsDE]

Und eine Crossover Direktverbindung ist auch nicht möglich. Du brauchst dann zwingend noch einen Switch oder ähnliches. Und da fängt es dann an auch etwas teurer zu werden.

 

[Masamune2]

Generell würde ich dir von Infiniband, FibreChannel und iSCSI (die drei Möglichkeiten für den schnellen Datentransfer) abraten

Warum von iSCSI? Das sagt erst mal nichts über die Geschwindigkeit aus, du kannst ja auch über 1Gig iSCSI nutzen und dazu braucht es keine spezielle Hardware.


Dir bleibt wohl nichts anderes übrig also auf 10G Ethernet zu sparen, alles andere ist wenig praktikabel.

 

[TheRiddler1982]

Dein SAN braucht aber auch einen Adapter. Wie BlubbsDE schon erwähnt hat, bräuchtest du dann einen FibreChannel Switch. Oder ein SAN, das mehrere Ports hat. In der Regel will man dann auch noch das ganze als Failover konfigurieren, d.h. 2x die Steckkarte (http://de.qlogic.com/Products/adapters/Pages/FibreChannelAdapters.aspx ), die dann alle über zwei Switches über Kreuz verbunden werden.

 

[Knogle]

was kostet denn 10G Ethernet ? Dann braeuchte ich ja nur 2 10G Ethernet Karten

 

[BlubbsDE]

Nein, eben nicht. Einen Switch brauchst Du auch.

Das sind für die 3 Teile gute 1000€. Aber Preise sollte man ja schnell im Netz finden.

 

[Knogle]

Gibts irgendne Moeglichkeit ne <1Gbit Verbindung aufzubauen ohne gleich ein Vermoegen auszugeben? Ist ja etwa so teuer wie mein ganzer NAS

 

[BlubbsDE]

Nein, nicht wirklich. Es geht zwar mit CAT Kabel und RJ45 Stecker. Aber Du brauchst eben 2 NICs und einen Switch. Und da kommst Du den 1000€ sehr nahe.

 

[Tritze1693]

Hi,

naja <1Gbit ist nicht schwer, am einfachsten eine der Netzwerkkarten auf 100Mbit drosseln.
Nun aber mal Spaß bei Seite. Ich vermute du meinst >1Gbit.
Eine Möglichkeit bei Ethernet ist die Kanalbündelung. Diese Technik muss allerdings Server, Client und dein Switch unterstützen.
Eine weitere Möglichkeit wäre die Ausnutzung von SMB-Multichannel. Dies kannst du jedoch nur Nutzen wenn Client und Server min. den SMB Standard 3.0 unterstützen und du auch deine Daten wirklich über SMB überträgst.

Aber mal ganz unter uns. Viele Produktionsnetzwerke gehen nicht über die 1Gbit hinaus, und du bekommst Probleme? Was sind das für Festplattenimages bei denen du nicht kurz warten kannst bis der Kopiervorgang abgeschlossen ist?

Grüße Tritze

 

[Spaxgeco]

Bau einfach eine Dualport 10 Gbit Karte in den Server.

Die kannst du "teamen" dann hast du 20 Gbit.

Im Idealfall packst du da einen 10G Switch dazwischen, alternativ geht natürtlich auch eine Direktverbindung.

 

[leboh]

Und eine Crossover Direktverbindung ist auch nicht möglich. Du brauchst dann zwingend noch einen Switch oder ähnliches. Und da fängt es dann an auch etwas teurer zu werden.

Wenn es nur zwei Geraete sind braucht man keinen Switch, IB kann Punkt zu Punkt Verbindungen, man muss dann aber einen
Subnetmanager auf einem der Hosts laufen lassen.

Wandsteckdose? Schonmal einen IB Stecker gesehen?
Der steckt mehrere Centimeter tief in Deiner Karte, das ist wie ein Kabel mit einem Tranceiver dranne, und ich habe bislang weder ein Patchfeld noch sonst irgendwas in der Art dafuer gesehen.
Das steckt man in HCAs oder Switches, sonst nix.

 

[Knogle]

@Tritze: Das sind meist mehrere hundert Gigabyte, und Images meiner RAIDs auf meinem grossen RAID 0 als Datensicherung

Via GBit dauert das leider ne halbe Ewigkeit bei z.B. 500GB

 

[leboh]

10g Ethernet reicht voll aus, mehr kommt aus 8 Platten Raid0 eh nicht raus. Man darf auch nicht einfach annehmen das IB mit TCP/IP schnell ist, dafuer ist es nicht gemacht. Aeltere IB Karten die man evtl billig gebraucht bekommt koennen oft nur 200-300MB/s auch wenn das nominell 20 oder 40Gbit Karten sind. Fuer TCP sind die nicht gemacht, sondern fuer RDMA.

 

[Knogle]

Bringt Freenas denn Treiber fuer Infiniband mit?

 

[leboh]

Keine Ahnung, es scheint OFED seit 2011 fuer FreeBSD zu geben, theoretisch koennte es also immerhin sein.

 

[Knogle]

Wenn das so einfach ist mit Infiband mit Punkt-zu-Punkt, dann hol ich mir 2x 20GBit Kontroller fuer je 25 Euro + Kabel fuer 25 Euro
Ist das ein guter Deal?

 

[leboh]

der Deal ist gut, ob es funktioniert ist eine ganz andere Frage :-)
Ich wuerde 10G nehmen, ist einfacher und vermutlich genau so schnell.
IB Kabel sind kurz, empfindlich und stoerrisch, und der Softwarestack ist gross und zickig, keine Ahnung wie/ob das unter Windows tut.
20Gbit Karten sind vermutlich Mellanox Infinihost Karten, die sind nicht die schnellsten, mehr als 200MB/s wird man da mit TCP nicht sehen,
wuerde mich wundern.