ECC-RAM in Server mischen möglich?

[eehm]

Hallo,
ich habe einen gebrauchten Server mit einem ASUS P10S-E/4L erworben.

Verbaut sind aktuell 3 x 16GB 2Rx8 PC4-2133P-EE1-10 von Samsung.
Es handelt sich um das Modell M391A2K43BB1-CPBQ (https://www.samsung.com/semiconductor/dram/module/M391A2K43BB1-CPB/).
Das Modul ist neu leider nicht mehr erhältlich.
Kann ich hier einfach das Nachfolgemodel M391A2K43DB1-CTD (https://www.samsung.com/semiconductor/dram/module/M391A2K43DB1-CTD/) mit 2666 MHz anstatt 2133 MHz verbauen?
Oder wäre es besser ein Modul von einem anderen Hersteller mit 2133MHz zu kaufen?

 

[PHuV]

Du kannst an sich jedes 2666 auch mit 2133 betreiben. Und ja, Mischbestückungen funktionieren, aber nicht immer. Ansonsten immer vorher das Bios aktualisierten und die RAM Kompatiblitätsliste prüfen. Zur Not mußt Du es wieder zurücksenden, wenns nicht geht.

 

[eehm]

Danke für deine schnelle Rückmeldung.
Bios habe ich sowieso schon auf den neuesten Stand gebracht.

Und ja, Mischbestückungen funktionieren, aber nicht immer.

Habe ich hier sogar die Gefahr, dass ich mir hier meine ZFS-Pools dann zerschieße oder kann ich das Testen, ob der Speicher wirklich reibungslos läuft?

Wenn das gekaufte Modul in der Kompatibilitätsliste aufgeführt ist, dann heißt das aber nur, dass es sicher sortenrein funktionieren wird, nicht aber bei jeder beliebigen Kombination?
Oder bin ich hier falsch?

 

[PHuV]

Wenn das Modul in der Kompatibilitätsliste auftaucht, brauchst Du Dir an sich keine weiteren Gedanken machen. Was meinst Du mit "sortenrein? Du kannst an sich RAMs immer mischen, haben wir auch zigfach in den Server so machen müssen, besonders wenn die anderen zu teuer oder nicht mehr lieferbar waren. Wie gesagt, man kann die RAMs immer auf das langsamste Timing als gemeinsamen Nenner einstellen. Je nach Board-Topologie geht auch Mischbetrieb mit unterschiedlichen Takten in den Bänken. Hier einfach mal das Handbuch studieren, wie die Bänke angeordnet sind.

 

[rg88]

Habe ich hier sogar die Gefahr, dass ich mir hier meine ZFS-Pools dann zerschieße oder kann ich das Testen, ob der Speicher wirklich reibungslos läuft?

du solltest in jedem Fall den Speicher dann erstmal testen. -> Memtest86 zB

Aber wieso hast du überhaupt Angst? Hast du kein Backup?

Ergänzung (3. Januar 2022)

Je nach Board-Topologie geht auch Mischbetrieb mit unterschiedlichen Takten in den Bänken.

Das bezweifle ich, dass der Speichercontroller mit verschiedenen Taktraten arbeiten kann. Da hängen ja auch interne Taktgeber mit dran.
Vielleicht gabs sowas früher mal, als der Speichercontroller kein Teil der CPU war aber bei einem heutigen System glaub ich das nicht, oder hast du dafür ein Beispiel?

 

[eehm]

"sortenrein?

Damit meinte ich alle Speicher vom gleichen Hersteller und selbes Modell.
Wenn ich jetzt ein schnelleres Modul verbaue, dann muss ich das manuell im Bios einbremsen oder geht das auch automatisch?

du solltest in jedem Fall den Speicher dann erstmal testen. -> Memtest86 zB

Danke für den Tipp!

Aber wieso hast du überhaupt Angst? Hast du kein Backup?

Ich habe Angst um mein Backup. Das ist bzw. wird mein Backup Server.
Und mir bringt nur ein fehlerfreies Backup im Ernstfall etwas und für den Ernstfall will jetzt beide Backups auf ZFS haben und nicht nur den Master Server und dann immer per robocopy kopieren!

 

[PHuV]

Vielleicht gabs sowas früher mal, als der Speichercontroller kein Teil der CPU war aber bei einem heutigen System glaub ich das nicht, oder hast du dafür ein Beispiel?

Nur das, was ich mal bei PCGH mal aufgeschnappt hatte für Consumerboards:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Bei den Servern habe ich die Dinger immer einfach nur nach Specs wie Lieferbarkeit bestellt und reingestoppft.

 

[rg88]

Ich habe Angst um mein Backup. Das ist bzw. wird mein Backup Server.
Und mir bringt nur ein fehlerfreies Backup im Ernstfall etwas und für den Ernstfall will jetzt beide Backups auf ZFS haben und nicht nur den Master Server und dann immer per robocopy kopieren!

Magst du deine Backup-Stratgie nochmal genauer erklären? Hört sich jetzt auf den ersten Blick nicht richtig an

 

[eehm]

Magst du deine Backup-Stratgie nochmal genauer erklären?

Aktuell:
Server mit TrueNAS-VM und Z-Pool inkl. Snapshots.
Der Datenbestand ohne Snapshots wird regelmäßig auf zwei externe HDDs kopiert. Eine ist immer im Haus und die andere hole ich nur alle paar Monate von meinen Eltern und da liegt dann das Backup für Brand oder ähnliches!

Geplant:
Zweiter Server im Haus und Z-Pool per Peplication klonen.
Nur noch ab und an das Backup für außer Haus und die andere Platte kann in Rente gehen!

 

[rg88]

Nur das, was ich mal bei PCGH mal aufgeschnappt hatte für Consumerboards:

die reden aber von gleicher Geschwindigkeit. Das hast glaub ich falsch verstanden bzw bringst da einiges durcheinander.
Was dich vielleicht verwirrt ist, dass bei einem Riegel 667MHz statt wie bei den beiden 800MHz steht.
Wenn man aber genau schaut, sieht man, dass der 667er auch 800 kann, da er dafür ein XMP-Profil hat:

Es werden hier also ebenfalls alle Riegel mit 800 betrieben, nicht mit unterschiedlichem Takt

Ergänzung (3. Januar 2022)

Zweiter Server im Haus und Z-Pool per Peplication klonen.

Womit du aber potentielle Fehler von der Quelle auch zum Ziel replizierst. Für mein Empfinden ist das kein Backup mehr sondern lediglich eine Replizierung. Dein bisheriges Konzept mit den zusätzlichen Platten war hingegen Okay.
Dein neues Konzept wär, als einfachstes Beispiel, bei einem Verschlüsselungstrojaner unbrauchbar

Ergänzung (3. Januar 2022)

Bei den Servern habe ich die Dinger immer einfach nur nach Specs wie Lieferbarkeit bestellt und reingestoppft.

Ohne Memtest aber ein ziemliche gefährliches Vorgehen. Fehlerhafter RAM kann zu massiven Datenfehler führen.

 

[PHuV]

Irgendwo hatte ich das mal gesehen (c't?), daß bei den jeweiligen Topologien auch unterschiedliche Takte möglich sind. Ich meinte, daß ich das mal bei DD2 gesehen hatte, daß RAMs mit X*800 und X*1066 liefen (auf 2x 4 Bänken im Server). Aber da kann ich mich auch irren. Wie gesagt, zur Not wird eh auf den kleinsten gemeinsamen Nenner gegangen, und der niedrigste Takt wird eingestellt.

Ergänzung (3. Januar 2022)

Ohne Memtest aber ein ziemliche gefährliches Vorgehen. Fehlerhafter RAM kann zu massiven Datenfehler führen.

Machst Du das ernsthaft bei jedem Servern, daß Du das RAM vorher explizit prüfst? Auf Consumerboard hatte ich schon fehlerhafte RAMs, aber bei ECC und Registered RAM ist mir sowas in 30 Jahren noch nicht untergekommen.

 

[rg88]

(auf 2x 4 Bänken im Server). Aber da kann ich mich auch irren

Dann wären da auch zwei CPUs verbaut und damit zwei Speichercontroller. Dann wäre das möglich.
Ist aber eine doofe konfig, weil die Kerne dann Unterschiedlich schnell sind, was zu Performanceschwankungen führen kann, je nach Einsatzzweck

Ergänzung (3. Januar 2022)

Machst Du das ernsthaft bei jedem Servern, daß Du das RAM vorher explizit prüfst?

Auf jeden Fall! Zumindest bei Nachrüstungen. Allein schon aus Haftungsgründen, alles andere wär mmn grob fahrlässig bei einem Produktivsystem

 

[PHuV]

Stimmt, jetzt wo Du es sagst, es waren immer Multi-CPU Boards mit 2-8 CPUs. 😛

Ergänzung (3. Januar 2022)

Auf jeden Fall! Zumindest bei Nachrüstungen. Allein schon aus Haftungsgründen, alles andere wär mmn grob fahrlässig bei einem Produktivsystem

Gut, bei größeren Systemen ja. Aber da wird das eh in Rechnenzentren bzw. Dienstleistern erledigt. Und in kleineren mittelständischen Unternehmen haben wir für entsprechende Backups gesorgt. Rein zeitlich war es für den Betrieb schon gar nicht möglich, bei Aufrüstungen das Ding mal mehrere Stunden nur zum Testen zu betreiben. Da konnte man froh sein, daß man wenigstens eine Downtime für den Umbau bekommen hatte.

 

[rg88]

aber bei ECC

Das ist nur eine Korrektur, kein technischer Zauberstab. Zudem kostet Korrektur auch gewaltig Leistung, wenn das permanent geschieht

Ergänzung (3. Januar 2022)

Und in kleineren mittelständischen Unternehmen haben wir für entsprechende Backups gesorgt.

Halte ich für schlampig. Die Extrastunde wird doch eh berechnet, also warum sollte man es weglassen?

 

[PHuV]

Halte ich für schlampig. Die Extrastunde wird doch eh berechnet, also warum sollte man es weglassen?

Eben leider nicht. Die Fenster sind meistens sehr eng gewesen, daß es gerade mal für die Bestückung reichte.

Wie lange und wie läßt Du dann so einen Test laufen? An sich vertraute ich hier dem RAM Test des Board bzw. dessen BIOS, daß haben wir natürlich beim Start einmal komplett durchlaufen lassen, wenn Du das meinen solltest. Sprich den ausführlichen Speichercheck des Mainboardes, was immer vorhanden ist, und per Option erst mal eingeschaltet werden muß (weil man das ja nicht bei jedem Neustart komplett durchlaufen lassen möchte).

Und wenn es ECC und andere Korrekturfehler gibt, melden sowas das übliche Servermainboard ja auch in den diversen Diagnosetools per LCD oder Software weiter.

 

[eehm]

Dein neues Konzept wär, als einfachstes Beispiel, bei einem Verschlüsselungstrojaner unbrauchbar

Dann kann ich doch einfach mit einem Snapshot auf einen noch nicht verschlüsselten Stand zurück springen oder nicht?

 

[rg88]

Dann kann ich doch einfach mit einem Snapshot auf einen noch nicht verschlüsselten Stand zurück springen oder nicht?

Der Trojaner kann dir dein ganzes System verschlüsseln, einschließlich deiner Snapshots. Ist zwar kein allzu wahrscheinliches Szenario, aber genau das ist es ja, was man versucht mit einem Backup zu machen: Für einen unwahrscheinliches Ausfall eine Sicherheit zu haben

Ergänzung (3. Januar 2022)

Sprich den ausführlichen Speichercheck des Mainboardes, was immer vorhanden ist, und per Option erst mal eingeschaltet werden muß (weil man das ja nicht bei jedem Neustart komplett durchlaufen lassen möchte).

nein, schon mit einem richtigen Memtest, dass ein Durchlauf geschafft wird.

Sprich den ausführlichen Speichercheck des Mainboardes, was immer vorhanden ist, und per Option erst mal eingeschaltet werden muß (weil man das ja nicht bei jedem Neustart komplett durchlaufen lassen möchte).

Das ist eigentlich kein richtiger test, Da wird halt ein wenig der RAM einmal vollgeschrieben, aber nicht auf dem Niveau mit verschiedenen Kombinationen getestet wie es ein Memtest macht.

Und wenn es ECC und andere Korrekturfehler gibt, melden sowas das übliche Servermainboard ja auch in den diversen Diagnosetools per LCD oder Software weiter.

Schon klar, aber ich behebe ungern später die Fehler, die ich gleich zu Beginn ausschließen kann.

Eben leider nicht. Die Fenster sind meistens sehr eng gewesen, daß es gerade mal für die Bestückung reichte.

Das mach ich grundsätzlich nicht. Dann muss das eben außerhalb der regulären Arbeitszeiten passieren.
Was machst, wenn das System aus anderen Gründen nicht mehr hochkommt? Plant ihr da null Puffer ein für etwaige Komplikationen? Vorallem wenn man aufrüstet sind es doch in der Regel ältere System die vielleicht schon 3 Jahre aufwärts durchlaufen. Das wär mir zu heikel, da ohne Zeitpuffer dran zu gehen.

 

[PHuV]

nein, schon mit einem richtigen Memtest, dass ein Durchlauf geschafft wird.

Also Du bootest dann wirklich per CD/DVD/USB auf dem Server ein eigenes OS mit Memtest? Gut, wäre eine Überlegung wert. Aber nochmals die Frage, hast Du jemals im Serverbereich ein fehlerhaftes UDIMM oder RDIMM gehabt? Gut, ich hab jetzt nicht hundere von Servern gehabt, aber schon einige über die Jahre, und hier hatte ich bisher noch keinen einzigen fehlerhaften Riegel.

 

[Skysnake]

Und mir bringt nur ein fehlerfreies Backup im Ernstfall etwas und für den Ernstfall will jetzt beide Backups auf ZFS haben und nicht nur den Master Server und dann immer per robocopy kopieren!

Die snapshots sind zumindest bei uns RO. Wenn müsste er die also alle entfernen und das traue ich jetzt im Allgemeinen keiner ransomware zu.

Aber selbst dann kann man die snapshots vor löschen sichern.

Dann wird es ziemlich schwer da was zu machen. Außer halt die Platten komplett platt machen. Aber das sollte dann nicht auf das remote System gehen meines Wissens nach.

Machst Du das ernsthaft bei jedem Servern, daß Du das RAM vorher explizit prüfst? Auf Consumerboard hatte ich schon fehlerhafte RAMs, aber bei ECC und Registered RAM ist mir sowas in 30 Jahren noch nicht untergekommen.

Ja machen wir. Jeder Server dreht erst mal ne kleine Runde HPL, Stream usw. Wir lassen jetzt keinen Memtest explizit laufen, aber Fehler fallen auch so schon auf da die Performance nicht passt. Wenn es nur z.b. 10 ECC am Tag sind, fällt das beim Logging auf und der Server dreht halt noch ne Runde.

Wichtig ist halt sie Totalausfälle zu sehen, die die Leistung nicht bringen und das ist in <30 Min erledigt.

Der Trojaner kann dir dein ganzes System verschlüsseln, einschließlich deiner Snapshots. Ist zwar kein allzu wahrscheinliches Szenario, aber genau das ist es ja, was man versucht mit einem Backup zu machen: Für einen unwahrscheinliches Ausfall eine Sicherheit zu haben

Siehe oben. Das sollte nicht möglich sein mittels remote SYNC per ZFS Mechanismen.

Also Du bootest dann wirklich per CD/DVD/USB auf dem Server ein eigenes OS mit Memtest? Gut, wäre eine Überlegung wert. Aber nochmals die Frage, hast Du jemals im Serverbereich ein fehlerhaftes UDIMM oder RDIMM gehabt? Gut, ich hab jetzt nicht hundere von Servern gehabt, aber schon einige über die Jahre, und hier hatte ich bisher noch keinen einzigen fehlerhaften Riegel.

Warum nen anderes OS? Das ist maximal ein anderer Eintrag im Bootloader den man auswählen muss. Alternativ im gebotenen Zustand das System testen und gut ist. Etwas testen sollte man schon. Memtest jetzt für 24h laufen lassen ist übertrieben.

Und Mem Fehler sind nicht selten. Wir haben so 0.1-1% die Ram Fehler zeigen. Da reicht es oft schon den Riegel neu zu stecken, aber es sind auch alle paar hundert Server mal nen wirklich kaputter dabei. Wir treten die Kisten daher auch immer kräftig. Gerade während der burnin Phase hat das System auch viele Lastwechsel. Da wird schon kräftig geschüttelt bis alles stabil ist.

In den ersten Monaten Betrieb hat man recht viel zu tun. Danach wird es ruhig. Meistens so für 2-3 Jahre und dann merkt man das es wieder langsam mehr wird.

 

[PHuV]

@Skysnake, danke für Deinen Erfahrungsbericht. Ich finde sowas immer sehr praktisch, mal sowas direkt von der Seite zu hören, die da ein bißchen mehr zu tun haben als ich.
Ok, aber Du arbeitest auch vermutlich in einem Rechnenzentrum mit mehreren Geräten, oder?

Ergänzung (4. Januar 2022)

Warum nen anderes OS? Das ist maximal ein anderer Eintrag im Bootloader den man auswählen muss.

Das mußt Du mir nun genauer erklären. Wir hatten bisher Dells, HPs, Sun Sparcs, RS6000 etc. Bei den Dells kann ich ja in ein erweiteres Konfigrationsmenü starten, wo ich die LAN NICs, Raids und Co. konfiguriere. Meinst Du das etwa? Da habe ich ein Ramtest so noch gar nicht gesehen.

Alternativ im gebotenen Zustand das System testen und gut ist.

Na ja, wenn da Datenbanken und Co. dahinter stehen, will man durch fehlerhaftes RAM keine fehlerhafte Einträge oder gar einen korrupten Zustand der Datenbank riskieren. Daher sollte das produktive System nicht gestartet werden, bis der Test abgeschlossen ist.

Etwas testen sollte man schon. Memtest jetzt für 24h laufen lassen ist übertrieben.

Wie lange macht Ihr dann so einen Test?