News 3D XPoint: Erster Blick unter die Haube des Intel Optane DIMM

[MichaG]

Die Website Serve The Home (STH) zeigt Bilder des neuen Intel Optane DC Persistent Memory. Der auch als Optane DIMM bekannte, nichtflüchtige Arbeitsspeicher auf Basis von 3D XPoint (3DXP) ist erstmals ohne Heatspreader zu sehen.

Zur News: 3D XPoint: Erster Blick unter die Haube des Intel Optane DIMM

 

[yummycandy]

@MichaG
Könntet ihr hinsichtlich Overprovisioning noch einmal direkt bei Intel nachfragen? Es gibt von ihnen 2 diametrale Aussagen diesbezüglich.

 

[Fritzler]

11 Packages hat es vllt. wegen ECC?
Das muss dem RAM Controller der Server CPU ja vorgegaukelt werden.

 

[Holt]

Wieso vorgegaukelt? Die ECC RAM Riegel unterscheiden sich von denen ohne ECC erstmal nur dadurch das die eben 72 Bit statt nur der 64 Bit Datenbreite haben. Ich vermuten aber das die Riegel intern mehr ECC haben und der Controller eben dazu da ist diese zu verwalten, ggf. auch ein Wear Leveling.

 

[rony12]

Und das Modul ist dann als schneller massenspeicher direkt über das Speicherinterface der CPU zu erreichen?
Oder ist es normal als "langsamer" Arbeitsspeicher zu verwenden?

 

[Nerevar]

@MichaG
beim Thema Intel Optane fällt mir ein... wo bleibt eigentlich die 905p M.2 Optane SSD, die laut Intel ab Ende Oktober 2018 im Handel sein sollte? CB hatte darüber ja berichtet.

 

[SlaterTh90]

Ich finde die Technik sehr interessant. Mit HBM zB als erster Ebene, DDR4 als zweiter usw. Lässt sich bestimmt einiges an Performance gewinnen.

 

[MichaG]

@MichaG
Könntet ihr hinsichtlich Overprovisioning noch einmal direkt bei Intel nachfragen? Es gibt von ihnen 2 diametrale Aussagen diesbezüglich.

Intel verrät bisher herzlich wenig über die Technik, da werden sie bei uns wohl keine Ausnahme machen. Vielleicht ändert sich das, wenn die Plattform wirklich startet.

Und das Modul ist dann als schneller massenspeicher direkt über das Speicherinterface der CPU zu erreichen?
Oder ist es normal als "langsamer" Arbeitsspeicher zu verwenden?

Es gibt zwei verschiedene Betriebsmodi, bei denen das Optane DIMM flüchtig oder nicht flüchtig eingesetzt wird. Siehe hier: https://www.computerbase.de/2018-10/intel-optane-dc-persistent-memory-modes/

Im App Direct Mode ist es im Grunde nicht flüchtiger High-Speed-Storage (für Anwendungsdaten). Ich denke aber nicht, dass es sich dann wie ein Massenspeicherlaufwerk mit beliebigen Daten füttern lässt.

Im App Direct Mode werden die Speicherkapazitäten des Optane Memory und des DRAM vom System zwar als großer gemeinsamer Arbeitsspeicher zusammengerechnet. Doch sollen Betriebssystem und Anwendungen strikt zwischen den unterschiedlichen Speichertypen unterscheiden und bestimmen, welche Daten auf Optane und welche auf DRAM gespeichert werden. Hier ist der Optane Memory nichtflüchtig konfiguriert und soll ständig benötigte Daten dauerhaft vorhalten – Anwendungsbeispiele sind In-Memory-Datenbanken und Storage-Anwendungen mit hohem Leistungsbedarf. Der DRAM arbeitet wiederum regulär als flüchtiger Arbeitsspeicher mit niedriger Latenz.

@MichaG
beim Thema Intel Optane fällt mir ein... wo bleibt eigentlich die 905p M.2 Optane SSD, die laut Intel ab Ende Oktober 2018 im Handel sein sollte? CB hatte darüber ja berichtet.

Gute Frage.^^ In den USA gibt es sie zu kaufen. In Deutschland tut sich bisher nichts. Vielleicht finde ich was raus.

 

[Chesterfield]

Ich denke es ist nur eine Frage der Zeit bis es „ralativiert“ ist eine posten drin zu haben. Selbst im Server Segment hat die Zeit gezeigt, dass „nicht flüchtiger Arbeitsspeicher“ vllt seine Gründe hat aber dennoch langsamer ist als herkömmliche Technik und der Preisvorteil schnell verschwinden kann wenn ram Preise fallen. Erinnert mit an RAMBUS, netter Papiertieger der es nie weiter als Pentim4 geschafft hat

 

[andi_sco]

.... Erinnert mit an RAMBUS, netter Papiertieger der es nie weiter als Pentim4 geschafft hat

Pentium III, IV und Playstation... eventuell nutzt man aber noch Patente aus dieser Zeit

 

[Botcruscher]

Und der Verwendungszweck? Datenbanken oder wo würde man profitieren? Ein Stromausfall kann ja nicht der Grund sein.

 

[loki4321]

Welchen wesentlichen unterschied gibt es da zu herkömmlichen DDR4 Rams?

 

[der_guru]

hot- and cold standby für cluster systeme zum Beispiel. Die Systeme wären quasi instand on und müssten nicht booten aber können im Gegensatz zum Sleep ohne Strom sein.

Ansonsten Big Data wo Datenbanken / Storage Systeme ewig brauchen "warm" zu werden, sprich von der langsamen Storage die Daten in den Arbeitsspeicher zu bekommen um in verträglichen Zeiten zu antworten. Es gibt da so einige, aber mir fallen aktuell nur Bereiche im Server Umfeld ein, für Privat eher nicht, meine Kiste bootet mit Post in nichtmal 20 sekunden in Windows, da sitz ich vielleicht gerade mal.

MfG

 

[Holt]

Und das Modul ist dann als schneller massenspeicher direkt über das Speicherinterface der CPU zu erreichen?
Oder ist es normal als "langsamer" Arbeitsspeicher zu verwenden?

Im Prinzip wohl erstmal zweites, mit entsprechender SW Unterstützung dann auch erstes.

Mit HBM zB als erster Ebene, DDR4 als zweiter

HBM muss aber wegen der viele Verbindungen die es erforder immer mit Interposer (oder EMIB) angebunden werden, dies kann also bei Servern die sehr viel RAM brauchen immer nur wie ein L4 Cache arbeiten, da man so viele HMB Dies gar nicht auf dem Sockel unterbringen kann.

der Preisvorteil schnell verschwinden kann wenn ram Preise fallen.

Bei Server RAM fallen die Preise jetzt nicht so sehr und schon gar nicht bei großen Riegeln, zumal die Optane DIMM mit bis zu 512GB kommen sollen und so die größten DRAM Riegel gerade mal 256GB haben und auch pro GB richtig teuer sind.

Und der Verwendungszweck? Datenbanken oder wo würde man profitieren? Ein Stromausfall kann ja nicht der Grund sein.

Einmal um einen besonders großen RAM Ausbau zu ermöglichen, dies auch noch zu geringeren Kosten und dann eben weil es nicht flüchtig ist, was gerade für In-Memory Datenbanken interessant ist um diese nicht neu aufbauen zu müssen.

Welchen wesentlichen unterschied gibt es da zu herkömmlichen DDR4 Rams?

Kapazität, Kosten, nicht flüchtig, aber auch langsamer und nicht so zyklenfest.

 

[Shoryuken94]

Und der Verwendungszweck? Datenbanken oder wo würde man profitieren? Ein Stromausfall kann ja nicht der Grund sein.

Zum einen wenn man möglichst günstig möglichst viel Ram haben möchte. Mir würden spontan in Memory Datenbanken und Ramdisks einfallen, die nicht neu Aufgebaut werden müssen, wenn das System down ist.

 

[textract]

Einmal um einen besonders großen RAM Ausbau zu ermöglichen, dies auch noch zu geringeren Kosten und dann eben weil es nicht flüchtig ist, was gerade für In-Memory Datenbanken interessant ist um diese nicht neu aufbauen zu müssen.

Ich denke nicht, dass es wegen dem maximalen RAM Ausbau ist.
IBM produziert schon länger 512 GB DIMM für ihre POWER Server, aber selbst im POWER Enterprise Systems Bereich werden eher selten Maschinen mit maximalen Ausbau gekauft. Die meisten bewegen sich im Bereich 4 bis 32 TB RAM.
Das klingt für Intelverhältnisse erstmal viel, ist es aber eigentlich nicht.
Der Markt für riesige Klopfer ist sehr klein und Intel kann ihn, was Performance angeht, ohnehin nicht bedienen.


Ich vermute mal, die Optane sollen die Lücke zwischen Storage, im Zweifel auch externem Storage, und RAM schließen, um quasi einen lokalen High Performance Puffer zu haben. Viele Storage Subsysteme haben bereits einen solchen Puffer, der meistens auf SSDs basiert, kann also gut sein, dass Intel genau auf diesen Markt zielt.
Gerade Systeme mit vielen Read-Requests, also BW Datenbanken zum Beispiel, oder LiveCache, profitieren davon massiv.

 

[tox1c90]

Wenn der als nicht flüchtiger Arbeitsspeicher genutzt wird, muss man aber auch darüber nachdenken diesen zu verschlüsseln. Wenn private Schlüssel im RAM sind wäre es ja fatal, wenn man dann Strom trennen, ausbauen und diese woanders auslesen könnte.

 

[andr_gin]

Es gibt einen gravierenden Unterschied:

.) Bei einem Dateizugriff und selbst wenn es auf eine RAM Disk ist das ein System Call, der vor allem seit Meltdown relativ viel Performance kostet. Es müssen die Register und der Stack gesichert werden usw. Weiters kommen Dinge wie Security Checks über das Filesystem etc. zu tragen.
.) Bei einem RAM Zugriff wird relativ direkt zugegriffen. Hier macht die Arbeit die CPU selbst und es kann der Prozess genauso weiterlaufen.

Bei einer Nutzung als Datei sehe nicht viel Vorteile gegenüber einer schnellen SSD (zumindest bei Lesezugriffen) da immer noch der I/O Overhead extrem bremst.
Bei der Nutzung als RAM profitieren nur Anwendungen, die auch tatsächlich so viel RAM brauchen. Außerdem wird ohne wear leveling das wiederholte Wiederbeschreiben ein Problem. Auch wenn es deutlich öfter ist als bei SSDs. Im Worst case kann eine Adresse pro Sekunde ein paar 1000 Mal wiederbeschrieben werden und im Gegensatz zu Dateien wird hier auf übermäßige Schreibzugriffe keine Rücksicht genommen.

Wo Optane sehr viel Sinn machen würde ist als Schreibcache in RAID Controllern aber das interessiert anscheinend keinen Hersteller mehr.

 

[Holt]

IBM produziert schon länger 512 GB DIMM für ihre POWER Server

Bei Google konnte ich die nicht finden, hast Du dafür einen Beleg?

Der Markt für riesige Klopfer ist sehr klein und Intel kann ihn, was Performance angeht, ohnehin nicht bedienen.

Nein, Danke Big Data und AI ist der Markt dafür viel größer als die meisten es sich vorstellen und gerade in dem Bereich ist viel RAM gefragt. Dies zeigt sich einmal bei Intel in den speziellen M Versionen der großen Xeons bei denen sich Intel die Möglichkeit doppelt so viel RAM pro Sockel verbauen zu können teuer bezahlen lässt, es steht aber auch im aktuellen Quartalsbericht von Micron:

Datacenter and Graphics
▪ Strong demand for higher density products; 64GB module revenue up >50% Q/Q

Der Bereich Datacenter schluckt derzeit RAM wie nie zuvor, daher sind die RAM Preise in diesem Jahr auch nicht so massiv gefallen wie die NAND Preise, obwohl der Mobilmarkt (also vor allem Smartphones) vor einem Jahr von beidem etwa die Hälfte der Produktion aufgenommen hat und die Nachfrage bei den Smartphones in diesem Jahr schwächelt. Bei DRAM hat aber der Servermarkt diese Schwäche viel stärker ausgeglichen als bei den NANDs.

Ich vermute mal, die Optane sollen die Lücke zwischen Storage, im Zweifel auch externem Storage, und RAM schließen, um quasi einen lokalen High Performance Puffer zu haben.

Es geht hie rum die Optane DIMM, die sind vor allem als RAM zu sehen und auch wenn man sie wohl zwangsweise immer zusammen mit DRAM verbauen muss und der Memory Controller wohl immer wenigstens einen Teil des DRAMs als Cache des 3D XPoint nehmen wird, ist es eher RAM als eine Schicht zwischen RAM und Storage. Aber auch dies kann eine programmierte Anwendung dann auch anderes handhaben, so könnte man die Daten dort ablegen und dann von da erst ins RAM packen bevor man mit ihnen rechnet, aber wozu sollte man dies wirklich wollen, wenn man auch direkt wahlfrei auf die zugreifen kann? Das ist doch der große Unterschied und die Bedeutung der Abkürzung RAM: Random Access Memory

RAM ist also alles worauf man auf beliebigen Speicheradressen zugreifen kann, es steht nicht für eine bestimmte Technologie, auch wenn es Jahrzehnte immer DRAM war, vorher war, davor war es mal Kernspeicher. Storage ist dagegen immer ein Blockdevice, also adressierte hier eben nicht jede Adresse einzeln, sondern bekommt unter einer Adresse immer einen Block an Daten, bei HDDs und SSDs i.d.R. 512 Byte pro LBA (bei einigen auch 4096) und muss eben immer einen Block lesen bzw. schreiben, da kann man nicht sagen man möchte nur das 80. Byte des Blockes haben, ohne auch die anderen alle zu lesen. Also müssen die Daten von einem Blockdevice immer erst ins RAM geladen werden um damit rechnen zu können, so ist es auch bei den Optane SSDs und dies ist eben der Unterschied zu den Optane DIMM, die wahlfrei adressiert werden können.

Viele Storage Subsysteme haben bereits einen solchen Puffer, der meistens auf SSDs basiert, kann also gut sein, dass Intel genau auf diesen Markt zielt.

Den Markt bedient Intel mit den Optane SSDs, vor allem der DC P4800X doch schon lange, aber Optane DIMM ist eben keine SSD und nicht auf eine einzige Nutzung festgelegt.

 

[textract]

Bei Google konnte ich die nicht finden, hast Du dafür einen Beleg?

http://www.redbooks.ibm.com/redpapers/pdfs/redp5510.pdf
Hier im Redpaper zur E980 findest du ein paar technische Details.

Andere Dokumente, die für die Öffentlichkeit bestimmt sind, habe ich darüber leider nicht.

Man muss hierbei anmerken, dass die Maschinen schon in Serie so gefertigt werden, die Speicherriegel selbst, sind also schon seit längerer Zeit in Produktion.

Du kannst im Enterprisesegment fast generell davon ausgehen, dass Intel IBM einige Zeit hinterherhinkt.