News Ein Byte kostet 250 GB: Cloudflare spart dank Optimierung 100 TB RAM

[wagga]

Oder MLC, TLC, QLC ... Was glaubst du wie es sein kann, dass wir inzwischen 2TB (und angekündigt bereits 4TB) auf 'ne winzige microSD Karte quetschen können...? ^^

Das ist schon krass wenn man bedenkt das 4 MB damals ein Schrank füllte in den 80ern.

 

[textract]

Ansonsten ist es immer wieder beeindruckend, in welchen Größenordnungen bei solchen Playern gearbeitet wird.

Tatsächlich bin ich eher in die andere Richtung überrascht, oder besser gesagt, dass das bereits scheinbar

Weil es kürzlich die Diskussion im Thread von IBMs neuem Z-System gab. Selbst 100 TB RAM pro Standort, sind um High-End Segment gerade mal eine Hand voll Maschinen.

Vielleicht mal zur größentechnischen Einordnung: Unsere Datacenter sichern offiziell (wichtig zu erwähnen, ich breche hier kein NDA) ein tägliches Delta von mehr als 6 PB, die logischerweise verteilt über unsere Infrastruktur durch RAM verarbeitet werden muss.

Alleine unsere Plattform unterhält mehrere PB RAM auf ihren Maschinen.

 

[zelect0r]

Nicht schlecht!
Ich denke da ist noch mehr drin,
wenn Porn, ADs und Tracking/Telemetrie gelöscht werden

 

[dernettehans]

"Bei mehr als 250 Milliarden Einträgen wird selbst ein einzelnes Byte zum Kostenfaktor: Hochgerechnet auf den gesamten DNS-Cache von Cloudflare belegt es über 250 GB RAM." hä?

 

[Xiaolong]

@dernettehans
Bei 250 Mrd. Einträgen in einer Liste Liste gibt es eine Einsparung von 250 GB, wenn man pro Eintrag 1 Byte sparen kann.

1 Tsd. = 1 KB
1 Mio. = 1 MB
1 Mrd. = 1 GB
Multipliziert mit 250 = 250 GB Einsparung / pro Byte im Eintrag

 

[roket]

Cloudflare... Das sind doch die die das Internet kaputt gemacht haben. An nahezu jeder Ecke lauert ein Captcha.

Cloudflare hätte seine jetzige marktmacht nicht erreicht, wenn nicht jede platform ständig angst vor heftigen DDOS angriffen haben bräuchte.
Captchas sind auch nur eine folge von Automatisierten angriffen auf Infrastruktur.

Ansosnten nice work Cloudflare, ein paar bits, machen eben bei entsprechender skalierung enorm viel aus

 

[Computerfuchs]

Cloudflare... Das sind doch die die das Internet kaputt gemacht haben. An nahezu jeder Ecke lauert ein Captcha.

Ganz im Gegenteil, sind das eher diejenigen, die es (notdürftig) repariert haben.

Ich kenne Betreiber von Webseiten, die früher regelmäßig Probleme mit DDoS-Angriffen hatten. Die haben lange versucht, sich mit Optimierung von Firewall-Regeln und Ausbau von Kapazitäten (am Ende hatten sie Server, die für den Betrieb ihrer kleinen Hobby-Websites eigentlich völlig überdimensioniert waren) dagegen zu wehren. Hat aber alles nichts genützt. War trotzdem regelmäßig offline. Bis sie irgendwann auf die Idee gekommen sind, Cloudflare als Reverse-Proxy vor den Server zu schalten. Seitdem ist Ruhe.

Ist natürlich kein idealer Zustand, aber besser als regelmäßige Komplettausfälle ist es allemal. Jetzt Cloudflare die Schuld zu geben, ist so als würde man einen Arzt beschimpften, weil er einen Gips ans Bein gemacht hat. Der eigentliche Schaden war schon lange vorher da. Captchas sind die Reparatur. Schlechter als das Original aber besser als der komplett kaputte gar nicht nutzbare Zustand.

 

[marco490]

So viele Nachteile unsere aktuelle Speicherkrise auch hat; Ein Vorteil ist, dass Entwickler jetzt mal gezwungen werden zu optimieren. Das führt zu deutlich effizienteren Systemen. Selbst Microsoft mit Windows ist ja da dran. Das Ausmaß bei Cloudflaire ist natürlich gigantisch wenn man die eingesparten TB mal in Euronen umrechnet.

 

[dernettehans]

pro Byte im Eintrag

Also ist der Satz Falsch 1 Byte bleibt 1 Byte. Es sollte wohl heißen 1 Byte pro Eintrag.

 

[Xiaolong]

Ein einzelnes Byte (pro Eintrag) belegt 100 TB.

Stilistisch finde ich das in Ordnung und verständlich, kann aber nur für mich sprechen.

 

[Weyoun]

Wann erfinden Wissenschaftler endlich ein mb, was zwei mb speichern kann?

Gibt es doch längst, nennt sich multi level cell (MLC). Pro zwei Nutz-Bits wird nur ein Spannungszustand gespeichert.

 

[Snapuman]

Und mit TLC sind es 3MB und mit QLC sogar 4MB
(was natürlich technisch so überhaupt nicht stimmt, aber als Analogie funktioniert es halbwegs)

 

[Piak]

Na, das wird wohl demnächst öfter passieren wenn der Ramspeicher so teuer bleibt. Die Programmierer müssen alle noch einmal zurück auf die Schulbank.

Die Programmierer könnten das. Das Management müsste dass aber beauftragen und bezahlen. Es geht wie immer ums Geld.
Ne optimierte Lösung braucht halt auch länger um auf den Markt zu kommen.