Wie viel RAM brauche ich?

[macos24]

Hallo Leute,

ich habe ein MacBook Pro 16 Zoll i7 aus 2019 mit 16GB RAM. Ich arbeite viel mit Python und mit recht großen CSV Dateien. So sieht mein Activity Monitor derzeit beim bearbeiten der Dateien aus.

Manchmal zieht es sogar mehr als 50GB in den Swap. Daher bin ich am überlegen, mir einen neuen Rechner anzulegen, mit deutlich mehr RAM. Wie viel RAM würde ich nach eurer Einschätzung her brauchen?

Beste Grüße

 

[Firefly2023]

Minimum 64GB... oder anders gesagt, soviel wie du bereit bist zu bezahlen.

 

[SpamBot]

Also ich würde dann min. 64 GB einplanen... Aber wie gut das auslagern funktioniert musst du testen. Wie langsam wird die aktuelle Kiste wenn sie viel ausgelagert wird?

 

[nutrix]

Und was landet genau im SWAP, kannst Du das sehen bzw. analysieren?

 

[RaptorTP]

mit recht großen CSV Dateien

in Zahlen ?

Würde vielleicht auch helfen.

 

[derchris]

guck dir doch mal die Prozesse an, welcher wie viel RAM "verbraucht".

 

[nutrix]

Ich arbeite viel mit Python und mit recht großen CSV Dateien.

Ich weiß ja nicht, wie die Jugend und neueren Programmiersprachen so arbeiten, aber bei mir früher diese gebuffert und dediziert stückweise große Dateien einlesen, man muß das nicht alles auf einmal im RAM halten. 😉 Und Testdaten für Testläufe speckt man sowieso auf die wichtigsten und markantesten Zeilen ab.

 

[NameHere]

So einfach ist das nicht, da x86 nicht gleich arm ist. Bei Apple ist die arm Paltfform (Ma-M3) sparsamer mit RAM als x86.

 

[nutrix]

Was soll den bitteschön ARM mit großen CVS-Dateien anders machen als bei x86-Architektur?

 

[NameHere]

Ich arbeite viel mit Python und mit recht großen CSV Dateien.

Schau mal hier. Das ist ein Developer der viele Tests mit Python macht.
https://yewtu.be/channel/UCajiMK_CY9icRhLepS8_3ug

 

[Araska]

Unter 64GiB würde ich in deinem Fall nicht mehr gehen; wenn es möglich ist (und du gewillt bist, es zu bezahlen), wären 96 GiB+ das Mittel der Wahl.

 

[FeelsGoodManJPG]

Die Komprimierung vom RAM ist wohl eher etwas für's Marketing

Ich würde eher schauen, dass du die Dateien anders einliest und nicht alles im RAM bufferst. Das ist kein Python-spezifisches Problem, sondern ein ganz normales, wenn man programmiert.

 

[macos24]

Es ist nicht so, dass ich nicht mit 'chunks' arbeite Ich bin kein IT-Spezialist, aber work arounds musste ich schon auch einbauen, sonst ging gar nichts. Wenn ihr noch Tips haben solltet, wie man auch mit 16 GB RAM 20GB+ CSV Datensätze bearbeitet, ist das natürlich auch hilfreich. Zudem sollten die Lösungen natürlich auch so sein, das es nicht 3 Jahre dauert bis der Bearbeitungsprozess abgeschlossen ist. Ich warte so schon immer knapp 20 - 30 Minuten für eine Ausführung. Und die Zeit würde ich halt ganz gerne sparen.

 

[R O G E R]

20GB CSV Datensätze?

Ist für sowas nicht eine Datenbank besser geeignet?

 

[NJay]

Wie wäre es, wenn du die CSV-Dateien einmal einließt und dann wie vorgeschlagen in eine Datenbank überführst und dann strukturiert auf ihnen arbeitest?

 

[SpamBot]

Bei Apple ist die arm Paltfform (Ma-M3) sparsamer mit RAM als x86.

Sagt Apple, auf diversen User Tests kackt der Apple Chip aber genauso ab wenn der RAM voll ist.... Gibt ja die Aussage vom Apple "ihre 8 GB RAM sind wie bei Windows 16 GB..."

Nein dem ist in der realen Welt überhaupt nicht so

 

[_Shorty]

Du solltest im Hinterkopf haben, das MacOS sehr viel im RAM zwischenspeichert, damit es die Dateien nicht immer wieder laden braucht.

 

[sethdiabolos]

Nein dem ist in der realen Welt überhaupt nicht so

Ist eigentlich simple Physik. Man kann die Spannungszustände der Speicherbits nicht einfach ignorieren und sagen, dass es doch irgendwie geht. Die Aussagen von Apple sind in dem Fall genauso seriös wie sich mehr RAM im Internet herunterzuladen, was es das damals öfters gab. Man kann als Hersteller einer Technologie lediglich schauen, wie man eine andere Kompression fährt, aber wenn Speicherbits erschöpft, dann sind die eben erschöpft. Das sage ich mal als ITler so. Letztlich hat man das ja irgendwann mal gelernt.

 

[DJMadMax]

20GB+ CSV Datensätze

Autsch? Ich habe 13 Jahre lang hauptberuflich mit dem Qualifizieren und Anreichern von Adressdaten gearbeitet, da waren auch mal Datenbanken (!) mit ~200.000 Datensätzen dabei, die waren nicht einmal im Ansatz so groß. Was soll denn da in den CSV-Dateien enthalten sein? Nicht einmal BLOB-Anhänge wären da möglich, CSV ist rein textbasiert und meines Wissens vollkommen ohne Speichermanagement (ganz entgegen z.B. einer dBase-Datei mit ausgelagerter BLOB).

 

[Tenferenzu]

20GB+ CSV Datensätze bearbeitet

Bist du in der Numerik unterwegs?
Sind das Messdaten?

Falls ja, dann würde ich an deiner Stelle nicht jeden einzelnen Zeitschritt speichern sondern ev. nur jeden zehnten wenn es möglich ist.