Die optimale Hardware für einen Excel-Esel ?

[Piktogramm]

Du erzählst Käse.

1. Es gibt bei Intel selbst keine Controller mit Intelchipsätzen mehr seit etwa 2006. Selbst diese Chips hatten XScale Technik und waren damit ARM-basiert. Heutzutage verbaut Intel Technik von Broadcom und Avago was auch ARM basierte Technik ist (mit zusätzlichen Erweiterungen zum Berechnen der Raiddaten).

2. Die Raidlösungen sind typischerweise in Assembler geschrieben und rennen mit hoher Priorität im Kernelspace. Viel näher an der Hardware geht es nicht. Vor allem da via DRM (Direkt Memory Access) Daten in RAM und Festspeicher direkt ansprechen können. Genaugenommen sind Raidcontroller heutzutage eine künstlich eingezogene Zwischenschicht, die zusätzliche Latenzen einbringen, wenn sie die Daten berechnen sollen.

3. Ram als Cache ja, aber bitte keine RamDisk. Normalerweise cacht Windows, MacOS und Linux von sich aus alles was nicht bei 3 auf dem Baum ist und wird von halbwegs intelligentem Prefetch dabei unterstützt.

 

[slsHyde]

Ich habe gar nicht von Intelcontrollern gesprochen. Aber ja, meist ist es ARM-basiert, ich hatte aber auch schon Controller mit Intel-CPUs.

Die RAM-Disk war nur ein Test. Und wenn das Caching, das Windows macht, hier reichen würde gäbe es ja kein Problem. Derzeit kann offenbar nur der vermeindlich überflüssige latenzerhöhende RAID-Controller das Problem lösen. Die Hofffnung besteht, dass alternativ die Softwarelösung reicht, oder eine Optane, wir werden sehen. Wenn Du noch andere Lösungsvorschläge hast .... oder zumindest eine geeignete Software ...

 

[Piktogramm]

@JaKuE

Ich habe den Thread mal überflogen.

Wenn der alte Rechner WinServer 2012 drauf hatte und jetzt WIn10 läuft wäre meine erste Vermutung, dass auf dem 2012er Server keine Antivirensoftware installiert war und bei Windows10 mindestens der Windows Defender und wenn es dumm kommt noch eine weitere Lösung läuft. Genauso wie eine Dopboxinstanz oder anderer Kram der das Dateisystem überwacht bei solchen Anwendungsfällen Leistung kosten kann.

Ansonsten wurde auf der ersten Seite bereits recht deutlich gemacht, für solche Anwendungsfälle sind Excel & Co schlicht am Ende.

Edit:
Es gäbe auch noch die Wahrscheinlichkeit, dass WinServer im Vergleich zu Win10 etwas andere Strategien beim I/O Scheduler fährt, was in deinem speziellen Fall ungewohnt deutliche Auswirkungen haben könnte.*

Achja, reden wir zwischen alter Maschine und neuer Maschine überhaupt von der selben Excelversion? Neue Versionen von Excel schreiben zunehmend komplexere Versionen des Exel zugrundliegenden XML-Formates. Entsprechend länger dauert es auch einfach diese Datein zu parsen / zu laden.



@slsHyde wenn do Controller mit Intelchips hattest, war höchst wahrscheinlich Xscale Technik drunter. Ein Intel Atoms (oder vergleichbare x86er) sind im Vergleich zu dicken CPUs die ihre AVX2 / AVX512 ALUs in Stellung bringen einfach witzlos.



*Mutmaßung eines Linuxjüngers und auf keinen Fall sollte man am I/O Scheduler von Windows herumpfuschen, das rächt sich irgendwann mal bei einem Update / Treiberinstallation

 

[JaKuE]

Hi zusammen,

@slshyde, andere Marke, wenn Du keine 250er Limits haben willst

Kann bei einigen Eurer Fachtermini leider nicht mehr mitreden. Folge also Euren Empfehlungen, beantworte die Verständnisfragen und hake hin und wieder zum eigenen Verstehen nach

Bei Dir aber scheint die Gesamtmenge der zu bearbeitenden Daten klein genug zu sein, dass der komplette Vorgang im Cache abläuft. Das ist weit vom Normalfall entfernt.

Exakt, scheint mir für die Größe von Excel Dateien aber nicht untypisch.

Die theorethischen Leistungswerte betreffen die Schnittstelle. Das ist PCIe 3.0 x16. Sagt aber nur aus, wieviel maximal über die Schnittstelle möglich wäre.

Das habe ich nicht wirklich kapiert. Unter welchen Voraussetzungen sind denn diese theoretischen Werte in der Praxis erreichbar?

Wenn der alte Rechner WinServer 2012 drauf hatte und jetzt WIn10 läuft wäre meine erste Vermutung, dass auf dem 2012er Server keine Antivirensoftware installiert war und bei Windows10 mindestens der Windows Defender und wenn es dumm kommt noch eine weitere Lösung läuft. Genauso wie eine Dopboxinstanz oder anderer Kram der das Dateisystem überwacht bei solchen Anwendungsfällen Leistung kosten kann.

Korrekt, alter und neuer Rechner nichts additiv installiert. Neuer Rechner mit Windows Defender. Warum hat WinServer keinen Schutz, Windows 10 aber schon?

Tatsächliche diverse OwnCloud Instanzen, aber identisch bei neuem und altem Rechner - beide haben dieselben Owncloud accounts.

Ansonsten wurde auf der ersten Seite bereits recht deutlich gemacht, für solche Anwendungsfälle sind Excel & Co schlicht am Ende.

Excel Limitierung ausreichend thematisiert Wir brauchen diese Infrastruktur. Auch hier alter und neuer Rechner identisch, d.h. beide via Excel limitiert. Es geht hier also explizit um das extrem unterschiedliche Performanceverhalten bei ansonsten identischen Rahmenbedingungen re/Excel.

Und ja, identische Excel Versionen -> Office 365 Business Pro.

Die Zitate habe ich via "Code" eingegeben. Korrekt oder gibt es eine bessere Lösung?

 

[Piktogramm]

Dann mach testweise (!) halt mal den Defender aus und teste dann nochmal (hoffentlich mit der selben Excelversion).

Es gibt den Defender auch für Windows Server, da muss man sich aber als Admin aktiv drum kümmern weil Microsoft Serveradmins zuspricht das selbst entscheiden zu können während Windows10 Nutzer dies wohl nicht zugestanden wird (finde ich verständlich).

Zitate funktionieren mit <QUOTE>...</QUOTE> und nicht mit <CODE>

Das habe ich nicht wirklich kapiert. Unter welchen Voraussetzungen sind denn diese theoretischen Werte in der Praxis erreichbar?

Theoretische Werte sind in der Praxis in der Regel nie erreichbar. Ansonsten ist es wie so oft, das langsamste Glied bestimmt die Geschwindigkeit. Wenn du eine SSD / HDD hast die 200MB/s schreiben / lesen kann, dann bringt es dir wenig, dass der Controller an den dieses Laufwerk angeschlossen ist mit der CPU mit bis zu 32GB/s kommunizieren könnte. In der Kette CPU - Sata-Controller - Laufwerk ist die langsamste Verbindung eben jene 200MB/s. Das der Sata Controller im aller besten Fall mal etwas Daten zwischengespeichert hat ist im realen Arbeitsumfeld total egal.

Mal abgesehen, dass das ganze Controllergefasel von slsHyde Spekulation und (im besten Fall) Halbwissen ist. Ich würde es als unwahrscheinlichsten Fall betrachten, dass ein extra Sata-Controller* irgendetwas bringt genausowenig wie Lösungen mit RamDisks.

* und wenn, dann eher wegen den Treibern die passend zum Controller installiert wurden als wegen der Hardware.


Ja, du hast bereits abgestritten, dass etwas Anderes als Exel ginge. Daran habe ich aber enorme Zweifel. Ein Microsoft SQL-Server mit BusinessIntelligence Erweiterung sollte wunder wirken. Wenn ihr das für verschiedene, mobil arbeitene Mitarbeiter braucht, dann kippt ihr das halt in ne passende Instanz von Azure.
So wie du es derzeit angehst wirfst du Geld und Zeit darauf eine technologische Sackgasse weiter zu vertiefen und die Altlasten weiter aufzubauen anstatt damit anzufangen die Altlasten abzubauen. An solchen Späßen gehen Firmen nicht all zu Selten zugrunde -.-

 

[JaKuE]

Dann mach testweise (!) halt mal den Defender aus und teste dann nochmal (hoffentlich mit der selben Excelversion).

done. Die Kopiertests sind interessanterweise bei ISO schlechter, bei Porgramm und Spiel aber eine ganze Ecke besser, aber immer noch deutlich schlechter als beim alten Rechner. Dies bestätigt sich auch bei den beiden tests mit dem Öffnen, Aktualisieren und Schliessen -> hier keine wirklich deutlichen Performancegewinne, die in die Richtung des alten Rechners gehen.

Warum die Kopiertests doch um einiges besser sind, die Testfiles aber nicht erschliesst sich mir nicht wirklich. Vielleicht hilft es Euch aber bei der Analyse. Da aber beides bei weitem nicht den alten Rechner heranreicht kann die Abschaltung des Defenders nicht wirklich als Begründung dienen... leider... Losgelöst davon wäre es sicher auch keine Alternative, den Schutz abzuschalten, aber zumindest eine Begründung wäre sehr viel wert gewesen

Theoretische Werte sind in der Praxis in der Regel nie erreichbar. Ansonsten ist es wie so oft, das langsamste Glied bestimmt die Geschwindigkeit. Wenn du eine SSD / HDD hast die 200MB/s schreiben / lesen kann, dann bringt es dir wenig, dass der Controller an den dieses Laufwerk angeschlossen ist mit der CPU mit bis zu 32GB/s kommunizieren könnte. In der Kette CPU - Sata-Controller - Laufwerk ist die langsamste Verbindung eben jene 200MB/s. Das der Sata Controller im aller besten Fall mal etwas Daten zwischengespeichert hat ist im realen Arbeitsumfeld total egal.

Macht Sinn - meine Anforderung an den Provider aber war, überall die stärksten Kettenglieder zu haben. Und ja, natürlich sind die maximalen Werbeangaben in der Praxis nie zu erreichen, aber ich bin ja eben selbst von der Performance der schon ein Jahr alten Technik weit entfernt und die muss doch zumindest herstellbar sein. Was auch immer es dazu braucht...

Ja, du hast bereits abgestritten, dass etwas Anderes als Exel ginge.

Ich würd gern das Thema Excel außen vor lassen. Letztes statement dazu, um nicht abzudriften: Geh davon aus, dass wir dies sehr intensiv geprüft und bewusst so entschieden haben. Kann man trefflich diskutieren, aber wenn wir jetzt wieder in eine Sinnhaftigkeitsdiskussion von Excel gehen fürchte ich, dass wir vom Thema bkommen und ich mit dem eigentlichen Problem nicht vorankomme. Beide Rechner arbeiten mit dem (kritisiertem) Excel mit deutlichen Performanceunterschieden zu Lasten des neuen Rechners. Fas würde ich gern abstellen.

Mal abgesehen, dass das ganze Controllergefasel von slsHyde Spekulation und (im besten Fall) Halbwissen ist.

Ich bin sowohl Dir als auch slshyde extrem dankbar für jeden Hinweis / Weg, der das (Hardware) Thema positiv auflösen kann.

 

[Piktogramm]

Auf Seite 2 Steht etwas von grob 30% Differenz? Das kann auch eine Mischung sein. Etwas vom Defender / Antivirus, etwas vom anderem Betriebssystem, etwas Differenz vom Treiber (welcher wird NVMe Treiber wird eigentlich genutzt?), etwas andere Software die mit läuft.

Hauptsächlich aber für den Anwendungsfall unpassende Software. Ich glaube dir durchaus, dass für eure Nutzungsweise keine Alternativen existieren. Das liegt aber auch daran, dass man sich mit gescheiter Software vom "Excel driven Company" komplett wegbewegt und andere Konzepte nutzt. Gerade wenn deine Beschreibung die Datawarhousing riecht, aussieht und auch so schmeckt.
Ansonsten merkst du ja gerade, dass die aktuelle Lösung selbst wenn man teure Hardware drauf wirft nicht mehr skaliert.

 

[JaKuE]

Differenzen siehst Du im Anhang. Faktor 3 (mal langsamer) bei Programm und Faktor 2 bei Spiel. Die 30% bezogen sich damals auf die (wie ich zwischenzeitlich weiß) nicht so für die Praxis relevanten synthetischen Tests.

Ich habe jetzt mal alles abgeschaltet - Defender, Spectreschutz, Meltdownschutz etc. Ergebnisse im letzten Cluster des Anhangs. "Nur noch" ca. 30% langsamer, aber (i) schon unter Wegnahme einiger von Piktogramm genannten Themen und (ii) mit eigentlich deutlich leistungsfähigerer Hardware... Da muss also mehr, zumindest aber die Fähigkeiten der ein Jahr alten technik (was nach meinem Verständnis bei Rechnern Dimensionen sind) möglich sein...

 

[Piktogramm]

Da muss also mehr, zumindest aber die Fähigkeiten der ein Jahr alten technik (was nach meinem Verständnis bei Rechnern Dimensionen sind) möglich sein...

Öhm nö.
Excel profitiert wenn überhaupt nur mit extremer Verspätung von den Befehlssatzerweiterungen moderner CPUs und ohne die stieg der Durchsatz der CPU-Generationen kaum mehr außer durch mehr Kerne / Threads. Wobei auch da bei 4-6Threads Stagnation bei der Software herrscht. Wobei selbst bei den Befehlssatzerweiterungen seit Haswell nix mehr kam, was Excel großartig helfen könnte.
Excel greift auf Daten nur recht linear zu und skaliert entsprechend kaum mehr, wenn man mehr als eine SSD der besseren Mittelklasse einsetzt.

Technologische Sackgasse halt, die man mit Hardware nicht erschlagen bekommt. Ich habe in einer Branche auch mit Software zu kämpfen, bei der es keinerlei Unterschied mehr macht ob man Hardware für 300€ oder 3.000€ drauf wirft. Der Mist skaliert einfach nicht.


Weitere Vorschläge:
NVMe Treiber durchprobieren. Mal den von Samsung, Intel und Microsoft gegeneinander testen.
In den Energiespareinstellungen von "Angepasst" aus Maximale Leistung. Damit braucht die Kiste mehr Saft, man spart aber mitunter Latenzen ein die die CPU zum Wechsel zwischen verschiedenen Energiesparmodi braucht.

 

[JaKuE]

Verstehe. Aber dann müsste es ja zumindest möglich sein, ein dem alten Rechner vergleichbares Niveau herzustellen. Dies ist leider nicht gegeben und der einzig aktuell nachvollziehbare Erklärungsversuch scheint die differierende Infra(Hardware)Struktur

Danke für die weiteren Vorschläge - probiere ich. Treiber hatte ich initial den von MS und dann auf den von Samsung umgestellt. Musste aber dann - meine ich - etwas in den Einstellungen zum Verhalten des Caches ändern.

 

[58er]

Häng doch mal die selbe Festplatte and den alten und an den neuen und lass deinen Tests laufen.

 

[slsHyde]

Also auf Kindergarten habe ich hier keinen Bock. Ich bin dann über PN erreichbar, wenn es was interessantes gibt.

 

[JaKuE]

Das trau ich mir bei den so unterschiedlichen Infrastrukturen nicht. Dort sind ja zwei SSDs mit Hardwarecontroller...

Slshyde, lass uns mal an der alten Stelle weitermachen. Hab Dir PN geschickt.

 

[58er]

Das trau ich mir bei den so unterschiedlichen Infrastrukturen nicht. Dort sind ja zwei SSDs mit Hardwarecontroller...

Dann kauf halt eine extra Festplatte, mach die Daten drauf und stöpsel die um.
Wie willst du denn sonst überhaupt vergleichbare Ergebnisse bekommen?

 

[JaKuE]

Ehrlich gesagt geht es mir nicht so sehr um den Vergleich, sondern darum, dass der neue Rechner so schnell wie der alte ist. Und wenn die neue Platte am alten Rechner und dieser dann genauso „langsam“ wäre ist das Ziel ja auch nicht erreicht. Frage ist also m.E., was es beim neuen braucht, um diesen schneller - zumindest auf das Niveau des alten - zu kriegen. Schrauben kann ich beim alten nicht mehr, da dieser schon verkauft ist und insofern nur noch leihweise hier steht bis das mit dem neuen geklärt ist.

Der Lieferant des neuen Rechners vermutet, dass irgendwas nicht harmoniert und hat mich um Rücksendung des Rechners gebeten. Bringe den heute auf den Postweg und bin gespannt. Gebe Update hier, wenn ich Infos habe.

Happy easter

 

[58er]

Ohne dir zu nahe treten zu wollen, aber mit systematischer Vorgehensweise hast du nicht so viel am Hut oder?

Klar wäre das Ziel erreicht wenn dann beide gleich schnell wären. Du hättest Gewissheit, dass es mit der Festplatte zusammenhängt und an nichts anderem. Bisher vermutest du das nur, ohne es irgendwo mal getestet zu haben.

Naja, viel Spass noch beim rumraten, vielleicht hast du ja irgendwann Glück.

 

[JaKuE]

Kleiner Tip - auch mit versuchter Relativierung im Eingangssatz bleibt es beim „zu nahe treten“. Wahrscheinlich liegt es in der unterschiedlichen Auffassung re/ zielführender vs nur wissensbefriedigender Systematik.

Mit Hilfe dieses Forums - insbesondere slshyde - und den Vorschlägen unseres Lieferanten haben wir in den vergangenen Wochen eine Menge an systematischen Tests gemacht. Im Ergebnis hat der Lieferant festgestellt, dass irgendetwas im Gesamtzusammenspiel aller Komponenten nicht passen kann und will dies nun ganzheitlich testen. Ziel ist, die Performance des neuen Rechners hinzukriegen und da ist es - auch mit Blick auf Gewährleistungsaspekte - sowohl sinnvoll als auch systematisch, dies nach all den Tests an einer einzelnen Komponente zunächst in die Hände des Verantwortlichen Lieferanten zu geben. Mit Glück oder Rumraten hat dies m.E. sehr wenig zu tun.

Wie gesagt, ich gebe die Ergebnisse in die Runde.

 

[slsHyde]

Slshyde, lass uns mal an der alten Stelle weitermachen. Hab Dir PN geschickt.

Wie ist denn der Stand?

Ich halte nach wie vor den Test mit einer kleinen Optane (16GB) ggf. gefolgt von einem Umbau des Hardwareraids für zielführend. Sofern zwischenzeitlich keine anderen Ergebnisse vorliegen.

Ergänzung (3. April 2018)

Der Lieferant des neuen Rechners vermutet, dass irgendwas nicht harmoniert und hat mich um Rücksendung des Rechners gebeten. Bringe den heute auf den Postweg und bin gespannt. Gebe Update hier, wenn ich Infos habe.

Der Lieferant ist ja immerhin positiv bemüht. Auch den Austausch der 960 Pro fand ich schon sehr kulant. Sehr gut. Gibt es schon Ergebnisse?

 

[JaKuE]

Naja, er sieht sich richtigerweise in der Verantwortung, weil er die Rechnerkonfig auf Basis unserer Anforderung - schneller als Altrechner - erstellt hat. Und hat basierend darauf auch eine Menge an guten Testvorschlägen gemacht. Und die Testergebnisse waren nicht so, wie er sie von dieser Hardware erwartet und auf testrechnern parallel simuliert hat. Deshalb jetzt check vor Ort. Rechner am Samstag verschickt, wird also irgendwann die Tage dort ankommen und "dann schaun wir mal". Melde mich, wenn es was neues gibt.

 

[slsHyde]

Das Gute ist, dass er genug Hardware zum testen da haben sollte. Bin gespannt.

Ergänzung (3. April 2018)

Genial wäre natürlich, wenn der Lieferant eine große Optane zum Testen zur Verfügung hätte ...

Ergänzung (3. April 2018)

Wir hatten ja auch noch das Thema RAM-Cache als eventuelle Möglichkeit. Hier was dazu:

http://www.overclock.net/forum/320-...using-your-extra-ram-cache-your-ssd-hdds.html