Zukünftige CB-Testmethoden: Alltags- und Pro-Anwendungen in CPU-Tests

Ich wäre noch für den Benchmark "Geekbench". Dieser läuft unter Windows, Linux und OS X sowie iOS und Android. Dazu wie schon erwähnt handbreak, da dies auch unter jedem OS läuft.

Ich würde Tests zu After Effects, Premiere Pro und C4D (konkreter VRay, aber das geht dann doch zu weit) oder dem Cinebench begrüßen, allerdings sind das wohl nicht sehr relevante Programme für Gamer oder auch ganz normale PC Nutzer. Ansonsten gerne auch 2160p 60FPS YouTube streaming.

EDIT: Allgemein Benches unter Ubuntu wären auch gut, für meinen Fall noch Blender dazu.

Für mich ist Excel sehr sehr interessant.

Als Controller habe ich schnell mal Dateien, von mehreren 100 MB. Wenn da dann noch diverse verschachtelete Verweise drin sind, dann kommen schnell mal Rechenzeiten von 5-10 Sekunden bei jeder EIngabe zu Stande, was dann entweder eine Reorganisation der Dateien nötig macht (mit Logik kann man ja vielles erschlagen), oder eben schnellere Rechner.

Da Excel mittlerweise ja sogar mit mehr Kernen skaliert, könnte man aus dem Bereich mal einen Benchmark mit einbauen.

Privat interessiert mich am ehesten WinRAR, oder Umwandlung von 1080p Filmen, in eine andere Auflösung.

Sofern rechtlich möglich: Die Redaktion nimmt gerne Projekt-Dateien, die sich als besonders fordernd erwiesen haben, entgegen. Dateien / Links (DropBox?) an redaktion@computerbase.de .

evtl ein vergleich von Adobe movie maker und sony vegas pro?

Mich würden vor allem Test der GPU-Beschleunigung in Adobe-Software und kompilieren in Android Studio interessieren. Das sind beides wirklich rechenintensive Sachen, bei denen es schon mal sein kann, dass die CPU/GPU lange Zeit ausgelastet ist. Für mich im Alltag extrem nervig da warten zu müssen.
Einen Office Benchmark brauchts mMn nicht mehr. Da sind eigentlich eh alle CPUs flott genug.

Was man auch mal mit rein bringen könnte ist, wie das Core--Takt-Verhalten bei Teillast aussieht. Bei Haswell-E ist das z.B. ein großes Problem, dass bei nur wenigen Threads (viele ältere Spiele und auch neuere schlecht optimierte) es zu micro-rucklern kommt und kein Max Turbo gefahren wird. Zusätzlich ist ein ständiger Core-Switch zu beobachten.

Hoi Volker!
Wie immer ein paar Vorschläge

- Bei Tests mehr Details! (ich weiß dass dies im schlimmsten Fall mit Datenbankänderungen einher geht)
- Möglichkeit eines eigenen Direktvergleichs (vllt. eine neue Top-Navigation Kategorie?) mit Quellen aus der Datenbank

So könnte man im Forum z.B. auf Direktvergleiche verweisen (alte GK/neue GK).
CB selbst testet ja gerne und fleißig, da kann man das Potential etwas weiter ausnutzen.

mfg,
Max

Warum nicht einfach den BAPCo Sysmark 2014?

Ok, der kostet Geld, aber er enthält ja die meistgenutzten Programme und ist auch das Kriterium bei Öffentlichen Ausschreibungen...

Man kann das dann zuhause zwar nicht nachspiele, dafür erhält man aber ein recht praxistaugliches Ergebnis bei Arbeitsprogrammen.

Man könnte sich dann eigentlich alle anderen (außer Spiele-) Benchmarks sparen

Gewichtung beim Sysmark 2012:

Autodesk 3DS Max 12,5 %
Adobe Premiere 12,6 %
Adobe After Effects 12,4 %
Adobe Photoshop 9,5 %
Adobe Acrobat 5,1 %
Abbyy Fine Reader 4,0 %
Microsoft Word 1,9 %
Autodesk AutoCAD 1,6 %
Mozilla Firefox 1,4 %
Google Sketchup 0,8 %
Microsoft Outlook 0,7 %
Adobe Dreamweaver 0,6 %
Microsoft PowerPoint 0,4 %
Microsoft Internet Explorer 0,2 %
Microsoft Excel 18,3 %
WinZip 18,0 %

Ich wäre auch für Adobe Photoshop, Premiere Pro und After Effects. Als Nutzer von AutoCAD würden mich Tests in dieser Hinsicht ebenfalls interessieren. Cinebench halte ich darüber hinaus auch für okay.

Mir fällt nur eine Sache ein wo mein i7 mal so richtig ans kotzen kommt: Spieleentwicklung
Das bedeutet er muss einen mix von Engine/Editor, Grafikprogrammen, 3D-Modellierungsprogrammen etc. ertragen.
Konkret sieht das bei mir z.B. so aus:
Visual Studio 2013
Unity3D Engine
Adobe Fireworks
Autodesk 3ds max 2015

Auch nicht unüblich wären dazu noch diverse kleine tools laufen zu lassen (konverter, etc) oder Autodesk Mudbox.
Die meist verwendeten Tools sind in dem fall wohl browser instancen und der gute alte Taschenrechner ^^

Volker schrieb:

... schlecht geeignet sind. Dazu zählt Cinebench genau so wie 3DMark und viele andere Sachen. Was ist der Stand zu diesen? Mitnehmen weil sie als "Volks-Benchmark" jeder kennt und schnell persönlich einordnen kann oder rauswerfen?

Zum Vergrößern anklicken....

Kann man halten wie man will, für die breite Masse sicher nicht schlecht. Wenn ihr aber den Standard extrem hoch heben wollt dann lasst sie raus ^^

Einen Benchmark mit einem Compiler würde ich auch befürworten, entweder Linux-Kernel durch den gcc oder was mit dem Visual Studio (gute Frage, welches OpenSource-Projekt wäre da geeignet?) oder beides. Am besten von der SSD aus da das ganze auch recht IO-lastig ist.

Videokonvertierung mit FFMPEG wäre sicherlich interessant, da viele Konverter FFMPEG benutzen.

Was wollt ihr mit Handbrake/RipBot/...? Im Endeffekt nutzen alle den gleichen Encoder.

@ CB: Nehmt bei der Videocodierung lieber x264 (x265 falls es mal irgendwann gut/final wird) mit nem ordentlichen CRF (18 - 22 im Durchschnitt taugt für gutes Material in 1080p bei geringer Größe). 2pass ist immer zweckfrei, außer man will den Content auf ne bestimmte Größe quetschen. Filme/Videos will man aber primär in guter Qualität, die Größe steht da ganz hinten an und ist nur für Omas DVD-Player von Relevanz. 1080p mit 24p und 4k mit ggf. 60 FPS wären gut. 4k mit 24p/30 FPS wären mir aber auch genug, dann weiß ich was ich zukünftig an Zeit brauche. Evtl. auch mal in VP9 reinschnuppern zwecks Videos im Internet. Aber was nicht große Relevanz hat...

Audiocodierung wäre schön ja. Lossless (FLAC - ALAC, WavPack, WMA Lossless und Co. lass ich mal aus, denn die Performance (En- sowie Decodierung) und Kompression von FLAC ist schon sehr gut) -> Lossy (MP3/OPUS/AAC). OGG Vorbis lass ich mal weg, denn prinzipiell steckt es mit in OPUS und für die Zukunft ist das eher von Relevanz als das alte Vorbis, wenngleich es auch noch genutzt wird. Ggf. längere Stücke (1+ h) und (einige?) Alben konvertieren. Geht ja relativ zügig mittlerweile mit allen Encodern.

Hierbei (Video + Audio) bitte aber drauf achten sinnvolle Mess- und Vergleichswerte darzulegen! Heißt: Gesamtdauer falls nötig und bitte bitte bitte das Encoding in Realtime, wie es immer so nett angegeben wird mitgeben. Kurzum: 10x Realtime bei CPU A gegen 12x Realtime bei CPU B. Es bringt mir viel mehr, wenn ich auf einen Blick sehe, wie schnell die CPU alles abarbeitet, anstatt ein langes Balkendiagramm zu haben, was mir aufzeigt wie lange CPU C an Stück D mit E min. geackert hat. Verkompliziert alles nur. Die Prozentangaben beim Hover sind da nur ne Abhilfe für ein Problem, was man hätte bereits lösen können.

Excel ist ne gute Idee, da wird die CPU bei großen Spreadsheets enorm gefordert und spätestens mit 2k13 ist auch ne solide Hardwarebeschleunigung dabei.

Das Wichtigste zum Schluss: Mir egal wie ihr das macht: Es nervt höllisch CPUs verschiedener Generationen zu vergleichen! Man hat einen aktuellen Test, sucht sich eine CPU aus, nimmt einen Test mit seiner CPU, sucht sich wieder ne CPU aus und wenn die beide vorhanden sind, kann man nen Vergleich anstellen. Ist das nicht der Fall, muss man sich noch nen dritten Test mit diesen jeweils zwei CPUs angeln, damit man indirekt über drei Tests die Performance von seiner aktuellen CPU und einer Neueren vergleichen kann. Pro getestete Anwendung natürlich... Graut die doch einfach mit nem Vermerk aus und gut ist, aber so hat man wenigstens eine kleine Basis, auch wenn man das alles nicht zu 100 % vergleichen kann. Immerhin ist was Vergleichbares vorhanden. Oder macht ein Rundungszeichen davor, schreibt irgendwo Schätzung dahinter o.ä. Gerade heutzutage sinnvoll, denn keiner kauft sich heute noch jedes (/zweite) Jahr ne neue CPU.

@ Nerdovic:
Absoluter Nonsens irgend ein Frontend dafür zu nutzen und dabei ist es egal ob es durch ein Frontend wie ffmpeg, Handbrake, RipBot oder via Frontend + Frameserver (MeGUI) gejagt wird.

@ Jesterfox: IO-Last im CPU-Test? Halt ich für extrem fragwürdig. Vielleicht in ner großen RAM-Disk, aber selbst da... Hier gehts ja um CPU-Performance, nicht wann die HDD/SSD/RAM-Disk/SD-Karte "zusammenbricht". Dann lieber die fixeste CPU nutzen und das dann bei Laufwerktests anschneiden, da wo die IO-Performance im Rampenlicht steht. Außerdem ist das Compilen doch eh auf Single-Core-Leistung ausgelegt. Mehrere Threads helfen da kaum, außer dass mehrere Jobs gleichzeitig ausgeführt werden könn(t)en. Maßgeblich ist trotzdem die Pro-Kern-Leistung.

@ 3D-Mark und sonstige synthetische Tests: Komplett raus lassen. Was bringts mir zu wissen, wenns im 3D-Mark x Punkte gibt und aber jedes Spiel anders auf die CPU reagiert (CPU-lastige Games anyone? ). Genauso bringts mir nicht ansatzweise etwas, wenn ich weiß, dass man mit CPU Z prinzipiell mehr Daten durch den Bus schaufeln kann. Im Endeffekt limitiert doch eh wieder was anderes. Zumal man sich die theoretischen Daten auch aus dem Produktblatt ziehen kann. Weitere Befehlssätze machen den Kohl dann nochmal fetter, wenn plötzlich die vierfache Menge an Befehlen abgearbeitet werden kann, wobei die vorherige Generation nur zwei schaffte. Das seh ich dann aber auch im Real-World-Szenario, dafür brauchts keinen theoretischen Test.

Mit ner SSD sollte das eigentlich schon genügend ausgeklammert sein so dass die CPU der bestimmende Faktor wird. Man sollte halt nur keine lahme HDD nehmen ;-) Aktuelle Compiler parallelisieren übrigens auch, zumindest wenn es um große Projekte geht bei dem man unabhängig voneinander Module bauen kann (das Visual Studio startet so viele parallele Compilerinstanzen wie man Kerne hat). Um das aber auszunutzen braucht man schon ein großes Projekt.

Andererseits war ich schon immer ein Fan von "Plattformtests" die mehr als nur einen Aspekt abprüfen um die Gesamtperformance zu sehen. Dazu gehören für mich z.B. auch Spieletests nahe am GPU-Limit.

Das ist - natürlich - nur meine persönliche Meinung:
1) Handbrake finde ich ein gutes, weil kostenfreies Tool. Entsprechend lässt sich damit gut vergleichen. Entsprechend müsste man sich freies Demo-Material besorgen, welches am Ende sowohl bei Audio- als auch Video-Kompression reproduzierbare Ergebnisse bei Dateigröße und Bildqualität liefert. (Beispielsweise nutzen manche Tools die GPU als Hilfe, verlieren dann jedoch eine ganze Menge an Bildqualität).
2) Die MP3-Decoderzeiten dürften heute nicht mehr so relevant sein, solange man keine ganzen Bibliotheken umkodieren möchte. Und auch dann müsste man Standard-Files finden, auf deren Basis man reproduzierbar testen kann.
3) Weiterhin (?) eine klare Trennung zwischen realistischen Tests (z.B. ein Handbrake-Run) gegen reine e-P****-Vergleiche.
4) Interessant wäre ein Test, welcher prüft, wie ein Programm auf CPU-Pinning reagiert. (Sprich, wie viel % Leistung Scheduler durch das Re-Schedulen der Tasks verbrennen.)
5) OpenCL-Tests und MultiCore werden immer wichtiger. Die Zeiten von reiner Einzelkern-Leistung sind im Groben vorbei.
6) Einteilung der CPUs in Feature-Leistungsklassen und Tests innerhalb dieser. Beispielsweise haben nicht allzu viele CPUs von Intel eine halbwegs vollständige Virtualisierungslösung (vPro) an Board. Gerade andere Betriebssysteme außerhalb der Windows-Welt leben davon, diese Features effektiv nutzen zu können. Gleiches gilt für unterschiedliche Ausbaustufen von AVX und Co. Gerade Verschlüsselungseinheiten oder anderen "hardcoded features" dann entsprechend ihrer Fähigkeiten mit speziellen Tests zu malträtieren, finde ich sehr interessant.
7) Durchführen von ein paar der Tests (auch) auf Linux oder SteamOS.

Regards, Bigfoot29

Ich bin auch für die Adobe-Programme (AE, Pr, Ps) und ein größeres blender-Projekt. Dann vielleicht noch Magix und paar Benchmarks wie Cinebench etc

Hier ein paar lose Gedanken meinerseits zum Thema:

- Cinebench würd ich mir auch weiterhin wünschen, ist einfach irgendwie Referenz.

- Das Verhältnis zwischen Mutlithreaded- und Single-Threaded finde ich sehr interessant. Eventuell gäbe es neben Cinebench noch weitere Benchmarks, welche sich zur Analyse von Single-Thread-Performance eignen?

- Ebenso finde ich Kompressions-Benchmarks - allen voran 7z - wichtig. Da ist man doch froh, wenns nicht allzu lange dauert. Selbiges gilt für Videocodierung - insbesondere im Bezug auf moderne Codecs (VP9, H.265).

- Bei Kompression und Videocodierung gebe ich "Praxis-Tests" mit richtigen Daten prinzipiell den Vorzug gegebenüber dedizierten Benchmarks.

- Eine Art CAD-Benchmark wär mal was. Mir ist aber klar, dass das nicht ganz einfach ist und nicht jeden interessiert. Selbiges gilt für numerische Simulationen (Strömungsanalyse, FEM usw.) bzw. andere Tests, welche die Performance bei Anwendung numerischer Verfahren (lineare Gleichungssysteme, Algorithmen zum Lösen von Differentialgleichungen, ...) repräsentieren.

Gruß,
Lord Sethur

Für mich wären zwei Sachen interessant da mich da mein PC inzwischen ziemlich lange warten lässt:

Codieren von 4k60p Material, gerne verschiedene Codecs. Ich bin derzeit zB noch auf h.264 von MainConcept beschränkt da ich MAGIX nutze. Für einen fordernden Benchmark wäre es hier vll auch entscheidend "anstrengende" Aufnahmen zu nehmen, also mit Bewegung und am besten auch Real-Aufnahmen die ja selten rauschfrei sind^^

Rauschentfernung mit Audacity bei langen Aufnahmen in hoher Qualität (zB eine Stunde 192kHz 32bitF) - keine Ahnung ob das vergleichbare Werte liefert. Wäre auf jeden Fall ein praktischer Test der sich Eisern an einen Kern hält.

Zum Re-Codieren fände ich Handbrake im Übrigen nicht verkehrt.

LG KeyKon

Ich bin auch für die Adobe-Programme (AE, Pr, Ps) und ein größeres blender-Projekt. Dann vielleicht noch Magix und paar Benchmarks wie Cinebench etc

Zum Vergrößern anklicken....

Zufällig ein paar Projekte zur Verwendung parat?