Test Auflösung Foto-Blindtest: Welche Smartphone-Kamera ist laut Lesern die beste?

[Steffen]

Wir sind per E-Mail von einem Leser gefragt worden, ob wir ihm den Datensatz der Abstimmungen zur Verfügung stellen können. Er würde sich gerne "die Korrelation des Abstimmens anschauen, denn das dröselt ihr ja hier nicht auf und das gibt womöglich nochmal ein deutlicheres Bild bezüglich der Verteilung der Nutzer-Vorlieben. Das Ergebnis lasse ich euch gerne zukommen".

Wir haben uns dann gedacht, dass wir die Daten auch einfach hier ins Forum stellen können für den Fall, dass auch andere damit etwas anfangen möchten. Die CSV-Datei mit einer Zeile je Nutzer befindet sich im Anhang. Die Zahlen 1 bis 7 stehen für die sieben Antwortmöglichkeiten (Reihenfolge wie im Umfrageformular). Die 0 steht für "keine Teilnahme" (einige Nutzer haben nicht an allen 14 Umfragen teilgenommen).

Damit keine Rückschlüsse auf einzelne Nutzer möglich sind, enthält die CSV-Datei weder User-IDs noch Benutzernamen. Stattdessen werden die Teilnehmer als "User 123" in zufälliger Reihenfolge aufgelistet.

 

[nlr]

Die Ergebnisse in der Tabelle im Artikel sind übrigens alle auf die 2. Nachkommastelle gekürzt, falls da jemand nicht auf 100% kommt.

 

[Randfee]

vielen Dank.
Hatte gestern Abend schon mal geschaut. Die meiste Arbeit dabei ist eure Randomisierung der Handys über die 14 Bildszenen zurück zu sortieren
Hab direkt erstaunt festgestellt, dass die meisten Leute so wild in ihrem Favoriten schwanken, dass es quasi egal ist, was sie kaufen. Es gibt also für die meisten Leute keinen signifikanten Favoriten... und genau das wollte ich primär wissen: Gibt es Gruppen von Abstimmern die Modelle klar bevorzugen. Ich hätte das vermutet, meine eigene Bewertung war ja z.B. sehr iPhone 11 lastig, deutlich klarer als die Summe aller Abstimmungen. Sehr interessant, denn das kommt aus eurer einfach prozentualen Wertung ja gar nicht raus.

Letztlich wäre bei den Daten, wenn ihr es denn erhebt, auch noch sehr schön die Korrelation z.B. der Bildschirmauflösung der Nutzwer während der Abstimmung mit einfließen zu lassen. Oder noch lustiger, ob MacOS User prinzipiell iPhones bevorzugen.... ROFL. Aber ich bin ja froh und finds cool, dass ihr überhaupt diese Daten rausgebt, wäre aber extrem naheliegend sich da mehr anzuschauen und sowas wertet natürlich auch die Qualität und Aussagekraft solcher Umfragen enorm auf.

Ich versuche noch die Bilder selber mit Kenngrößen zu versehen und diese dann mit der jeweiligen Nutzerpräferenz zu modellieren, kann mir gut vorstellen, dass das grundsätzlich hellere, kontrastreichere, gesättigtere oder schärfere Bild halt bei Nutzer XYZ besser ankommt, wenngleich Handy X einmal solche und andermal solche Bilder macht. Dazu muss ich aber nochmal kurz nachdenken wie ich diese properties fix aus den Bildern generieren kann - ist aber auch kein großer act.

Gute Datenanalyse ist einfach geil, vielleicht kann ja die ein oder andere Information bei der nächsten Umfrage mit einfließen lassen bzw. abfragen. Wenn ihr OS und Auflösung schon nicht automatisch abfragt, dann ja vielleicht freiwillig als Teil der Abfrage (Computer OS, Monitorgröße auf dem du das schaust, derzeitiger Hersteller deines Handy, sowas).
Ich biete mich als (data & optics) scientist an, it's in my job.

Ich schaue wann ich ein paar hübsche Graphen draus baue und lade sie dann hoch.

 

[Moh4wK]

Ist doch wohl mehr als eindeutig, das bei den Bildern
Motiv 11 – Gewandstatuen im Pergamon-Panorama unterschiedliche Lichtverhältnisse vorherrschen?

Auf der Statue in der Mitte (Frau) ist bei den Bildern 1, 5 und 6 ein langer deutlicher, querlaufender Schatten von einer zusätzlichen Lampe/Leuchte oberhalb der Statue zu sehen. Diese Lichtquelle fehlt bei anderen Bildern 2,3 und 4 bzw. ist aus.

So ist ja wohl kein aussagekräftiger Vergleich möglich? Jedenfalls nicht in dem Fall...und auch die Büste im Hintergrund bekam so wohl unterschiedlich viel Licht ab!

Somit wären zwei Blindtests obsolet.

 

[shanson Thoma]

Wird es irgendwann mal ein iPhone 11 Pro Test geben 😉

 

[Jan]

Ja!

 

[alan_Shore]

Schlusslich Ipohne XS..... kann ich mit leben. Mit der richtigen Kamera APP und Ahnung von Motiven, macht es Spitzenbilder. Ich bin nach wie vor sehr zufrieden.

 

[Juventino1]

Schlusslich Ipohne XS..... kann ich mit leben. Mit der richtigen Kamera APP und Ahnung von Motiven, macht es Spitzenbilder. Ich bin nach wie vor sehr zufrieden.

Bin ich absolut bei Dir!

Würde die Redaktion über die Bearbeitungsfunktion von iOS das Bild jeweils automatisch anpassen (oder gar noch den "Strahlend" Filter anwenden), würde das iPhone XS wohl weiter vorne liegen.
Nicht weil die Fotos dadurch "besser" geworden sind, sondern deshalb, weil der Normalo das Foto "hübscher" findet.

Ich persönlich nutze die Moment Camera App, mit passenden Accessoires (Hülle und 18mm Linsen für Weitwinkelaufnahmen).
Ohne Moment Accessoires oft die ProCam oder Musemage. 1A Ergebnisse

 

[panopticum]

Ich habe mit abgestimmt aber nicht alle Bilder aufgemacht/vergrößert.
Beim nächsten Mal wäre es schön wenn es eine Galerie gäbe die ausreichend groß ist ohne alles einzeln anzuwählen.

 

[Randfee]

So, hab die Daten mal bisschen anders geplottet und ausgewertet und versuche hier ein bisschen eine Story draus zu machen, mal schauen:

• Zu Beginn ist es interessant, wenn auch nicht überraschend zu sehen, dass die abgegebenen Stimmen mit der Zeit abnehmen.
  
  
  Nutzer die anfangs noch Lust hatten verlieren diese, weil es ihnen ggf. zu lange dauert? . Auch wird bei Szene 11 signifikant weniger abgestimmt, sicherlich aufgrund der sich ändernden Lichtverhältnisse nachzuvollziehen, aber das verfälscht natürlich die Ergebnisse in vielerlei Hinsicht, daher beschränke ich mich die meiste Zeit auf die Nutzer, welche bei jedem Bild abgestimmt haben, einen Vergleich gibts aber auch noch.
  Ein Grund sich nur auf die Nutzer zu beschränken, welche überall abgestimmt haben ist, dass in den ersten beiden Szenen noch 2500 Nutzer "Lust hatten" abzustimmen und somit das dortige Ergebnis ggf. überbewertet wird.
  
  Betrachtet man wieviele Nutzer wirklich alles bewertet haben kommt man auf 1477.
  Der Einfachheit halber beschränke ich mich jetzt mal die meiste Zeit auf diese 1477 Stimmen.
  
  
  
  
  
  Der Einfachheit halber beschränke ich mich jetzt mal die meiste Zeit auf diese 1477 Stimmen.
  Dann sieht das Ganze so aus:
  
  
  
  
  
  Wer die Szenen nicht im Kopf hat, da hilft das Bild hier:
  
  
  
  
  
• Jetzt könnte man denken, Leute haben klare Präferenzen.... LOL... Tja, ich und einige waren ziemlich konsistent, hab also einen klaren Favoriten (7x iPhone Pro, 2x XS, 2X 7T, 2x Pixel und einmal P30), aber bei den meisten sieht das ganz anders aus.
  
  Die sechs Histogramme zeigen wie oft das jeweilige Phone von einem User zum Favoriten gewählt wurde. Bemerkenswert ist, dass die meisten Leute nicht öfter als 3x das selbe Phone zu ihrem Favoriten gewählt haben.
  
  
  
  
  Ich denke eine gute Erklärung dafür ist, dass sich die Leute die Bilder nicht richtig angeschaut haben bzw.unter zu schlechten Bedingungen (Auflösung,, Größe..?). Hier wäre auch mein Wunsch bei solchen Tests Gegenüberstellungen zu realiseren, alle 6 Bilder auf einmal sehen, ggf. zoom-Butten für alle Bilder gleichzeitig sowohl synchrones Verschieben. So hab ich sie mir angesehen mit ImageJ.
  Zum Vergleich nochmal alles in einem Graph:
  
  
  
  
• Dann schauen wir uns jetzt mal den einfachsten Graph an, wieviele Stimmen gabs für welches phone. Hier sind jetzt alle Stimmen berücksichtigt!
  
  
  
  
  Betrachtet man nur die Stimmen von usern, welche alle Szenen bewertet haben sieht es ähnlich aus
  
  
  
  
  Man kann aber auch für jeden Nutzer einen Favoriten bestimmen und dann die Favoriten aller Nutzer zählen. Das macht aus meiner Sicht eigentlich mehr Sinn wenn man verstehen will, wieviele Leute welches Phone bevorzugen. Falls ein Nutzer aber z.B. 3x für phone#1 sowie phone#2 abgestimmt hat, teile ich die Stimmen auf#1 und #2 auf. Auch bei dreien oder mehr... manche Nutze stimmten gleich oft für viele verschiedene phones ab. Auch wieder nur die Nutzer betrachtet welche alle Szenen bewertet haben.
  
  
  
  
  Das Ergebnis zeigt, dass fast 25% der Nutzer das iPhone11 am besten finden. Damit ist der Vorsprung deutlich klarer als wenn man einfach nur die Stimmen zählt (19%)! Das iPhone XS zum Beispiel schneidet deutlich schlechter ab (6% vs 11%). Das liegt daran, dass dies bei vielen Nutzern nur einmal als Favorit gewählt wurde.
  
  
  
• Jetzt wirds ein bisschen komplizierter. Die sog. Korrelation sagt etwas über den Zusammenhang aus. Ist die Zahl negativ, dann bedeutet dass: wer phone 1 oft wählt, der wählt phone 2 seltener. Ansonsten Wikipedia lesen oder das hier überspringen
  
  Man erkennt, dass alle Phones negativ korreliert sind. Der negativste Wert besteht rechts oben zwischen Galaxy S10 und Pixel 3. Wer also oft fürs Galaxy stimmt der stimmte umso seltener fürs Pixel 3 ab und umgekert. Wer aber z.B. fürs iPhone 11 Pro abstimmte, der stimmte kaum weniger oft fürs iPhone Xs ab. Gleiches gilt für P30 Pro und Pixel 3.
  
  
  
  
  
  Interessanter wird das für einige vielleicht, wenn man sich die Korrelation des Abstimmverhaltens von Szene zu Szene anschaut.
  
  
  
  
  Hier nochmal die Szenen-Übersicht, muss man eigentlich gleichzeitig betrachten:
  
  
  
  
  Schaut man links oben hin so erkennt man z.B. Dass zwischen Szene 1 und 2 eine "recht hohe" Korrelation herrscht. Wer also ein Phone in Szene 1 gut fand war eher dazu geneigt das gleiche Phone in Szene 2 auch gut zu finden. Das liegt wahrscheinlich daran, dass man "draußen" wahrscheinlich eher das Ergebnis eines Phones mag. Vergleicht man aber 1 mit 14, so gilt eher das Gegenteil.
  Es sei dazu gesagt, dass die Korrelationen hier alle nicht sonderlich hoch sind, weil die meisten Leute ja ziemlich "durcheinander" gewählt haben.
  
  
• So, dann gucken wir uns jetzt noch ein paar Zusammenhänge direkt an. Wer einen Boxplot nicht kennt, der kann auch googeln - Im Endeffekt sind in jeder Box viele Datenpunkte. Die Rote Linie zeigt den Median, der Kasten zeigt 50% der Daten, 25% darüber, 25% darunter.
  Als Rang bezeichne ich jetzt die Platzierung eines Phones bei einer Szene.
  Völlig logisch ist eigentlich, dass der erste Rang immer die meisten Stimmen bekommt. Zumindest hier ist es ziemlich eindeutig.
  
  
  
  
  
  Jetzt bin ich noch ein bisschen auf die Suche gegangen, was bildtechnisch vielleicht entscheidend für die Wahl gewesen sein könnte.
  
  Sättigung vielleicht? (relative Sättigung von phone zu phone betrachtet pro Szene!). Scheinbar kein Zusammenhang.
  
  
  
  
  
  
  Vielleicht ein Zusammenhang mit der Helligkeit?.... sieht auch nicht wirklich so aus.
  
  
  
  
  
  
  Dann musste ich ein bisschen kreativer werden und hab auch tatsächlich was gefunden, was ziemlich gut den Rang erklärt. Die "Schärfe":
  Tja, wie kann man das messen? Ganz einfach:
  1. Bild in Graustufen umwandeln
  2. absoluten Gradienten des Bilds generieren, sowas sieht so ungefähr aus:
  
  
  
  
  Kann man alles schnell scripten und für alle Bilder ausrechnen lassen. Dann sucht man noch sowas wie den Mittelwert oder Median oder sonst eine Defintion welche eine Zahl daraus berechnet (oder auch gerne komplexer) und hat einen WErt für die Schärfe.
  Hier kurz ein Bild welches links das Gradientenbild und rechts das Original zeigt. Rechts sieht man auch, dass oberhalb von der Dachkante es plötzlich noch nen Ticken heller wird als der Himmel selber. Das ist ein klares Zeichen dafür, dass nachgeschärft wird.
  "Richtige" Bildschärfe über gute Optik und Fokus wird hier also vermischt mit Software Nachschärfen, was viele machen. Daher kann man nicht eindeutig sagen was hier gemessen wird. Kann man trennen, aber dafür muss man entsprechend Testbilder machen.
  
  
  
  
  
  So, zum Ergebnis.
  Recht eindeutig zu erkennen, dass je schärfer das Bild ist, desto höher die Wahrscheinlichkeit, dass es die meisten Stimmen erhält, unabhängig von den Szenen! Hätte ich nicht gedacht, aber das ist das EINZIGE Bildmerkmal, was user-unabhängig einen eindeutigen Trend aufwies. Weder Kontrast, noch Sättigung, noch Helligkeit noch Dynamik noch Machine-Learning "Niceness" von Bildern
  
  
  
  
  
  Tja... und dreimal dürft ihr raten welches Phone die höchste Schärfe hat.....
  
  
  

=============================

Ich geh bei Gelegenheit nochmal hin und schaue mir die Schärfe über den Radius an. Das iPhone z.B. ist nämlich oft bis zum Rand scharf (bessere Optiken) und viele andere Kandidaten nicht, das heißt nicht, dass diese nicht aber in der Mitte genauso scharf sein können (oder noch mehr).
Auch ist es sicherlich spannend sich die Präferenzen hinsichtlich von Bildparametern nutzerspezifisch anzuschauen. Eigentlich kein Problem, hatte ich aber grade keine Zeit für. Denke hier wird sich rausstellen, dass man natürlich herausfindet, was derjenige mag, welcher Galaxy-Bilder besser findet als Pixel oder iPhone. Die Sättigung muss hier einfach korrelieren mit Samsung

Man könnte bei dem Test soviel mehr rausholen, wenn man es bisschen mehr durchdenkt. Mir fallen spontan ein:

• Für jeden Nutzer random Bildreihenfolge
• Nur gleiche Szenen (Licht gleich, keine Personen oder sonstwas die sich ändern)
• Mit-Tracken welches Device zum anschauen verwendet wurde. Muss ja nicht per script sein, geht auch per Abfrage. "Nutzt du Handy/Laptop/Desktop hierfür?" - "Welches Betriebssystem?" - "Welches Handy hast du jetzt?" (hochspannend, denn Leute bekommen einen confirmation-bias und es würde mich nicht wundern, wenn man die Bilder gut findet welche ähnlich aussehen wie diese, die das eigene phone ausspuckt, weil man das so erwartet
• User-Interface muss Bilder direkt gegenüberstellbar machen. Entweder man macht es wie zu anfangs bei Facebook mit dem Frauen-Rating (nein, ich bin kein Sexist, Zuckerberg aber). Man zeige immer zwei Bilder (gleiche Szene) und fragt: "welches sieht besser aus?". Muss man halt deutlich mehr abstimmen aber es geht ratz-fatz.
  Die andere Möglichkeitist es, wenn man die WEbseite dafür so baut, dass man Gegenüberstellungne machen kann. Ähnlich wie bei DPReview

later

 

[Magellan]

@Randfee Sehr interessant, nur bei der Schlussfolgerung zur Schärfe bin ich etwas am zweifeln.

Gerade bei Szene 1, Bild 1 kann ich mir absolut nicht vorstellen dass objektive Schärfe der wichtigste Faktor war, was optisch im Vergleich zu den anderen Bildern heraussticht sind doch die überzeichneten Farben, die Mülleimer leuchten von innen heraus, die Blätter sind unnatürlich knallig und das Wetter wirkt sonniger als es wohl war - dafür sind am Boden (im "Dreck") überhaupt keine Strukturen mehr zu erkennen und die Blätter sind zu einem Brei vermatscht.
Im Vergleich dazu hat Bild 5 super detailierte Blätter, schöneren Schattenverlauf und insgesamt ralistischere Lichtverhältnisse, an subjektiv wahrgenommener Schärfe erkenne ich dagegen keinen Unterschied.

Hier scheint mir ganz klar das knalligere Bild der entscheidende Faktor

 

[Randfee]

@NoD.sunrise, hab ich irgendwo geschrieben, dass die Schärfe immer der entscheidende Faktor ist? Nein. Die Analysen oben sind doch globaler Natur und beziehen sich auf alle Stimmen von Wählern welche alle 14 Szenen bewertet haben. Hier nochmal als Scatterplot für jedes Bild:

Man kann sich das natürlich auch einzeln pro Szene anschauen. Da sieht man, dass bei Szene 1 durchaus auch ein Zusammenhang zwischen Sättigung und Ergebnis steht!

Hier sind die einzelnen plots. Eigentlich muss man das alles fitten und die Residuen angeben, so werden die Korrelationen oft überschätzt... können aber glaube ich gar nciht unterschätzt werden.

Viel Spaß

 

[oliveron]

...und es gibt sicher Viele, die halten auch den Klang des Radioweckers schon für Hi-Fi

Schöner Satz

Ich muss allerdings selbst konstatieren, dass mein Xiaomi Mi A3 ein merklicher Sprung von meinem Samsung S3 Mini war, und selbst der Radiowecker Sound durch die eingebauten Handytröten klingt deutlich besser als zuvor . Es ist also wirklich immer ein Vergleich der Standpunkte

 

[glacios]

Auch wenn die meisten Das Thema schon wieder nicht mehr intressiert, muss ich doch nochmal anmerken, wie genial ich deine Auswertungen finde Randfee!
Es geht ja nicht nur um Auswertungen sondern vor allem was daraus folgt - chapeau!

 

[flyyy]

Schön zu sehen wie sich das Pixel 3 (Straßenpreis ~350€ gebraucht) noch schlägt. So viel gibt sich das alles nicht. Nur bei der Video-Aufnahmequali gewinnt das iPhone um Längen gegen alle anderen (noch).

 

[kellerbach]

Diese Erhebung läßt ja offenkundig keinen Schluss auf die Fotoqualität zu, denn die Mehrheit geht zuverlässig Richtung Schärfe-, Kontrast- und Farbsättigungspimp. Das sollte bekannt sein. Ich vermute das phone mit dem ehrlichsten Bild liegt sogar im unteren Drittel. Mich hätten auch ältere Modelle interessiert, vor allem die Klassiker mit riesen Fotosensor wie das Nokia N8 oder das pure view 808.

 

[zandermax]

Das N8-00 dürfte schon etwas weiter weg sein, was Bildqualität angeht. Hab mir letzthin wieder n paar alte Bilder davon angeschaut.

 

[Randfee]

wie gesagt, es gibt leider keine wirklich guten tests mehr im Netz. Sowas wie DXOMark zeigt ja nur eine Zahl mit unbekanntem Algorithmus berechnet statt MTF, SNR, Dynamik-Umfang, Farbtreue, Chromatische Abberation usw. ordentlich zu messen UND einzeln anzugeben. Wenn ich bischen mehr Zeit hätte und wüsste, dass zumindest die Zeit und Aufwand entschädigt würde würde ich's selber machen.... Einmal bisschen überlegen, entsprechende Hardware besorgen und das bisschen Mathe hinscripten bzw. sich die fertigen Funktionen ergoogeln, fertig.
Gibt's aber echt nirgendwo mehr ordentlich - wir leben halt immer mehr in einer Glaubens- und Meinungswelt, Fakten sind heute ja fake-news bzw. immer öfter irrelevant. 🤦‍♂️

Aaber, wenn 50% überschärft, übersättigt und überbelichtet gut finden, dann ist das ja auch ein "fakt". genau wie die breite Masse übersteuerten Sound gut findet, Hauptsache laut. Das empfinden die meisten erwiesenermaßen immer als besser klingend gegenüber leiser. :-/

 

[kellerbach]

Aaber, wenn 50% überschärft, übersättigt und überbelichtet gut finden, dann ist das ja auch ein "fakt". genau wie die breite Masse überesteuerten Sound gut findet.

Ja, das ist so, als gäbe es bei der Wettervorhersage nur noch die gefühlten Temperaturen, nicht mehr die "Rohdaten". Man hätte bei jedem Testbild noch das einer professionellen Kamera als Referenz beigesellen müssen, damit diese Erhebung mehr ist als Meinungsnews. Aber hey, so sind die Zeiten heute..

@zandermax
Mein n8 braucht ein Stativ in Verbindung mit langer Belichtungszeit, um den großen Fotosensor wirklich ausnutzen zu können. Dann sind die Fotos wirklich erstaunlich gut. Ich habe aber leider keinen Vergleich zu heutigen smartphones.

 

[FJS]

habe mir erst heute das Ergebnis und die Kommentare mit schmunzeln angeschaut und bin immer wieder erstaunt was man aus so einem Thema herausholen kann.
Und ich frage mich was die Leser eigentlich wollen bzw. erwarten.
Im Prinzip ist ja für jeden das richtige Smartphone dabei. Ob es dann die 'richtigen' Bilder liefert scheint ja inzwischen zweitrangig zu sein. Wer zum Teufel schaut sich den die Bilder die er schießt tatsächlich größer als im Format 20 x 15 (ja das sind schon die größeren Fotoabzüge fürs Album) Pixel für Pixel an ? Ich behaupte 90% werden am Smartphone, maximal am Tablet und ganz selten am PC betrachtet. Hier spielt dann schon die Kalibrierung des Displays eine wichtige Rolle und so wird ein und das selbe Bild auf jedem Device anders rüberkommen. Auch darüber könnte man jetzt eine Endlos-Diskussion starten. Ich denke viel wichtiger als die Auflösung ist doch der Gesamteindruck des Bildes. Also wie natürlich kommen die Farben rüber, wie nuanziert ist die Dynamik und wie präzise der Weißabgleich sowie die Belichtung. Das sind, zumindest für mich, die entscheidenden Faktoren und da reicht mit schon ein kleines Bild welches all diese Eigenschaften bereits enthält. Ich vergleiche also viel lieber die Ergebnisse mit kleinen Bildern nebeneinander und merke sofort was mich anspricht. In der Regel tippe ich dabei auf eine natürliche Darestellung. Kann man am besten mit bekannten Gesichtern machen, die verzeihen ganz wenig !
Die beim Huawei P30(pro) so hochgehypten Nachtbilder sind für mich ein Grauen, das nichts mit der Realität zu tun hat. Für mich die besten, weil natürlichsten Bilder ob Tag oder bei wenig Licht habe ich mit dem Iphone 11 und dem Pixel 4 erziehlt. Da liegen in meinen Augen Welten zum P30. Daher werde ich mich auch für eines der beiden entscheiden.
Aber alles liegt natürlich im Auge des Betrachters.