News Gegen Diskriminierung: Maas will Algorithmen kontrollieren

Positive Daten bedeuten Vorteile und Teilhabe – negative Daten Nachteile und Ausgrenzung“

Zum Vergrößern anklicken....

Kluger Mann. Fällt ihm das nach 90 Jahren Schufa auch schon auf.

Hi,

Als Beispiel nennt er eine Bonitätsprüfung anhand des Facebook-Profils.

Zum Vergrößern anklicken....

dann nenne ich mal die reale Bonitätsprüfung, nicht nur eine theoretisches Beispiel: Schufa. Wird deren "Berechnungsverfahren" denn dann auch transparent offengelegt? Oder ist das nur wieder eine Keule gegen die bösen "Internetfirmen", mit der altehrwürdigen Schufa will man es sich dann aber nicht verscherzen?

Man lese sich nur dieses Urteil einmal durch.

Fazit

Aus dem Urteil des OLG bleibt insbesondere festzuhalten, dass der SCHUFA Score eine Meinungsäußerung und keine Tatsachenbehauptung darstellt. Weiterhin darf die SCHUFA in ihre Bewertungskriterien keine individuellen Angaben mit einbeziehen, dafür sind Geschlecht und Wechselhäufigkeit von Bankverbindungen zulässige Bewertungskriterien. Schließlich wird das Urteil des BGH bezüglich der Rechtmäßigkeit der Geheimhaltung der Scoringformel bestätigt, sodass ein (ggf. schlechter) SCHUFA Score, auch bei guter Bonität, weiterhin nicht im Detail nachvollzogen werden kann.

Zum Vergrößern anklicken....

Kann ich mich als "böse Internetfirma" dann nicht auch darauf berufen, dass ich ja keine Tatsachen behaupte, sondern nur meine Meinung äußere, und deswegen absolut gar nichts irgendwem über meinen Algorithmus mitteilen muss?

VG,
Mad

760_Torr schrieb:

So etwas gibt es nur in einer freimaurerischen Tugend-Tyrannei, etwa so, wie sie in der "Zauberflöte" demonstriert wird.

Hass als normale menschliche Emotion kann nach rechtsstaatlichen Maßstäben nicht kriminalisiert werden, Gefühlskriminalität kann es nur unter einer Willkürherrschaft geben.

Zum Vergrößern anklicken....

Mal davon abgesehen, dass das hier eigentlich IST ist geht es beim Begriff Hasskriminalit nicht darum Hass an sich zu kriminalisieren sondern um Straftaten, die durch Hass motiviert sind. Und das die Motivation einer Straftat bei ihrer Bewertung / Bestrafung eine Rolle spielt ist ja nun wirklich nichts neues.

BTT: Ich finde es schade, dass in diesem Forum ein so undifferenzierter Beißreflex gegen das Wort Kontrolle und Staat vorherrscht. Leider haben Politiker so hast daran gearbeitet sich in Sachen Internet einen Ruf als inkompetente Dinosaurier zum erwerben, dass ihnen niemand mehr zuhört wenn sie doch Mal eine gute Idee haben. Nichts gegen begründete Kritik, aber viele Kommentare lesen sich so als hätten die Poster nur den Namen Maas gelesen und sofort in einen Rant verfallen.

Es lässt sich übrigens ganz verhindern, dass ein Algorithmus nach Eigenschaft XY diskriminiert: Man gibt ihm diese Eigenschaft nicht als Eingangsgröße. Von dem her ist der Vorschlag von Herrn Maas garnicht so abwegig.

Miuwa schrieb:

Es lässt sich übrigens ganz verhindern, dass ein Algorithmus nach Eigenschaft XY diskriminiert: Man gibt ihm diese Eigenschaft nicht als Eingangsgröße. Von dem her ist der Vorschlag von Herrn Maas garnicht so abwegig.

Zum Vergrößern anklicken....

Ganz so einfach ist das sicherlich nicht. Das fängt schon damit an, wie man festlegen will, welche Kriterien diskriminierungsfrei sind. Dazu kommt, dass lernfähige Algorithmen immer besser werden und diese sich durch ein paar simple Parameter genau so steuern lassen, wie man es gerne hätte. Eigentlich wäre bei solchen Algorithmen auch ein Filter für Eingangsgrößen gar nicht nötig, weil der Algorithmus es selber herausfinden müsste, was relevant ist und was nicht. Und wenn er ein vermeintlich diskriminierendes Merkmal trotzdem verwendet, dann nicht weil der Algorithmus so rassistisch oder sexistisch ist, sondern weil es offentsichtlich doch für die Sache selbst relevant war.

Decius schrieb:

Selbst wenn man die Firmen dazu zwingen kann, diese einer Schiedstelle/Behörde offenzulegen, reden wir hier von "Algorithmen" die so extrem komplex sind, dass sie in Jahren nicht überlickbar sind. Und das wären nur die normal programmierten. Von Neuronalen Netzen und AI-Systemen (wie zB für die Google Bilderkennung) gar nicht angefangen, die eigentlich selbst für Spezialisten, die sie gebaut haben, schwer zu durchblicken sind, weil sie sich natürlich - die Natur der Sache - selbst verbessern.

Ergänzung (4. Juli 2017)

Du musst gar nicht mit Beispielen kommen, die dich deinen Alltagsrassismus aus den 40ern ausleben lassen. Darum geht es hier gar nicht, dass die bösen, bösen Leute nicht mehr wollen, dass du täglich Leute beleidigst, nur weil du unfähig bist 3 Meter an andere zu denken.

Hier geht es darum, dass zB du aufgrund deiner Straßenanschrift ein höheres Risiko zugeordnet kriegst, dass du einen Kredit nicht zahlst. Oder du als weißer Mann, der 5 mal im Monat in der Burgerbude aufschlägt, höhere Krankenbeiträge oder Medikamentenkosten zahlst, weil du ein extrem hohes Risiko hast an Herzinfarkt zu sterben. Oder du höhere Autopreise zahlst, weil der Crawler-Bot des Verkäufer anhand deiner Daten weiß, dass du bereit bist 20 % mehr zu zahlen als dein Nachbar, weil du nämlich ein Auto als Schwanzverlängerung siehst.

Zum Vergrößern anklicken....

Echt jetzt? Ich bin weder ein Rassist, noch sonstwas! Du kennst mich nicht, also halte bitte den Rand.
Aber genau DAS meine ich. Es wird aus jedem Wort versucht, die größtmögliche Beleidigung zu hören.
Wenn das so weiter geht, nennen wir uns nur noch Lebewesen 1, Lebewesen 2,.....

Ich höre mir mind. 1 mal die Woche Witze/Sprüche über meine großen Füße an.
Soll ich deswegen jetzt auch Tamtam anfangen? Man muss nicht alles so schlimm sehen.

Fakt ist doch, dass man es nicht jeden Recht machen kann und deswegen immer irgendjemand benachteiligt wird oder fühlt.
Auch im besten System wird es Leute geben, die durch das Raster fallen, sei es durch einen Algorithmus oder menschliches Versagen.
Es ist also eine Utopie zu glauben, dass man jedes Unrecht bzw. Benachteiligung aus der Welt schaffen kann.
Was man aber machen könnte ist die Benachteiligung auf ein Minimum reduziert wird und, da sind soziale Medien aus meiner Sicht eine zu geringe Rolle, dass das Wert ist dagegen zunächst was dagegen zu tun.
Verpflichtung zu anonymisierte Bewerbungen, wo kein Name oder Geschlecht auftaucht halte ich persönlich für Sinnvoller und wichtiger als der Algorithmus von Facebook und Co zu begutachten oder abzuändern.

Herr Maas scheint es richtig verstanden zu haben, dass Algorithmen von Menschen geschrieben werden, selbst der angepasste Algorithmus wird zwangsläufig auch von Menschen geschrieben werden. Wer Garantiert mir also, dass der neue Algorithmus vom Staat oder Minister nicht z.B. für politische Dinge missbraucht wird?

Ich habe jetzt nicht alles gelesen, muss aber sagen, dass Algorithmen, bzw. das Fazit oder das Resultat von solch einem Algorithmus schon zur Diskriminierung verwendet werden kann.
Als Tipp hier mal ein https://www.exlibris.ch/de/suche/?q=sie+kennen+dich%21+sie+haben+dich%21+sie+steuern+dich%21&category=All&searchtype=ss&psort=&size=&p=1

Ein wenig ein reißerischer Titel, aber die Person ist Datensammler und anhand der Quellenangabe ziemlich glaubhaft.

Es werden z.B. anhand von IP Adressen Rabatte oder nicht vergeben. Krankenkassen in der USA ist das beste Beispiel, dass solche Auswertungen diskriminierend sein koennen.
Diskriminierung wird in diesem Buch stark angesprochen, ich empfehle es daher jedem!

Jetzt mal ehrlich: Kann jemand von euch mit an Sicherheit grenzender Wahrscheinlichkeit sagen dass er schon mal aufgrund eines Algorithmuses diskriminiert und deshalb benachteiligt wurde? Solange die Algorithmen nicht offen liegen ist das bloße Spekulation.

@AedisToru: und dein Argument gegen die Offenlegung der Algorithmen ist dass man ohne sie zu kennen nicht weiß ob ein überwachung nötig ist? Mal unabhängig vom derzeitigen Stand in Deutschland ist sowohl das Potential als auch das Interesse definitv gegeben. Von daher begrüße ich es, wenn sich die Politik zu dem Thema Gedanken macht.

Das Thema Schufa ist übrigens das beste / bekannteste Beispiel für Diskriminierung aufgrund von statistischen Daten und die existiert jetzt schon wie lange? Beispiele aus den USA (deren Wahrheitsgehalt ich aber nicht überprüft habe) wurden ebenfalls genannt.

Eines gilt es klarzustellen: Diskriminierung bedeutet auch, zu unterscheiden. Diese erzwungene und völlig sich wider die Natur richtende Gleichschaltung kann nur entweder Unterdrückung oder schlimmer Bürgerkrieg bedeuten. Grenzt euch endlich ab von diesem Wahn linker Ideologie! Wenn jemand meint, diese gleichmacherische Ideologie jetzt auch in mathematischen Algorithmen abbilden zu wollen, dem kann man einfach nicht mehr helfen.

@Wolfsrabe

Absolute Zustimmung.
Aber das Problem bei der ganzen Sache ist doch, dass Leute die sich von der "linken" Ideologie abgrenzen sehr schnell in eine rechte Ecke gestellt wird bzw. versucht wird mit der guten alten Nazikeule jegliche vernünftige Diskussion oder Dialog unmöglich gemacht wird.

Wenn jetzt schon in Algorithmen eine Diskriminierung gesehen, dass zeigt mir nur wie weit der PC Wahn fortgeschritten wird und nicht im positiven Sinne und irgendwo was nicht verstanden worden ist.
Ein Algorithmus arbeitet bei jedem gleich, da wird entweder jeder gleichermaßen Diskriminiert oder Bevorteilt. Ob jetzt eine Anpassung eine allgemein Verbesserungen bietet halte ich für fraglich. Und zur Wahren Diskriminierung wird es, wenn es verschiedene Algorithmen gibt für die selbe Sache.

Warum sind eigentlich vielfach die Kommentare so extrem? Gibt fast nur zwei Gruppen: "Regierung scheiße, wollen nur ihre Macht stärken und die Bürger unterdrücken" oder "Hier will niemand Rechte beschränken, sondern sichern und damit Ausgrenzung verhindern". Dabei gibt es sowas wie absolute Freiheit ohnehin nicht (darunter versteht auch jeder was anderes).

Ich finde klar sein sollte, dass Algorithmen mittels den durch Sie erzeugten Ergebnissen zu Ausgrenzung/Diskriminierung/Teilnahmeverlust führen können. Dabei stellt sich dann immer die Frage, ob dies gerechtfertigt ist, oder sich hier nur falsche Ergebnisse manifestieren oder zumindest unerwünschte Ergebnisse, weil wir - die Gesellschaft (vertreten durch unsere Abgeordneten) - keine solche soziale Selektion wünschen. Die Einschränkungen, welche Algorithmen für den Einzelnen zu Folgen haben können (von Filterblasen über Kreditwürdigkeit bis zum Jobverlust) sind teilweise real sowie sicherlich keine unmögliche Zukunft.

Daher scheint es nur sinnvoll Algorithemen auf unzulässige Bewertungspunkte abzusuchen, damit sowas nicht geschieht. Sowas schwebt dem Justizministerium sicher vor ("Kontrolle" und nicht Vorgabe des konkreten Algorithmus). Allerdings ist auch klar, dass solch ein Unterfangen kaum umsetzbar ist. Denn die Unternehmen wollen ihre geheimen Algorithem nicht herausgeben und der Staat möchte - so vermute ich - auch aus anderen Gründen an die Algorithmen. Zwar kann mittels Gesetzen und staatlichen Druck viel erreicht werden, doch halte ich es für sehr unwahrscheinlich, dass das Problem damit nennenswert gemildert wird. Die digitale Welte lässt sich so einfach nicht "kontrollieren".

Ich würde einen gangbareren Weg in der Einschränkung der Vertragsfreiheit sehen. Haben Unternehmen immer mehr Daten, um z.B. meine Kreditwürdigkeit oder mein Versicherungsrisiko zu beurteilen, so muss eine Waffengleichheit hergestellt werden (konkret besteht diese nie, aber die Wagschale darf nicht zu stark nur noch in eine Richtung gehen). Soll heißen, dass Unternehmen muss mir konkret sagen, warum ich keinen Kredit erhalte bzw. ich nicht versichert werde. Sollten darin unzulässige oder schlicht falsche Punkte auftauchen, so darf mir deswegen das Unternehmen den Vertragsschluss nicht versagen. Da die Algorithemen kaum zu kontrollieren sein werden, wäre m.E. dieser Schritt der bessere. Denn auch bei einer Kontrolle wird weiterhin auf alle möglichen Daten zurückgegriffen werden, einfach weil Unternehmen nicht menschlich, sondern rein wirtschaftlich denken. Hier einen gerechten Weg zwischen reiner Wirtschaftlichkeit und sozialer Marktwirtschaft zu finden, wird wohl noch lange ein Problem bleiben.

scryed schrieb:

Hat der ne Macke oder was irgendwo reicht es doch langsam was der verzapft ..... halten sich unsere Politiker für unantastbar?

Oh halt das hab ich nicht gesagt sonst komme ich ja auf die schwarze Liste und werd besonders beobachtet .......

Edit

Ja und wer kontrolliert dessen Algorithmus der seine datensammelwut bzw vergleichbares durchsucht / verarbeitet

Ich stelle mir gerade den ccc vor wie die jedesmal wenn der den Mund aufmacht gemeinschaftlich "facepalm'en"

Ich fühle mich jedesmal diskriminiert wenn eine Umfrage von den Volksvertretern losgetreten wird und ich nie dabei bin welcher Algorithmus such die Leute aus .... jede Partei befragt die eigenen Leute oder wie läuft das

Zum Vergrößern anklicken....

Für den Facepalm haben die ein Makro, welches automatisch facepalmt, deswegen läuft das auch so schön synchron...

22428216 schrieb:

Echt jetzt? Ich bin weder ein Rassist, noch sonstwas! Du kennst mich nicht, also halte bitte den Rand.
Aber genau DAS meine ich. Es wird aus jedem Wort versucht, die größtmögliche Beleidigung zu hören.
Wenn das so weiter geht, nennen wir uns nur noch Lebewesen 1, Lebewesen 2,.....

Ich höre mir mind. 1 mal die Woche Witze/Sprüche über meine großen Füße an.
Soll ich deswegen jetzt auch Tamtam anfangen? Man muss nicht alles so schlimm sehen.

Zum Vergrößern anklicken....

Oder besser gesagt Konsument 1, Konsument 2, ...