News Verbraucherschützer: Algorithmen dürfen für Nutzer keine Black-Box sein

Algorithmen dürfen nicht zu einer Black-Box verkommen, denen die Nutzer hilflos ausgeliefert sind, fordert der Bundesverband der Verbraucherzentralen (vzbv). Entscheidend sei daher, dass die Politik aktiv wird und klare Regeln aufstellt.

Zur News: Verbraucherschützer: Algorithmen dürfen für Nutzer keine Black-Box sein

Ganz nette Idee, aber mehrere Jahrzehnte zu spät und heutzutage nicht mehr umsetzbar. Schon bei minder komplexen Algorithmen dürfte eine derartige, für Verbraucher brauchbare Beschreibung so gut wie unmöglich zu erstellen sein. Und da immer mehr Entscheidungs- und Wahlprozesse von "KIs", neuronalen Netzen und ähnlichem ausgeführt werden, dürfte das ganze in Zukunft noch schwerer werden.

Es gibt keine falschen und richtigen Entscheidungen. Es liegt immer daran, was man sich als Ziel genommen hat. Automatische Preisanpassung für zB Flugtickets ist doch kein warnendes Beispiel, da das System genau so funkioniert, wie es geschaffen wurde. Preis und Nachfrage eben. Die gesamte Finanzbranche arbeitet auf diesen Füßen, um ein möglichst gutes Ergebnis innerhalb von Korridoren zu erhalten, Menschliche fahrlässige Fehler können somit minimiert werden.

Aus meiner Sicht kann man die Besitzer von Algos auffordern, ihren Sinn zu erklären und ein paar Fallbeispiele darlegen. Aber darüberhinaus? Ne, das wird schwierig.

Wird niemals kommen und ich hoffe es auch. Unternehmen geben Millionen, Milliarden wenn nicht sogar Billionen für Algorithmen aus da ist dann doch das minimale dass es unter das Geschäftsgeheimnis fällt. Man stelle sich nur mal vor Google müsste sein Such-Algorithmus öffentlich machen. Da würde sich jede andere Suchmaschine die Finger nach lecken. Wenn so eine Regelung kommen würde würde das die Software-Entwicklung um Jahrzehnte verlangsamen.

Erstmal muss man den Bürger/Nutzer aufklären wie er seine Daten schützen kann und ihm klar machen, dass das A und O von Datenschutz die Daten erst gar nicht heraus zu geben ist. Aber alleine daran werden schon 80% scheitern...

NeoExacun schrieb:

Ganz nette Idee, aber mehrere Jahrzehnte zu spät und heutzutage nicht mehr umsetzbar. Schon bei minder komplexen Algorithmen dürfte eine derartige, für Verbraucher brauchbare Beschreibung so gut wie unmöglich zu erstellen sein. Und da immer mehr Entscheidungs- und Wahlprozesse von "KIs", neuronalen Netzen und ähnlichem ausgeführt werden, dürfte das ganze in Zukunft noch schwerer werden.

Zum Vergrößern anklicken....

Ist es nicht vielmehr entscheidend WAS der Algorithmus macht und nicht so sehr WIE er funktioniert?

Ich finde es immer wieder schön das mit zweierlei Maß gemessen wird.

Als der Verbraucherschutz gegen die Schufa klagte wegen deren Algorithmus und dieser als Betriebsgeheimnis eingestuft wurde kam nichts mehr. Nun muss wieder eine LEX Internet geschaffen werden um den Wettbewerbsvorteil von Firmen einzuholen und ggf, somit Vorteile für die eigene Tasche zu schaffen.

Ich würde schon gern wissen, warum oder wieso ich z.B. bei Kreditvergabe die und die Zinsen bezahlen muss.. Da gibts nämlich einige Dinge, die da mit einfliessen, die man gar nicht beeinflussen kann oder die völlig anders gewichtet sind, als man denkt.
Ich kann das bei uns immer schön sehen, wenn diese Kreditangebote der Banken kommen. Da wäre eine genauere Angabe, warum das so ist schon nicht schlecht. Den genauen Algorithmus muss ich gar nicht wissen..

@Fliz

Na das ist doch einfach und so viele Faktoren sind das nicht. Bei Krediten gelten unter anderem folgende Punkte:

- Schufa Einträge
- Einkommen
- Liquidität/Sicherheiten
- Wie viel Kredite/Verträge (Handy usw.) sind am laufen
- Wohnort
- Nationalität

Dazu kommt dass alleine der Fakt dass du Kreditangebote bekommst kann deine Zinsen schon nach oben gehen lassen.

NeoExacun schrieb:

Ganz nette Idee, aber mehrere Jahrzehnte zu spät und heutzutage nicht mehr umsetzbar. Schon bei minder komplexen Algorithmen dürfte eine derartige, für Verbraucher brauchbare Beschreibung so gut wie unmöglich zu erstellen sein. Und da immer mehr Entscheidungs- und Wahlprozesse von "KIs", neuronalen Netzen und ähnlichem ausgeführt werden, dürfte das ganze in Zukunft noch schwerer werden.

Zum Vergrößern anklicken....

So ist er halt der Verbraucherschutz. Fernab jeder Realität. Als ob die Preise der Lufthansa lediglich von 3 Faktoren abhängen würden, die man dem Verbraucher vermitteln könnte.

Heute stecken doch überall neuronale Netze hinter den Entscheidungen und die Unternehmen wissen selbst nicht genau wie die Preise entstehen. Jetzt sollen die das noch dem Verbraucher vermitteln?

@Cool Master

Da kommen aber auch Sachen wie Demographie des Kreditbeantragenden dazu.
- Reichtum der Nachbarn
- Verbrechensrate
- Freunde des Kreditbeantragenden
- allgemein das soziale Umfeld.

etc. pp.
Das das nicht unbedingt legal ist, ist halt vollkommen egal.
Alle Daten die vorhanden sind werden genutzt.

momdiavlo schrieb:

Ist es nicht vielmehr entscheidend WAS der Algorithmus macht und nicht so sehr WIE er funktioniert?

Zum Vergrößern anklicken....

Nein, die Frage ist eher, welche Eingaben die Ausgabe in welcher Form beeinflussen. Und das dürfte in vielen Fällen unüberschaubar komplex sein, falls es überhaupt bekannt ist.

Draco Nobilis schrieb:

Da kommen aber auch Sachen wie Demographie des Kreditbeantragenden dazu.
- Freunde des Kreditbeantragenden
- allgemein das soziale Umfeld.

Zum Vergrößern anklicken....

Wie hab ich mir die 2 Punkte vorzustellen?


Ansonsten:
Offenlegung des Algorithmus ist definitiv nicht machbar, aber was soll der Rest dann bringen?
Eine Pflicht, die Bewertungskriterien aufzulisten? Könnte man drüber nachdenken, aber da niemals jemand den Algorithmus offenlegen wird, ist das auch mehr auf Vertrauensbasis. Am Ende hat man dann eine Liste mit 6743 Kriterien, die vielleicht intrinsisch interessant, im Endeffekt für einen Verbraucher aber absolut nicht hilfreich sein werden.

@Draco Nobilis

Jup so sieht es aus.

@KlaasKersting

Es wird bewertet wie das soziale Umfeld da steht.

Genau deswegen ist es wichtig Datenschutz zu haben und so wenige Daten wie nötig herauszugeben, weil die einfach alle aufgesaugt werden.

Schon klar, aber wie soll das funktionieren?
Meine Bank weiß zwar einiges über mich, aber mein Freundeskreis und sonstiges Umfeld gehören definitiv nicht dazu.
Die haben weder vor noch während noch nach einer Kreditvergabe irgendwelche Informationen dazu erhalten oder auch nur verlangt.

In der Zukunft kann das relevant werden, wenn immer mehr Daten (Blick hier natürlich zuerst auf Facebook, langfristig überall hin) vernetzt werden.
Im bezweifle Stand jetzt, dass das in Deutschland Praxis ist, zumal du dazu ein riesiges Netzwerk an Banken und Versicherern bräuchtest, um nicht nur zu wissen, wie meine Freunde heißen, sondern sie auch finanziell und beruflich irgendwo einzusortieren. Aktuell würde das ohnehin gegen jeglichen Datenschutz verstoßen.

Aber dein Provider kennt sie, Facebook/WhatsApp kennt sie und auch dein Telefon Hersteller wenn die Kontakte in der Wolke sind. Wer glaubt das diese Daten nicht verknüpft werden lebt nicht in der Realität. In den USA ist es mittlerweile sogar legal das dein ISP dein Surfverhalten verkauft.

Deswegen bevor man etwas auf Facebook oder sonst wo postet sollte man immer im Kopf haben das die Daten weiter gegeben werden können und mit hoher Wahrscheinlichkeit auch passiert.

KlaasKersting schrieb:

Meine Bank weiß zwar einiges über mich, aber mein Freundeskreis und sonstiges Umfeld gehören definitiv nicht dazu.

Zum Vergrößern anklicken....

Alleine schon wenn Du Freunde oder Verwandte hast deren Adreßbuch im social media bekannt bzw. geflossen ist haben sie infos über Dich. Ob's legal oder illegal ist. Die infos werden woanders verarbeitet und kommen dann "legal" wieder hierhin.
Es können auch infos von Namesgleichen Deinen score verändern. Sieht man ja auch in den USA wo das hinführt. Bis zum nicht an der Wahl teilnehmen dürfen, aber das ist eher politisch gewollt

Nutzer haben nur wenig Vertrauen in Algorithmen

Zum Vergrößern anklicken....

Nein, Nutzer haben wenig Vertrauen in die Menschen die die Algorithmen erstellen / einstellen / beauftragen.

geht nicht / würde gegen Geschäftsgeheimnis verstoßen / zu kompliziert

Zum Vergrößern anklicken....

Sry, aber das ist schlicht Blödsinn. Kleiner Rant:

natürlich müssen Unternehmen offenlegen was sie dem Kunden anbieten, das gewünschte Verhalten eines Alg. gehört da dazu, z.b. ob er gewichtet oder nicht wenn man nach dem niedrigsten Preis sucht, d.h. zählt nur der Preis oder kommen Faktoren wie Auslastung hinzu was darin resultiert dass man nicht den faktisch niedrigsten Preis angezeigt bekommt sondern jenen der auch für die Fluglinie die Auslastung steigert, ein bisschen so als würde Google die Suchergebnisse gewichten, das beste Ergebnis ist dann auf Seite 2 anstatt auf Seite 1 mit all den Werbe-/Partnerlinks.
Perverser wirds wenn Algs. darauf ausgelegt sind deine Schmerzgrenze auszutesten, ein bisschen so wie in der aktuellen Lootbox Debatte, wie hoch kann der Preis auf Seite 1 gehen bevor du Seite 2 und 3 der Suchergebnisse anklickst usw., alles auf dich personalisiert, d.h. maximale Diskriminierung. Sowas muss offengelegt werden, von mir aus in Marketinggewäsch gepackt.

Für technische Betriebsgeheimnisse gibts Behörden die prüfen können, die müssen dann eben geschaffen werden und entsprechende Befugnisse erhalten, ganz genau so wie man es bei z.b. Banken macht mit der Bankenaufsicht macht. Da wird einerseits profilaktisch geprüft und auf Anzeigen wegen Missbrauch reagiert.
Das sind ebenfalls hochsensible Daten die in Datenbanken mit automatischen Kriterien Warnungen hervorrufen (z.b. verdächtige Transaktionen bei Geldwäsche), läuft alles automatisch mit Algs., Missbrauchspotenzial maximal vorhanden.
Ja, Betriebsgeheimnis hin oder her, da kommt dann die Behörde und prüft mal ob das System so funktioniert wie es soll, inkl. IT, ob es so eingestellt ist wie es soll und sich an die Richtlinien hält, sonst gibts empfindliche Strafen, und das passiert öfter als Bürger 0815 glaubt, wird halt selten öffentlich in der Presse breitgetreten.

Jedes Unternehmen unterliegt dem Recht, muss also im Notfall bereit sein seine Handlungen nachvollziehbar zu erklären, wenn sie das nicht können ist das deren Problem, nicht das der Gesellschaft.
Wer einen selbstlernenden Alg. verwendet muss sich dann eben den Aufwand machen die Protokollierung durchzuführen (ja, ist möglich), zu automatisieren oder darauf zu verzichten. Punkt. Das nennt sich Kostenkalkulation. Nicht immer ist das "bessere" Werkzeug kosteneffektiver weil z.b. die Wartung zu teuer ist.

Es ist doch schlicht Blödsinn anzunehmen unsere Welt würde automatisch besser nur weil wir selbstlernende Algs. einsetzen die wir nur noch unter extremen Aufwand verstehen, wird das jetzt so eine Art "Gott 2.0", ein neuer Glaube dem wir die Welt anvertrauen?

Cool Master schrieb:

Man stelle sich nur mal vor Google müsste sein Such-Algorithmus öffentlich machen. Da würde sich jede andere Suchmaschine die Finger nach lecken.

Zum Vergrößern anklicken....

Oh nein! Gut dass das nicht passiert und Google seine quas-Monopolstellung behält! Ist ja so gesund wenn es einige wenige Big-Player gibt die alle Informationen über alle sammeln.

Cool Master schrieb:

Wenn so eine Regelung kommen würde würde das die Software-Entwicklung um Jahrzehnte verlangsamen.

Zum Vergrößern anklicken....

Begründung/Belege? Ich würde nämlich eher sagen dass es die Software-Entwicklung um Jahrzehnte nach vorne bewegen würde. Die fundamentalsten Fortschritte in der Produktivität wurden bei der Software-Entwicklung seit jeher dadurch erreicht, dass man auf der Arbeit von anderen aufbaut. Und Monopole auf Wissen bedeuten immer ein Anhalten des Fortschritts.

Cool Master schrieb:

Erstmal muss man den Bürger/Nutzer aufklären wie er seine Daten schützen kann und ihm klar machen, dass das A und O von Datenschutz die Daten erst gar nicht heraus zu geben ist. Aber alleine daran werden schon 80% scheitern...

Zum Vergrößern anklicken....

Ok, dann geben wir einfach auf und lassen Konzerne machen was sie wollen.

Aktuelle auf deep learning basierende Systeme sind so komplex, dass sie selbst für deren Entwickler eine Blackbox darstellen. Anzunehmen man könnte einem normalen Anwender klar machen warum so ein System macht was es macht ist lächerlich.

KlaasKersting schrieb:

Wie hab ich mir die 2 Punkte vorzustellen?

Zum Vergrößern anklicken....

Wo ist das Problem?
Allein Facebook und Google wissen teils mehr über das Soziale Umfeld von jemandem als dieser Jemand selbst. An diese Daten kommt man freilich nicht schwer, man kann sie bei den beiden großen "einfach" kaufen. Davon leben die ja schließlich.
Aber allein diese Tartsache ist den wenigsten Bewußt, wissen? Ja bestimmt, aber bewuss? Definitiv nein.

Zum eigentlichen Thema:
Haben wir schon wieder Sommerloch?... oh, moment mal.

Aber okay, ich ergeben mich, steige auch mal drauf ein:
Algo offenlegen ist völliger blödsinn. Aber welche Daten(Art) von einem Algo verwertet werden ist dagegen sehrwohl sinvoll.
Noch sinvoller wäre es auch die Datenquellen nachvollziehbar mit anzugeben.
Aber alles in allem würde es das "BigData" Equivalent zu den "bösen Bildchen" auf Tabakartikeln sein. Sind "nett anzusehen", bringen aber effektiv gar nichts.