Julia Krüger, You should watch Big Brother (2018)

Verfahren algorithmischer Entscheidungsfindungen analysieren, sortieren und diskriminieren Menschen auf eine ihnen undurchschaubare Weise, deshalb müssen sie reguliert werden.

“If data is destiny, how fair is your fate? (1) Mit dieser Frage eröffnete Joy Buolamwini, Leiterin des Algorithm Justice League-Kollektivs in Boston, ihre Keynote auf dem AI Now Symposium 2017. Das Symposium ist Teil der AI Now Initiative – ein u. a. von Kate Crawford und Meredith Whittaker mitbegründetes, international renommiertes Forum zur Debatte der sozialen Kosten von künstlicher Intelligenz und algorithmischer Entscheidungsfindung. Das Problem von Joy: Die Gesichtserkennungssoftware, die sie mit entwickelte, erkannte ihr Gesicht nicht. Denn es ist schwarz, die Mustererkennnung funktioniert da nicht so gut.

Leider stellen solche Probleme kein generelles Problem dar, sondern eben nur eins für Farbige. In den vergangenen Jahrzehnten wurden in den USA eine Vielzahl algorithmischer Entscheidungssysteme entwickelt – Softwaresysteme, die vermeintlich objektiver, vor allem schneller und effizienter über den Handlungsspielraum von Individuen entscheiden –, etwa in den Bereichen Wohnen, Arbeiten oder Studieren. Zu diesem Zweck werden zunächst sogenannte Scores erstellt, die auf Basis von gesammelten Erfahrungen aus der Vergangenheit möglichst zuverlässige Prognosen für die Zukunft geben sollen. Die Frage ist natürlich, welche Daten der Ermittlung eines individuellen Wahrscheinlichkeitswertes zugrunde gelegt werden, in welche Beziehung diese Daten zueinander gesetzt werden und zu welchem Zweck der Score gebildet wird.

Risiken der algorithmischen Risikoabschätzung

Prominente Einsatzgebiete solcher Scores stellen in vielen US-amerikanischen Bundesstaaten die Delinquenzprognosen dar, die in strafrechtlichen Verfahren herangezogen werden. Sie unterstützen die Einschätzung des individuellen Risikos, wieder kriminell zu werden, durch Analysen des Umfeldes und individueller Werthaltungen auf Basis eines Fragebogens. Dadurch finden gruppenbezogene Daten Eingang in die individuelle Bewertung. Die Delinquenzprognosen gelten als rassistisch, denn sie beurteilen farbige Menschen schlechter als weiße. Das Problem ist hier aber nicht die schlechtere Kriminalitätsprognose für farbige Menschen. Die mag aufgrund intervenierender Variablen wie soziales Umfeld, Genussmittelkonsum und jahrzehntelange Marginalisierung korrekt sein.

Das Problem ist, dass ein einzelner Mensch unter Umständen wegen seiner Gruppenzugehörigkeit falsch bewertet wird – er kann dagegen nichts tun. Kriminalität und Strafverfahren sind immer schlecht. Aber: Scores entscheiden in den USA und Großbritannien auch in der Mehrzahl von Bewerbungsverfahren, wer zu einer Vorstellung eingeladen wird. Hier wird der Score auf Basis standardisierter Persönlichkeitstests erstellt. Auch diese Scores gelten als diskriminierend, weil sie soziale Abweichungen wie psychische Störungen zu einem Ausschlusskriterium machen – leider nicht nur für einen bestimmten Job, der unter Umständen psychologische Stabilität verlangt, sondern für den gesamten Arbeitsmarkt. Auch das ist folgerichtig: Der Niedriglohnsektor hat mehr Bewerberinnen und Bewerber als Arbeitsplätze. Eine Leistungsgesellschaft erfordert Leistung.

Aber wie sind diejenigen maschinellen Entscheidungen zu bewerten, die anstelle des individuellen Fahrverhaltens bei der Ermittlung von Auto-Versicherungsprämien individuelle Kreditscores heranziehen? Diese algorithmischen Entscheidungssysteme können also nicht nur effektiv Entscheidungen treffen, sondern auch zu einer Art statistischer Massenvernichtungswaffe werden, wie Cathy O‘Neil treffend definierte(2). Als Hauptkritikpunkte formulierte sie, dass die Daten und Algorithmen der maschinellen Entscheidungen der Geschäftsgeheimniskrämerei geschuldet und gemeinhin intransparent sind, und dass den Betroffenen die Anwendung automatisierter Entscheidungssysteme und ihre Funktionsweise zumeist unbekannt sind. Damit fehlt im Regelfall die Grundlage für eine Überprüfung einer fairen, angemessenen Funktionsweise zum richtigen Zweck.

Allerdings: Die bislang debattierten Fälle wären bei Offenlegung der Geschäftsgeheimnisse noch nachzuvollziehen gewesen. Informations- und Transparenzpflichten, wie sie die Datenschutz-Grundverordnung insbesondere in Art. 13-15 und Art. 22 vorsieht, haben hier ihren Wirkungsbereich.

Effektive Diskriminierung

Anders sieht es dagegen bei solchen algorithmischen Entscheidungssystemen aus, die eine Vielzahl personenbezogener, kommunikations- und bewegungsbezogener Daten mit neueren Analysemethoden, insbesondere Formen des maschinellen Lernens verbinden. Solche Systeme sind aktuell vor allem im Kontext der Beeinflussung unserer Wahrnehmung bekannt: Googles Services, Facebooks Newsfeed, Amazons Kaufempfehlungen – die großen Plattformanbieter und ihre Produkte. Sie sammeln, kaufen, analysieren nicht nur eine Unzahl an persönlichen Daten, unsere Klicks und Likes ermöglichen zudem die Analyse unseres psychischen, physischen und sozialen Zustands.

Die Verwendungsmöglichkeiten dieser Informationen sind schier unendlich. Doch steht einer Transparenz über die Funktionsweise der Plattformen nicht nur das Geschäftsgeheimnis entgegen, sondern auch die Komplexität der dahinter stehenden algorithmischen Systeme. Dazu kommt: Maschinelles Lernen, die automatisierte Suche nach bislang unbekannten Zusammenhängen in Big Data, bleibt in Teilen nicht nachvollziehbar. Die komplexen Formen von Algorithmen-Auditing werden immer nur Einzelfälle untersuchen können.

Was bedeutet das für die Frage von Diskriminierung oder Teilhabegerechtigkeit? Der Clou algorithmischer Entscheidungssysteme besteht darin, effektiv zu diskriminieren – effektiv eine Unterscheidung zu machen zu einem bestimmten Zweck. Das Neuartige sind die Menge an Daten, die dazu unter Umständen herangezogen werden kann, sowie die Art der Datenanalyse, die wichtige Muster im Zweifelsfall auch auf der Basis von so genannten Proxy-Variablen erkennt: Ist die Rasse eine geschützte Variable, geben auch Postleitzahl oder Bankverbindung meist die richtige Auskunft. Bewegungsdaten lassen aktuell kaum Spielraum für Fälschung.

Wenn aber das Ziel die effektive Unterscheidung von Menschen zu einem bestimmten Zweck ist, dann gerät der Zweck ins Visier: Soll das algorithmische Entscheidungssystem die Verteilung von Dienstleistungen an Erwerbslose optimieren? Oder die Bettenzuteilung in Krankhäusern? Oder die Versorgung von Flüchtlingen? Welche Daten und Muster werden für diese Entscheidungen herangezogen? Wenn teilhaberelevante Bereiche betroffen sind: Wie viel Diversität muss in das Entscheidungssystem einberechnet werden? Wer befindet über die Entwicklung solcher Entscheidungssysteme und ihre Verwendung? Wer kann die Funktionsweise einsehen und eruieren, ob sie gesellschaftlichen Grunderfordernissen entspricht? Wer weiß, welche Daten auf Basis welcher Methode zu welchem Zweck genutzt werden?

Für die Beantwortung dieser Fragen scheint die Einrichtung einer zentralen Regulierungsagentur dringend geboten. Diese könnte beispielsweise eine Klassifizierung von algorithmischen Entscheidungsverfahren vornehmen, die unter Berücksichtigung des Anwendungsbereichs Diversitätsstandards absichert. Sie könnte dem Gesetzgeber auch Empfehlungen geben, welche Daten und Analyseverfahren zu welchem Zweck zum Einsatz kommen dürfen. Sie könnte für die Entwicklung von Sicherheitsstandards und Haftungsfragen Verantwortung tragen. Und sie könnte die Gesetzgebung in betroffenen Bereichen wie dem Urheberrecht und der Sicherheitspolitik koordinieren. Die Vorschläge des scheidenden Justizministers Heiko Maas waren gut.

(1) Zu Deutsch: «Wenn Datenanalyse dein Schicksal bestimmt, wie gerecht wird deine Zukunft? zum Mitschnitt des Vortrags

(2) O‘Neil, Cathy (2016): Weapons of Math Destruction, Penguin Books.

Quelle: Böll.Thema - Das Magazin der Heinrich-Böll-Stiftung

Lizenz dieses Artikels: CC-BY-NC-ND 3.0