03.10.2019
Dem AMS-Algorithmus fehlt der Beipackzettel
In dem Gastkommentar werden die Probleme des AMS-Algorithmus aus wissenschaftlicher Sicht aufgezeigt.
Wir sind fünf Wissenschaftler*innen von der TU Wien, der WU Wien und der Universität Wien, mit einem diversen Hintergrund in Künstlicher Intelligenz, Mathematik, Wirtschaftsinformatik, Kognitionswissenschaften, Sozialwissenschaften und Wissenschafts- und Technikforschung (STS). Wir forschen seit einiger Zeit zum AMS-Algorithmus und wundern uns über die aktuelle Debatte zum AMS -Algorithmus.
Echte Transparenz
Immer wieder wurde seitens des AMS von Transparenz in Bezug auf den AMS-Algorithmus gesprochen. Ob und inwiefern Transparenz
in einem produktiven Ausmaß vorliegt, misst sich daran, inwieweit ein
wissenschaftlicher Diskurs möglich ist, der auf belegbaren Fakten und
Daten basiert. Echte Transparenz würde bedeuten, dass ebendiese belegbaren Fakten und Daten seitens des AMS bereitgestellt
werden. Leider wurde dem bisher nicht in zufriedenstellender Weise
nachgekommen: Von den 96 Modellvarianten, die sich zu dem
algorithmischen System bündeln, wurden nur zwei veröffentlicht, und eine
davon erst auf Anfrage. Auch die entsprechenden Fehlerquoten der
96 Modellvarianten sind weitestgehend unbekannt.
Dass es überhaupt eines regen Schriftverkehrs und mehrerer Anfragen
bedarf, um auch nur einen Bruchteil der benötigten Informationen zu
erhalten, ist unzumutbar und widerspricht dem Postulat der Transparenz. Vielmehr sollte das AMS als Träger von öffentlicher Verantwortung der versprochenen Transparenz
eigeninitiativ nachkommen und Anstrengungen unternehmen, die
entsprechenden Modellvarianten, Daten und Fakten belegbar,
nachvollziehbar und hinreichend anonymisiert aufzubereiten, um eine
Analyse im Zuge eines breiten demokratischen Diskurses zu ermöglichen.
Die Beurteilung, inwieweit Transparenz
für eine ausreichende wissenschaftliche Debatte vorliegt, obliegt der
Wissenschaft und kann nicht durch Behauptungen durch Verantwortliche des
AMS
auf ihren privaten Internet-Seiten ersetzt werden. Derartige
Veröffentlichungen auf privaten Kanälen sind nicht überprüfbar und
unterliegen keiner angemessenen Kontrolle durch rechtsstaatliche
Institutionen. Stattdessen ist die Kommunikation auf den entsprechenden
offiziellen Kanälen des AMS, bei der echte Transparenz gelebt werden sollte, zu führen.
Wissenschaft lebt von einer kritischen Auseinandersetzung mit einer
gemeinsamen Informationsgrundlage. Diese gemeinsame
Informationsgrundlage existiert im Moment beim AMS-Algorithmus nicht und
muss dringend hergestellt werden. Dies ist insofern bemerkenswert, dass
sich diese gemeinsame Informationsgrundlage auch nach einer einjährigen
medialen Debatte kaum geändert hat. Die Öffentlichkeit weiß fast
genauso wenig wie vor einem Jahr über den tatsächlichen Einsatz von
automatisierten Systemen beim AMS.
Um welche Technik geht es eigentlich?
Anders als vom AMS-Vorstand dargestellt, basiert der AMS-Algorithmus sehr wohl auf Trainingsdaten, in Form der Personendaten der vorhergehenden 4 Jahre und Ex-post
Beobachtungen des Ausganges, und produziert Prognosen anhand der
genannten 96 statistischen Modelle. Damit ist das System denselben
Fehlerquellen – wie etwa Bias – unterworfen wie andere Systeme, die auf
Trainingsdaten aufbauen. Jenseits von Fragen der Begriffsdefinition, was
genau AI/KI
sei oder nicht, sollte sich die Diskussion jedoch eher auf
die Anwendbarkeit und Sinnhaftigkeit der gewählten technischen Methode
sowie ihrer Risiken und Probleme konzentrieren.
Der zunehmende Trend zur Automatisierung von Verwaltungstechnologien
geht auch mit einer besonderen Verantwortung gegenüber den Bürger*innen
im Einzelnen und der Gesellschaft im Allgemeinen einher: Insbesonders
ist es in diesem Kontext absolut geboten, Menschen im Zentrum dieser
Systeme mit Würde und als Ganzes zu verstehen, anstatt eine
reduktionistische Datensicht zum Maßstab des Erfolgs des Systems
heranzuziehen. Es sollte hier eine Selbstverständlichkeit sein, dass ein
solches System nicht ohne externe Evaluierung an teilweise strukturell
benachteiligten Personengruppen pilotiert wird, bevor das System
ausgereift ist und auch von unabhängigen wissenschaftlichen Expert*innen
als solches bestätigt wurde – eine Forderung, die seit
dem Bekanntwerden der ‚Evaluierungsphase‘ vom Oktober 2018 unbeantwortet
bleibt.
Einsatz von Algorithmen als Grundsatzfrage
Der Einsatz derartiger automatisierter Systeme durch die öffentliche Hand ist eine Grundsatzentscheidung und muss in einer demokratisch legitimierten Gesellschaft auch gesamtgesellschaftlich diskutiert werden. Ein Teil dieses Diskurses ist hinreichende Transparenz; diese ist erst dann ausreichend, wenn sie die Adressat*innen ausreichend dazu befähigt, diesen Diskurs zu führen. Diese Debatte ist bisher nur angerissen worden; es stehen noch viele unbeantwortete Fragen aus, ohne deren Beantwortung eine tatsächlich transparente gesellschaftliche Debatte nicht möglich ist. Um darauf einzugehen, sind belegbare Daten und Fakten notwendig.
Dazu sei auch gesagt, dass die aktuelle Anwendung des AMS-Algorithmus in vielerlei Hinsicht nicht internationalen Standards entspricht. So hat der Europarat Anfang 2018 Empfehlungen für den öffentlichen Einsatz von Algorithmen veröffentlicht, (zu den Autor*innen gehört unter anderem einer der Autor*innen dieses Beitrags, Ben Wagner), die im Widerspruch stehen zum aktuellen Einsatz von Algorithmen durch das AMS. Auch diverse Kolleg*innen aus der Wissenschaft warnen explizit vor dem aktuellen Einsatz von Algorithmen durch das AMS,
sowohl in Medienberichten als auch auf wissenschaftlichen Veranstaltungen, wie etwa eine Veranstaltung der Universität Wien zu Algorithmen in der Arbeitsvermittlung vom 23. April 2019. Auf dem Stand der Technik zu sein würde auch bedeuten, neben Transparenz auch die Endnutzer*innen wie Arbeitssuchende und AMS Betreuer*innen in den Prozess der Entwicklung von Informationssystemen einzubeziehen, um sicherzustellen, dass ihre Bedürfnisse und Ansichten gut berücksichtigt werden.
Netzpolitik Was der neue AMS-Algorithmus für Frauen wirklich bedeutet
Frauen werden benachteiligt
Auch die Frage der potentiellen Diskriminierung von
Personengruppen ist, entgegen den Behauptungen des AMS-Vorstandes,
keineswegs geklärt. Der Gleichbehandlungsgrundsatz stellt klar, dass
niemand aufgrund des Geschlechts oder der ethnischen Zugehörigkeit beim
Zugang zu Gütern oder Dienstleistungen, die der Öffentlichkeit zur
Verfügung stehen, diskriminiert werden darf. Unabhängig von der Frage,
ob die Einordnung in die Gruppen A, B oder C mehr oder
weniger wünschenswert für diese Einzelperson wäre, bedingt die
Segmentierung der vom AMS
betreuten Personen zwangsweise, dass manche Personengruppen auf Basis
ihres Geschlechts unterschiedliche Förderungen bekommen. Ob dies Frauen
insbesondere trifft, mag zwar vom AMS vehement
dementiert werden – dies bleibt aber bis zur Herausgabe von konkreten,
wissenschaftlich belastbaren Daten eine nicht belegte Behauptung.
Aus wissenschaftlicher Sicht scheint diese Behauptung zudem ausgenommen
fraglich, zumal andere diskriminierende Effekte wie etwa das Problem des
kumulativen Nachteils (cumulative disadvantage) beim Zusammentreffen
verschiedener, strukturell benachteiligter Personengruppen (z.B. Frauen
mit Kinderbetreuungspflichten und Migrationshintergrund) weiterhin
bestehen. Auch der persönliche Nachteil, der Einzelpersonen aus einer,
nur im Nachhinein beweisbar falschen Zuordnung entstehen kann, ist
höchst problematisch und muss unter dem Gesichtspunkt von
Diskriminierung untersucht werden. Da nur ein Bruchteil der Fehlerquoten
der 96 Modellvariantenpubliziert wurde, liegt die Vermutung nahe, dass
einige dieser Modelle eine schlechtere Trefferquote als andere
aufweisen, was bedeuten würde, dass die betroffenen Personensegmente von
höheren Fehlerquoten und falschen Zuordnungen diskriminiert werden.
Entscheidungen werden von Betreuer*innen getroffen
Das immer wieder genannte Argument, die Entscheidung werde weiterhin von Betreuer*innen getroffen, ist aus wissenschaftlicher Sicht unhaltbar: Seit dem offiziellen Einsatzstarts des Systems werden Entscheidungen des AMS jetzt gemeinsam von Betreuer*innen und einem System, welches Empfehlungen in Form von Gruppenzuweisungen macht, getroffen. Wissenschaftlich gesehen ist es mehrfach belegt, dass bereits die Existenz des Systems die Entscheidungen der Betreuer*innen beeinflussen wird. Wie genau der Algorithmus die Entscheidungen der Betreuer*innen beeinflusst, ist ohne externen Audit und eine Analyse auf transparenter, gemeinsamer Datenbasis nicht genau zu beziffern.
Auch die Behauptungen des AMS, die Betreuer*innen würden ermutigt, die Bewertung des Systems zu hinterfragen und „den vom Computer errechneten Wert zu prüfen“ ist ohne klare Beschreibung, wie diese Prüfung ablaufen soll, sehr
problematisch. Die bis jetzt angedeuteten „internen Richtlinien“, welche die Zuweisung von Maßnahmen unter Einbezugnahme des algorithmischen Ergebnisses regeln sollen, sind nicht veröffentlicht worden. Selbst die besten Richtlinien wären jedoch nicht geeignet, einen problematischen Einfluss des Algorithmus zu verhindern.
Effizienteres AMS als Ziel
Der stets unhinterfragte Rekurs auf Effizienz als oberste Zielvorgabe birgt also gewissen Tücken. Die AMS-Betreuer*innen finden sich nämlich entgegen der Annahme, dass ihnen das neue System Erleichterungen und damit verbundene Effizienzsteigerungen bringen soll, in einem neuen Spannungsfeld: Auf der einen Seite wird von ihnen erwartet, das neue System als Hilfestellung zu nutzen, auf der anderen Seite sind sie aber dazu angehalten, als „soziales Korrektiv“ einzugreifen, wenn das System ihrer Ansicht nach falsch liegt. Zusätzlich zur Betreuung von Arbeitslosen müssen sie nun auch noch ein algorithmisches System betreuen und vor allem ausreichend kritisch verstehen, um Fehler zu erkennen und zu korrigieren. Dieser zusätzliche Aufwand reduziert natürlich die Zeit mit den Arbeitssuchenden, und steht der vermeintlichen Effizienz des neuen Systems gegenüber. Gerade die genaue Operationalisierung, interne Regeln und Guidelines zum Umgang mit diesem Spannungsfeld bedürfen unbedingter Transparenz, um einen kritischen Dialog über die Zielsetzungen und Erwartungen gegenüber eines solchen Systems zu ermöglichen!
Der Algorithmus ohne Beipackzettel
Zum Schluss noch ein Hinweis zum Umgang mit Unsicherheit, der gerne vom AMS bemüht wird: Der Algorithmus sei wie der Einsatz von “Medikamenten” da es sich beim Algorithmus um „Prognosen in die Zukunft mit Wahrscheinlichkeiten und nicht 100%iger Treffergenauigkeit” handelt. Mit solchen Risiken müsse man eben in einer demokratischen Gesellschaft umgehen, so das Argument.
Der Vergleich von AMS-Algorithmen mit Medikamenten ist insofern spannend, als er den üblichen Umgang der öffentlichen Hand mit Risiken und Wahrscheinlichkeiten am Beispiel von Medikamenten verdeutlicht. Ein Medikament muss über Jahre hinweg in klinischen Studien überprüft werden, die Studie und die Grundlagen der Untersuchung müssen öffentlich einsehbar und transparent sein. Eine systematische Überprüfung von unabhängigen externen Stellen ist zwingend erforderlich. Selbst dann ist das Medikament mit einem Restrisiko versehen, weshalb Beipackzettel für Medikamente verpflichtend sind, damit Menschen vor Einnahme des Medikaments entscheiden können, ob sie dieses Medikament nutzen wollen. Beim AMS-Algorithmus fehlen hingegen sowohl klinische Studien als auch Beipackzettel.
Dies ist so wichtig, weil man als Mensch, der vom Algorithmus betroffen ist, gar nicht die Möglichkeit hat, sich gegen den AMS-Algorithmus zu entscheiden. Man ist als Betroffene*r einem System ausgeliefert, dessen Risiken man selbst nicht abschätzen kann. Im Gesundheitsbereich ist die Vergabe von Medikamenten ohne Beipackzettel durch staatlichen Einrichtung nur schwer vorstellbar. Warum sollte dies dann bei der Verteilung von Ressourcen durch den AMS an Menschen in vulnerablen Positionen anders sein?
Florian Cech (TU Wien), Fabian Fischer (TU Wien), Soheil Human (WU Wien, Uni Wien), Paola Lopez (Uni Wien), Ben Wagner (WU Wien)
Hier geht es zu der futurezone-Serie:
Teil 1: Der AMS-Algorithmus ist ein „Paradebeispiel für Diskriminierung“
Teil 2: Warum Menschen Entscheidungen von Computerprogrammen nur selten widersprechen
Teil 3: Wie ihr euch gegen den AMS-Algorithmus wehren könnt
Teil 4: Wo Algorithmen bereits versagt haben
Interview: AMS-Chef: „Mitarbeiter schätzen Jobchancen pessimistischer ein als der Algorithmus“
Umstrittener AMS-Algorithmus teilt Arbeitslose ab sofort in Kategorien ein
Was der neue AMS-Algorithmus für Frauen wirklich bedeutet
Quelle https://futurezone.at/meinung/dem-ams-algorithmus-fehlt-der-beipackzettel/400636022