26.02.2020
Schwerpunkt „Künstliche Intelligenz“ – Die automatisierte Gesellschaft
Ab Juli berechnen beim österreichischen Arbeitsmarktservice AMS Algorithmen, welche Chancen Jobsuchende auf dem Arbeitsmarkt haben. Der Testbetrieb des Algorithmus, der Arbeitslose in drei Gruppen teilt, hat für viel Diskussion gesorgt, besonders bei der Einstufung von Frauen.
Der AMS-Algorithmus teilt Arbeitslose künftig anhand von Daten wie
etwa Alter, Geschlecht, Ausbildung und Erwerbskarriere in drei Gruppen
ein: in Jobsuchende mit hohen, mittleren und schlechten Chancen am
Arbeitsmarkt, die jeweils unterschiedliche Förderungen bekommen.
Frauen würden diskriminiert und automatisch schlechter eingestuft
werden, lautete der Vorwurf einiger Wissenschaftlerinnen und
Wissenschaftler.
„Das Geschlecht „Frau“ führt nicht automatisch zu einem Minus bei der Prognose“.
Der Chef des AMS, Johannes Kopf, widerspricht hier vehement: „Wir
haben zur besseren Transparenz einen Algorithmus im Detail erklärt. Und
in diesem Fall ging es um Frauen und kurzfristige Arbeitsmarktchancen in
der höchsten Gruppe. In diesem Segment hat das Geschlecht „Frau“ zu
einem negativeren Ergebnis geführt. In der tatsächlichen Umsetzung führt
das aber dazu, dass Frauen weniger in der Gruppe mit den hohen Chancen
sind und öfter in der mittleren Gruppe landen, wo wir Förderungen in
vollem Umfang haben“.
Diese Gruppe werde künftig mehr und früher gefördert, dadurch würden
Frauen mehr Aufmerksamkeit bekommen. Zum Beispiel bei längerer
Arbeitslosigkeit hätten Frauen höhere Chancen am Arbeitsmarkt als Männer
– vermutlich, weil Unternehmen daran gewöhnt sind, dass Frauen durch
Kinder mehr pausieren. „Die Logik, dass das Arbeitsmarktservice
Menschen, die von Diskriminierung am Arbeitsmarkt betroffen sind,
stärker fördert, ist eine die im AMS systemimmanent ist“, sagt Johannes
Kopf, „damit machen wir Ungleichheiten in diesem System sichtbarer.“
„Die AMS-Mitarbeiterinnen und Mitarbeiter sollen die Entscheidungen der Systeme durchaus in Frage stellen.“
Einen Grund für die Diskussion um den Algorithmus sieht Kopf auch in
der Komplexität des Themas. Das AMS setze auch keine Künstliche
Intelligenz ein, sondern komplexe mathematische Modelle, betont Kopf.
Das AMS vergleicht, vereinfacht gesagt, die Daten eines Arbeitssuchenden
mit Personen mit ähnlichen Merkmalen und wertet aus, wie es diesen in
der Vergangenheit am Arbeitsmarkt ergangen ist. Daraus errechnen
Algorithmen dann eine Prognose.
Und aufgrund dieser Prognose plus der Einschätzung der
AMS-Mitarbeiterinnen und Mitarbeiter erfolgt dann die Beratung, betont
Johannes Kopf. Die Mitarbeiterinnen und Mitarbeiter würden noch
zusätzliche Faktoren berücksichtigen, „zum Beispiel die Motivation der
Person, eine regionale kurzfristige Veränderung des Arbeitsmarktes oder
ein besonderes Interesse des Jobsuchenden für einen Bereich, oder wenn
jemand zum Beispiel gerade eine Aufnahmeprüfung für eine Ausbildung
macht.“
Evaluierung des AMS Algorithmus
Forscherinnen und Forscher der österreichischen Akademie der
Wissenschaften und der TU Wien haben den Algorithmus analysiert. Sie
äußern Bedenken und kritisieren in ihrem Papier „Algorithmic Profiling
of Job Seekers in Austria: How Austerity Politics Are Made Effective“
unter anderem mangelnde Transparenz. Johannes Kopf weist hingegen darauf
hin, dass das am Freitag veröffentlichte Papier bereits im Oktober 2019
eingereicht wurde, bevor es Gespräche des AMS mit Forscherinnen gegeben
habe und die Übergabe der Dokumentation erfolgt sei.
Aktuell passieren noch einige Anpassungen rund um den Algorithmus.
Speziell geschulte Mitarbeiter in den Landesorganisationen und
regionalen Geschäftsstellen geben Rückmeldungen zum AMS-Algorithmus,
wenn etwas auffällig ist oder sie etwas nicht verstehen. „Wir konnten
uns zum Beispiel nicht gleich erklären, wieso längere Arbeitslosigkeit
bei Migranten zu verbesserten Jobchancen führt“, erzählt Johannes Kopf,
„die Deutschkenntnisse der Migranten wurden mit der Zeit immer besser
und dann haben sie eine Stelle bekommen.“ Diese Daten zu
Sprach-Kenntnissen bzw. Zertifikaten wurden bislang nicht
miteinberechnet, sollen künftig aber die Trefferquote erhöhen.
Förderprogramme statt Algorithmus
In einigen Bereichen werde der AMS-Algorithmus durch spezielle
Förderprogramme ausgehebelt, etwa bei Menschen mit Behinderung oder
Jobsuchenden, die jünger als 25 Jahre sind. Die AMS-Mitarbeiterinnen
und Mitarbeiter sollen die Entscheidungen der Systeme durchaus in Frage
stellen, sagt Johannes Kopf. „Die Beratungs- und Betreuungseinrichtungen
bekommen den Auftrag von uns, dass sie etwa 25% der Jobsuchenden mit
einer Hochstufungsempfehlung zu uns zurückgeben. Und eben
berücksichtigen, wenn der Jobsuchende gerade eine Aufnahmeprüfung für
technische Ausbildungen absolviert, wenn es konkrete Veränderungen am
Arbeitsmarkt und einen Mangel an Fachkräften in einem spezifischen
Bereich gibt.“
Die Prognose des AMS-Algorithmus sei eine Zusatzinformation für die
Beraterinnen und Berater, betont AMS-Chef Johannes Kopf, im AMS treffe
keine Maschine eine Entscheidung.
Automatisierte Entscheidungssysteme in Europa
Auch außerhalb von Österreich werden automatisierte
Entscheidungssysteme in der öffentlichen Verwaltung bereits eingesetzt.
Die Initiative AlgorithmWatch hat das in 12 europäischen Ländern
untersucht: In Italien etwa werden Gesundheitsbehandlungen von
automatisierten Entscheidungssystemen maßgeblich beeinflusst, in
Finnland wurden Mails von Arbeitssuchenden bis vor Kurzem automatisch
ausgewertet. Und in Kopenhagen nutzt die Jugendwohlfahrt solche Systeme.
In Dänemark wurde ein System vorgeschlagen, dass dabei helfen soll,
herauszufinden, ob Kinder in Gefahr sind, vernachlässigt zu werden, sagt
Mathias Spielkamp von der NGO AlgorithmWatch. „Das sollte anhand von
einer Reihe von Kriterien passieren, die quasi als Werte in das System
eingespeist werden. Die Frage ist natürlich: Kann man anhand von so
einer Überwachung darauf schließen, ob Kinder gefährdet sind, und ist
das eine angemessene Art und Weise, das herauszufinden?“ Die Dänen waren
damit jedenfalls nicht einverstanden und das System musste wieder
zurückgezogen werden.
„Der Staat dürfe sich nicht hinter komplexen und undurchsichtigen Systemen aus dem Bereich der Künstlichen Intelligenz verstecken“.
In den Niederlanden hat vor Kurzem ein Gericht einer Behörde den
Einsatz eines Algorithmus verboten. Das Betrugserkennungssystem System
Risico Indicatie (SyRI) war seit 2014 im Einsatz, um potentielle
Sozialhilfebetrüger aufzuspüren. Identifizierte es Menschen mit
vermeintlich hohem Risiko, wurde ein Ermittlungsverfahren gegen sie
eingeleitet. Voriges Jahr hatten Menschenrechtsorganisationen eine Klage
gegen SyRI eingereicht, weil es arme Menschen diskriminiere. Nun haben
sie Recht bekommen.
SyRi war eine Blackbox, kritisierte Tijmen Wisman, Jusprofessor an der
Freien Universität Amsterdam, wie genau das System genau funktioniert,
hat das niederländische Sozialministerium bis heute nicht offengelegt.
Bekannt ist nur so viel: SyRI wurde mit einer Menge teils sehr sensibler
Daten gefüttert, die von unterschiedlichen Behörden kamen: bezogene
Sozialhilfe, Steueraufkommen, aber auch Daten über Strom oder
Wasserverbrauch. Daraus wurden Risikoindikatoren abgeleitet, die
potentielle Betrüger enttarnen sollten. „Der Staat dürfe sich nicht
hinter komplexen und undurchsichtigen Systemen aus dem Bereich der
Künstlichen Intelligenz verstecken“, so das Urteil. Das Gericht
verurteilte in erster Linie die mangelnde Transparenz und die dadurch
fehlende Möglichkeit ein algorithmisches Entscheidungssystem zu
überprüfen, sowie die Entscheidung zu hinterfragen. Tijmen Wisman hatte
als Vorsitzender einer niederländischen Datenschutz-NGO gegen den
Algorithmus geklagt. Er fordert: „Regierungen müssen Behörden so
gestalten, dass sie ihre enorme Macht nicht missbrauchen können und dass
Bürgerinnen und Bürger sie zur Rechenschaft ziehen können.“
In den Niederlanden ist der spitzelnde Computer erst einmal arbeitslos.
Da aber immer mehr Behörden in Europa algorithmische
Entscheidungssysteme einsetzen, dürfte das nicht der letzte derartige
Gerichtsfall sein.
„Bis jetzt ist es oft unmöglich herauszufinden, wer Systeme einsetzt, zu welchem Zweck und wer sie entwickelt.“
Wie soll man also in der öffentlichen Verwaltung mit solchen Systemen umgehen? Vielfach weiß die Beamtenschaft ja gar nicht, dass ein Algorithmus Entscheidungen für sie trifft. Matthias Spielkamp, Leiter von AlgorithmWatch, fordert ein Register von solchen automatisierten Entscheidungssystemen, wenn sie in der öffentlichen Hand verwendet werden: „Ein Register als Grundlage dafür, ob wir damit einverstanden sind. Bis jetzt ist es oft unmöglich herauszufinden, wer Systeme einsetzt, zu welchem Zweck und wer sie entwickelt.“
Die Gesellschaft soll so auch kritische Fragen stellen können, etwa ob sie ein System, wie jenes in Dänemark, überhaupt will, sagt Mathias Spielkamp: „Es gibt Systeme, die greifen so tief in die Rechte von Menschen ein, dass wir der Ansicht sind, dass man ein extremes Maß an Transparenz bis hin zur Offenlegung von Codes fordern kann.“ Noch viel wichtiger sei zu wissen, welches Modell hinter einem automatischen Entscheidungssystem steckt und mit welchen Daten es gefüttert wurde.
