Gastkommentar: Dem AMS-Algorithmus fehlt der Beipackzettel

Der folgende Gastkommentar ist am 03.10.2019 auch in der Futurezone erschienen (siehe Dem AMS-Algorithmus fehlt ein Beipackzettel).

Wir sind fünf Wissenschaftler*innen von der TU Wien, der WU Wien und der Universität Wien, mit einem diversen Hintergrund in Künstlicher Intelligenz, Mathematik, Wirtschaftsinformatik, Kognitionswissenschaften, Sozialwissenschaften und Wissenschafts- und Technikforschung (STS). Wir forschen seit einiger Zeit zum AMS-Algorithmus und wundern uns über die aktuelle Debatte zum AMS -Algorithmus.

Echte Transparenz

Immer wieder wurde seitens des AMS von Transparenz in Bezug auf den AMS-Algorithmus gesprochen. Ob und inwiefern Transparenz in einem produktiven Ausmaß vorliegt, misst sich daran, inwieweit ein wissenschaftlicher Diskurs möglich ist, der auf belegbaren Fakten und Daten basiert. Echte Transparenz würde bedeuten, dass ebendiese belegbaren Fakten und Daten seitens des AMS bereitgestellt werden. Leider wurde dem bisher nicht in zufriedenstellender Weise nachgekommen: Von den 96 Modellvarianten, die sich zu dem algorithmischen System bündeln, wurden nur zwei veröffentlicht, und eine davon erst auf Anfrage. Auch die entsprechenden Fehlerquoten der 96 Modellvarianten sind weitestgehend unbekannt.

Dass es überhaupt eines regen Schriftverkehrs und mehrerer Anfragen bedarf, um auch nur einen Bruchteil der benötigten Informationen zu erhalten, ist unzumutbar und widerspricht dem Postulat der Transparenz. Vielmehr sollte das AMS als Träger von öffentlicher Verantwortung der versprochenen Transparenz eigeninitiativ nachkommen und Anstrengungen unternehmen, die entsprechenden Modellvarianten, Daten und Fakten belegbar, nachvollziehbar und hinreichend anonymisiert aufzubereiten, um eine Analyse im Zuge eines breiten demokratischen Diskurses zu ermöglichen. Die Beurteilung, inwieweit Transparenz für eine ausreichende wissenschaftliche Debatte vorliegt, obliegt der Wissenschaft und kann nicht durch Behauptungen durch Verantwortliche des AMS auf ihren privaten Internet-Seiten ersetzt werden. Derartige Veröffentlichungen auf privaten Kanälen sind nicht überprüfbar und unterliegen keiner angemessenen Kontrolle durch rechtsstaatliche Institutionen. Stattdessen ist die Kommunikation auf den entsprechenden offiziellen Kanälen des AMS, bei der echte Transparenz gelebt werden sollte, zu führen.

Wissenschaft lebt von einer kritischen Auseinandersetzung mit einer gemeinsamen Informationsgrundlage. Diese gemeinsame Informationsgrundlage existiert im Moment beim AMS-Algorithmus nicht und muss dringend hergestellt werden. Dies ist insofern bemerkenswert, dass sich diese gemeinsame Informationsgrundlage auch nach einer einjährigen medialen Debatte kaum geändert hat. Die Öffentlichkeit weiß fast genauso wenig wie vor einem Jahr über den tatsächlichen Einsatz von automatisierten Systemen beim AMS.

Um welche Technik geht es eigentlich?

Anders als vom AMS-Vorstand dargestellt, basiert der AMS-Algorithmus sehr wohl auf Trainingsdaten, in Form der Personendaten der vorhergehenden 4 Jahre und Ex-post Beobachtungen des Ausganges, und produziert Prognosen anhand der genannten 96 statistischen Modelle. Damit ist das System denselben Fehlerquellen – wie etwa Bias – unterworfen wie andere Systeme, die auf Trainingsdaten aufbauen. Jenseits von Fragen der Begriffsdefinition, was genau AI/KI sei oder nicht, sollte sich die Diskussion jedoch eher auf die Anwendbarkeit und Sinnhaftigkeit der gewählten technischen Methode sowie ihrer Risiken und Probleme konzentrieren.

Der zunehmende Trend zur Automatisierung von Verwaltungstechnologien geht auch mit einer besonderen Verantwortung gegenüber den Bürger*innen im Einzelnen und der Gesellschaft im Allgemeinen einher: Insbesonders ist es in diesem Kontext absolut geboten, Menschen im Zentrum dieser Systeme mit Würde und als Ganzes zu verstehen, anstatt eine reduktionistische Datensicht zum Maßstab des Erfolgs des Systems heranzuziehen. Es sollte hier eine Selbstverständlichkeit sein, dass ein solches System nicht ohne externe Evaluierung an teilweise strukturell benachteiligten Personengruppen pilotiert wird, bevor das System ausgereift ist und auch von unabhängigen wissenschaftlichen Expert*innen als solches bestätigt wurde – eine Forderung, die seit dem Bekanntwerden der ‚Evaluierungsphase‘ vom Oktober 2018 unbeantwortet bleibt.
Einsatz von Algorithmen als Grundsatzfrage

Der Einsatz derartiger automatisierter Systeme durch die öffentliche Hand ist eine Grundsatzentscheidung und muss in einer demokratisch legitimierten Gesellschaft auch gesamtgesellschaftlich diskutiert werden. Ein Teil dieses Diskurses ist hinreichende Transparenz; diese ist erst dann ausreichend, wenn sie die Adressat*innen ausreichend dazu befähigt, diesen Diskurs zu führen. Diese Debatte ist bisher nur angerissen worden; es stehen noch viele unbeantwortete Fragen aus, ohne deren Beantwortung eine tatsächlich transparente gesellschaftliche Debatte nicht möglich ist. Um darauf einzugehen, sind belegbare Daten und Fakten notwendig.

Dazu sei auch gesagt, dass die aktuelle Anwendung des AMS-Algorithmus in vielerlei Hinsicht nicht internationalen Standards entspricht. So hat der Europarat Anfang 2018 Empfehlungen für den öffentlichen Einsatz von Algorithmen veröffentlicht, (zu den Autor*innen gehört unter anderem einer der Autor*innen dieses Beitrags, Ben Wagner), die im Widerspruch stehen zum aktuellen Einsatz von Algorithmen durch das AMS. Auch diverse Kolleg*innen aus der Wissenschaft warnen explizit vor dem aktuellen Einsatz von Algorithmen durch das AMS, sowohl in Medienberichten als auch auf wissenschaftlichen Veranstaltungen, wie etwa eine Veranstaltung der Universität Wien zu Algorithmen in der Arbeitsvermittlung vom 23. April 2019. Auf dem Stand der Technik zu sein würde auch bedeuten, neben Transparenz auch die Endnutzer*innen wie Arbeitssuchende und AMS Betreuer*innen in den Prozess der Entwicklung von Informationssystemen einzubeziehen, um sicherzustellen, dass ihre Bedürfnisse und Ansichten gut berücksichtigt werden.

Frauen werden benachteiligt

Auch die Frage der potentiellen Diskriminierung von Personengruppen ist, entgegen den Behauptungen des AMS-Vorstandes, keineswegs geklärt. Der Gleichbehandlungsgrundsatz stellt klar, dass niemand aufgrund des Geschlechts oder der ethnischen Zugehörigkeit beim Zugang zu Gütern oder Dienstleistungen, die der Öffentlichkeit zur Verfügung stehen, diskriminiert werden darf. Unabhängig von der Frage, ob die Einordnung in die Gruppen A, B oder C mehr oder weniger wünschenswert für diese Einzelperson wäre, bedingt die Segmentierung der vom AMS betreuten Personen zwangsweise, dass manche Personengruppen auf Basis ihres Geschlechts unterschiedliche Förderungen bekommen. Ob dies Frauen insbesondere trifft, mag zwar vom AMS vehement dementiert werden – dies bleibt aber bis zur Herausgabe von konkreten, wissenschaftlich belastbaren Daten eine nicht belegte Behauptung.

Aus wissenschaftlicher Sicht scheint diese Behauptung zudem ausgenommen fraglich, zumal andere diskriminierende Effekte wie etwa das Problem des kumulativen Nachteils (cumulative disadvantage) beim Zusammentreffen verschiedener, strukturell benachteiligter Personengruppen (z.B. Frauen mit Kinderbetreuungspflichten und Migrationshintergrund) weiterhin bestehen. Auch der persönliche Nachteil, der Einzelpersonen aus einer, nur im Nachhinein beweisbar falschen Zuordnung entstehen kann, ist höchst problematisch und muss unter dem Gesichtspunkt von Diskriminierung untersucht werden. Da nur ein Bruchteil der Fehlerquoten der 96 Modellvariantenpubliziert wurde, liegt die Vermutung nahe, dass einige dieser Modelle eine schlechtere Trefferquote als andere aufweisen, was bedeuten würde, dass die betroffenen Personensegmente von höheren Fehlerquoten und falschen Zuordnungen diskriminiert werden.
Entscheidungen werden von Betreuer*innen getroffen

Das immer wieder genannte Argument, die Entscheidung werde weiterhin von Betreuer*innen getroffen, ist aus wissenschaftlicher Sicht unhaltbar: Seit dem offiziellen Einsatzstarts des Systems werden Entscheidungen des AMS jetzt gemeinsam von Betreuer*innen und einem System, welches Empfehlungen in Form von Gruppenzuweisungen macht, getroffen. Wissenschaftlich gesehen ist es mehrfach belegt, dass bereits die Existenz des Systems die Entscheidungen der Betreuer*innen beeinflussen wird. Wie genau der Algorithmus die Entscheidungen der Betreuer*innen beeinflusst, ist ohne externen Audit und eine Analyse auf transparenter, gemeinsamer Datenbasis nicht genau zu beziffern.

Auch die Behauptungen des AMS, die Betreuer*innen würden ermutigt, die Bewertung des Systems zu hinterfragen und „den vom Computer errechneten Wert zu prüfen“ ist ohne klare Beschreibung, wie diese Prüfung ablaufen soll, sehr problematisch. Die bis jetzt angedeuteten „internen Richtlinien“, welche die Zuweisung von Maßnahmen unter Einbezugnahme des algorithmischen Ergebnisses regeln sollen, sind nicht veröffentlicht worden. Selbst die besten Richtlinien wären jedoch nicht geeignet, einen problematischen Einfluss des Algorithmus zu verhindern.
Effizienteres AMS als Ziel

Der stets unhinterfragte Rekurs auf Effizienz als oberste Zielvorgabe birgt also gewissen Tücken. Die AMS-Betreuer*innen finden sich nämlich entgegen der Annahme, dass ihnen das neue System Erleichterungen und damit verbundene Effizienzsteigerungen bringen soll, in einem neuen Spannungsfeld: Auf der einen Seite wird von ihnen erwartet, das neue System als Hilfestellung zu nutzen, auf der anderen Seite sind sie aber dazu angehalten, als „soziales Korrektiv“ einzugreifen, wenn das System ihrer Ansicht nach falsch liegt. Zusätzlich zur Betreuung von Arbeitslosen müssen sie nun auch noch ein algorithmisches System betreuen und vor allem ausreichend kritisch verstehen, um Fehler zu erkennen und zu korrigieren. Dieser zusätzliche Aufwand reduziert natürlich die Zeit mit den Arbeitssuchenden, und steht der vermeintlichen Effizienz des neuen Systems gegenüber. Gerade die genaue Operationalisierung, interne Regeln und Guidelines zum Umgang mit diesem Spannungsfeld bedürfen unbedingter Transparenz, um einen kritischen Dialog über die Zielsetzungen und Erwartungen gegenüber eines solchen Systems zu ermöglichen!

Der Algorithmus ohne Beipackzettel

Zum Schluss noch ein Hinweis zum Umgang mit Unsicherheit, der gerne vom AMS bemüht wird: Der Algorithmus sei wie der Einsatz von “Medikamenten” da es sich beim Algorithmus um „Prognosen in die Zukunft mit Wahrscheinlichkeiten und nicht 100%iger Treffergenauigkeit” handelt. Mit solchen Risiken müsse man eben in einer demokratischen Gesellschaft umgehen, so das Argument.

Der Vergleich von AMS-Algorithmen mit Medikamenten ist insofern spannend, als er den üblichen Umgang der öffentlichen Hand mit Risiken und Wahrscheinlichkeiten am Beispiel von Medikamenten verdeutlicht. Ein Medikament muss über Jahre hinweg in klinischen Studien überprüft werden, die Studie und die Grundlagen der Untersuchung müssen öffentlich einsehbar und transparent sein. Eine systematische Überprüfung von unabhängigen externen Stellen ist zwingend erforderlich. Selbst dann ist das Medikament mit einem Restrisiko versehen, weshalb Beipackzettel für Medikamente verpflichtend sind, damit Menschen vor Einnahme des Medikaments entscheiden können, ob sie dieses Medikament nutzen wollen. Beim AMS-Algorithmus fehlen hingegen sowohl klinische Studien als auch Beipackzettel.

Dies ist so wichtig, weil man als Mensch, der vom Algorithmus betroffen ist, gar nicht die Möglichkeit hat, sich gegen den AMS-Algorithmus zu entscheiden. Man ist als Betroffene*r einem System ausgeliefert, dessen Risiken man selbst nicht abschätzen kann. Im Gesundheitsbereich ist die Vergabe von Medikamenten ohne Beipackzettel durch staatlichen Einrichtung nur schwer vorstellbar. Warum sollte dies dann bei der Verteilung von Ressourcen durch den AMS an Menschen in vulnerablen Positionen anders sein?

Florian Cech (TU Wien), Fabian Fischer (TU Wien), Gabriel Grill (TU Wien, University of Michigan), Soheil Human (WU Wien, Uni Wien), Paola Lopez (Uni Wien), Ben Wagner (WU Wien)

Radiointerview zum ‚AMS Algorithmus‘ – Radio NJOY 91.3FM

Zu aktueller kritischer Forschung und Problemstellungen beim AMS Algorithmus war Florian Cech am 1. Oktober 2019 zu Gast im Wissenschaftsradio auf Radio NJOY 91.3FM!

Mehr Informationen sind auch verfügbar unter:

AMS: Neuer Algoritmus darf diskriminieren?

Podiumsdiskussion „Social Media: Wie politische Kommunikation im digitalen Zeitalter funktioniert“

Auf Einladung der APA / Digital Business Trends freuen wir uns, unsere Teilnahme an der folgenden Veranstaltung zum Thema Social Media anzukündigen!

Von der Event-Webseite:

Social Media

Wie politische Kommunikation im digitalen Zeitalter funktioniert

Technologie hat die politische Kommunikation umgekrempelt: Social Media sind zu einem wichtigen Multiplikator geworden, Entscheidungen werden aufgrund der Datenlage getroffen und Zielgruppen lassen sich gezielt ansteuern.

Wie funktioniert politische Kommunikation heutzutage? Welche Mechanismen führen zum Erfolg? Sind Big Data und Künstliche Intelligenz inzwischen unverzichtbar? Welche Kanäle sind relevant, welche digitalen Strategien erfolgreich? Und wie groß ist der Einfluss von Facebook, Twitter und Co. auf die öffentliche Meinung tatsächlich?

Darüber diskutieren Expertinnen und Experten am 19. September im Haus der Musik. Die Keynote hält Yussi Pick (Pick & Barth Digital Strategies GmbH). Mit ihm diskutieren im Anschluss dazu Florian Cech (TU Wien), Lena Doppel-Prix (Digitalstrategin), Klemens Ganner (APA-DeFacto), Nina Hoppe (HOPPE – Strategia. Politica. Media.) und Dieter Zirnig (neuwal).

Details und Anmeldung unter https://eventmaker.at/apa/social_media/.

Call for Case Studies @ C&T 2019

3-7 June 2019, TU Wien, Vienna, Austria
https://2019.comtech.community/casestudies.html

The International Conference on Communities and Technologies (C&T) is the premier international forum on the complex connections between communities – both physical and virtual – and information and communication technologies. The theme of C&T 2019 is “Transforming Communities”, embracing a dynamic view of communities and paying particular attention to the roles of technologies in the making, un-making, and re-making of communities (see the Call for Papers for more).

C&T 2019, for the first time, will host two separate Case Studies tracks: […]

Call for Papers: ECIS 2019 Workshop – Engineering Accountable Information Systems

The function of information systems in society is increasingly in focus of information systems research. One outstanding challenge is how to build information systems which promote accountability, as part of a wider debate on fairness, accountability, and transparency principles (e.g., ACM FAT*). This need for accountability must be reflected on all layers of systems engineering, ranging from process analysis to concrete technical components and primitives employed during implementation.

Based on our existing research we believe that three specific areas of information systems research are most relevant in this context: user cognition and human behaviour in relation to the design of interfaces; automated decision-making systems and decision-support systems; critical business processes with a particular need for accountability. In all these and further areas, accountability in complex information systems needs to be addressed through technical mechanisms. Existing high-level considerations on accountability in information systems notwithstanding, however, the concrete engineering and implementation of such mechanisms has so far received only limited attention. Similarly, the challenges arising during such transformations of abstract accountability concepts into concrete technologies as well as the critical evaluation of respective implementations are only rarely covered by existing research.

We see this workshop as an opportunity to close these gaps through engaging with the existing debate on accountability while integrating key knowledge from the information systems community. Importantly, our approach to accountable systems is not just focused on high level norms of system development, but indispensably also incorporates practical questions of engineering and designing actual systems. We therefore encourage submissions from the above-mentioned and other areas of accountability engineering as long as they sufficiently incorporate questions of concrete systems engineering and implementation. […]