Centre for Informatics & Society

Algorithmic Decision Making & AMS Algorithmus: 10 Forderungen für eine Zukunft mit algorithmischen Systemen

Das vom AMS vorgeschlagene algorithmische System zur Bewertung der Integrationschancen von Arbeitslosen ist nur das letzte Beispiel einer Fülle an an Machine-Learning-Anwendungen, die zunehmend Einfluss auf unser Leben nehmen. Der Einsatz solcher Systeme wird von BefürworterInnen als technische Innovation zur Effizienzsteigerung gepriesen, welche durch die scheinbare Objektivität des implementierten Algorithmus eine neue Ära der Fairness fernab von persönlichen Vorurteilen und Bias menschlicher Entscheidungen einläuten sollen.

Die Realität sieht allerdings leider meist anders aus: Auf Basis der Trainingsdaten, welche die Grundlage maschinellen Lernens darstellen, werden vorhandene Ungleichheiten repliziert und in Folge des Einsatzes dieser Systeme noch verstärkt. Die Betroffenen sind dadurch den Entscheidungen des Algorithmus oftmals ausgeliefert – zu kompliziert, zu undurchsichtig und schwer nachvollziehbar sind die internen Prozesse, die zu einer Einzelentscheidung führen. Forderungen nach algorithmischer Transparenz dieser Systeme werden mit Hinweis auf wirtschaftliche Interessen der Geheimhaltung proprietärer Technologien abgewiesen oder sind aufgrund der Menge verwendeter Daten (Stichwort Big Data) technisch gar nicht umsetzbar.

Das Centre for Informatics and Society (C!S) der Fakultät für Informatik an der TU Wien beschäftigt sich mit diesen Problemstellungen durch die kritische Analyse sozialer Auswirkungen von algorithmischen Systemen. In Forschungsverbund „Informatics Europe“ stellen wir zusammen mit namhaften ExpertInnen aus Forschung und Wirtschaft eine Reihe an Forderungen an algorithmische Systeme, welche autonom Entscheidungen treffen oder Klassifizierungen in der Art des vom AMS vorgeschlagenen Systems vornehmen. Diese stellen Kriterien für die Entwicklung und den Einsatz von Automated Decision Making (ADM) unter technischen, ethischen und gesellschaftlichen Gesichtspunkten dar.

Technische, Ethische und Rechtliche Rahmenbedingungen

Aus technischer Sicht müssen wir für ADM-Systeme Massnahmen und Standards definieren, welche die Fairness des System gewährleisten können. Diese müssen unter Einbeziehen aller zentralen Akteure von Wissenschaft, Wirtschaft, NGOs und der Bevölkerung diskutiert werden und Prinzipien zur Erkennung und Bekämpfung von Bias aus technischer Sicht beinhalten.
Ebenso müssen ethische Gesichtspunkte integraler Bestandteil der Entwicklung werden – im Sinne von Value-Driven Design sollen Zielsetzungen und mögliche Auswirkungen dieser Systeme auf höchsten ethischen Standards basieren. Gleichsam müssen die rechtlichen Verantwortlichkeiten für Einsatz und Folgen dieser Systeme geklärt werden, da die derzeit oft übliche Praxis der breiten Haftungsausschlüsse von Softwaresystemen keine ausreichend präzisen Regelungen dieser Fragen darstellt.

Wirtschaftliche, Gesellschaftliche und Bildungs-Aspekte

Aus wirtschaftlicher Sicht sind die makro-ökonomischen Folgen dieser Systeme in Hinblick auf potentielle Arbeitsplatzveränderungen und andere Auswirkungen zu untersuchen und beim Einsatz dieser Systeme in Betracht zu ziehen. Nur so können potentiell störende Einflüsse auf persönlicher, gesellschaftlicher und ökonomischer Ebene vermindert und eine nachhaltige Entwicklungs von ADM-Technologien gewährleistet werden.

Auf gesamtgesellschaftlicher Ebene muss in Bezug auf Privatsphäre und Daten-Aquisition der BetreiberInnen absolute Transparenz für die Betroffenen herrschen. Kern von Machine Learning Methoden sind die Trainingsdaten, anhand derer die Systeme ihre Entscheidungen treffen, und nur durch Einsicht in diese können Systeme auf potentielle Diskriminierung und Bias untersucht werden und das Recht des Individuums auf informationelle Selbstbestimmung gewahrt werden. Zur Förderung unseres wissenschaftlichen Verständnisses dieser Systeme muss damit auch eine signifikante Investition in nicht-kommerzielle Forschung erfolgen, da viele der hier genannten fundamentalen Problemstellungen noch nicht ausreichend untersucht sind.

Weiters ist es unumgänglich, die Bemühungen um Ausbildung und Lehre zu diesen Systemen im universitären Kontext zu verstärken. Hierbei ist es besonder wichtig auch die sozialen und ethischen Fragen den rein technischen gegenüber zu stellen, um bei den zukünftigen EntwicklerInnen von ADM-Technologien kritisches Denken, ethisches Design und ‚digital Wisdom‘ besonders zu fördern.

Schlussendlich muss auch jenseits der höheren Bildungsanstalten ein breite gesamtgesellschaftliche Diskussion dieser System und deren Einsatzes erfolgen, um das Bewusstsein der Bevölkerung für die Existenz und mögliche Auswirkungen von ADM-Systemen zu schärfen. Hier kommt den öffentlichen Medien eine besondere Verantwortung zu, insbesondere die kritischen Aspekte und Fragestellungen zu beleuchten und eine ausgeglichene Berichterstattung jenseits von Techno-Optimismus, wirtschaftlichen Interessen oder reinem Effizienzdenken zu liefern.

Als WissenschaftlerInnen an der TU Wien nehmen wir unsere gesellschaftliche Verantwortung in Forschung, Entwicklung und Lehre wahr und bieten unsere Expertise in technischen sowie sozialen Fragen zu Entwicklung ein Einsatz von Machine Learning Systemen an und leisten somit unseren Beitrag zu einer kritischen Diskussion aller Aspekte digitaler Technologien.