“Whoever develops AI systems has great power”

The interview has been edited and shortened for the written version. You can hear the longer version in the Cyber Valley Podcast Direktdurchwahl, Episode 05. Further texts and interviews on the topic of AI and machine learning, especially on questions of ethics and responsibility, can be found on the blog of the Cluster of Excellence at the University of Tübingen: www.machinelearningforscience.de. Please find the full interview below in German.
 

Wo kommen Bürger:innen denn mit Themen der KI-Ethik in Berührung?

Die klassischen Beispiele sind Ranking-Algorithmen, die mir Suchergebnisse in einer bestimmten Reihenfolge anzeigen oder Empfehlungssysteme für Produkte oder Medien. Aber auch mein Spam-Ordner wird durch eine KI befüllt oder der Wetterbericht, den ich mir anschaue. Hierbei arbeiten KI-Systeme im Hintergrund.

Und was ist aus ethischer Sicht daran relevant; wie gehen Sie an so ein Themenfeld heran?

Die Themenfelder der KI-Ethik sind unglaublich breit gefächert. Es gibt vier klassische Bereiche. Im ersten wird geschaut: Sind KI-Systeme fair oder diskriminieren sie gegen bestimmte Personengruppen? Der zweite beschäftigt sich mit der Frage, ob KI-Systeme transparent oder erklärbar sind. Im dritten Bereich wird geschaut: Wie sicher oder robust sind sie? Können sie angegriffen und missbraucht werden? Und im vierten Bereich geht es um Verantwortungsbeziehungen, um klären zu können, wer im Schadensfall haftet.

Spannend finde ich, die Frage der Verantwortung auch wirklich zu stellen. Ein Beispiel: Ich bewerbe mich. Dort filtert ein autonomes System die Bewerbungen und ich als Frau werde vom System systematisch diskriminiert und komme nicht in den Auswahlprozess. Wer trägt die Verantwortung: der Entwickler oder die Firma, die das System einsetzt?

Oder der Händler, der so ein Produkt vertreibt... Ich denke, Verantwortung wird auf mehrere Schultern verteilt. Beim angesprochenen Beispiel der algorithmischen Diskriminierung bestünde viel Verantwortung darin zu schauen, mit welchen Trainingsdaten ein KI-System angelernt wird. Sind in diesen Trainingsdaten Frauen genauso repräsentiert wie Männer? Das müsste in der konkreten Technikentwicklung angegangen werden.

Allerdings sind das Themen, die meines Wissens in der klassischen Informatik nicht zwingend in den Studiengängen vorkommen.

Ich würde nicht sagen, dass das nicht vorkommt. Insbesondere das Thema Fairness im maschinellen Lernen wird fast schon inflationär behandelt; das ist auch Teil des Studiums. Aber Ethik-Seminare im Informatikstudium sind kein Allheilmittel ist. Wichtiger ist, dass eine „ethische Atmosphäre“ an einer Fakultät geschaffen wird. Es geht nicht so sehr darum, sich mit ethischen Theorien zu befassen, sondern darum, dass Studierende bestimmte Persönlichkeitsmerkmale entwickeln, die sie zu verantwortungsbewussten Technikentwicklerinnen und -entwicklern machen. Denn ja: Wer KI-Systeme entwickelt, hat eine große Macht, weil diese Systeme skalieren. KI-Systeme werden möglicherweise am Ende von Millionen oder sogar Milliarden von Menschen benutzt – eine große Verantwortung.

Ich glaube, das ist auch ein wichtiger Aspekt: Was wir hier besprechen, betrifft viele Menschen, auch wenn es ihnen gar nicht so bewusst ist. Wozu braucht es also eine KI-Ethik?

Die Entwicklung ist, das KI-Systeme zunehmend in die Lebenswelt von Menschen kommen und ihnen weitreichendere Entscheidungsbefugnisse zugeschrieben werden. Immer da, wo die Systeme einen Einfluss auf menschliches Verhalten haben, wird es umso wichtiger, die gesellschaftlichen Folgen zu reflektieren, vorherzusagen, und möglicherweise bei Fehlentwicklungen zu intervenieren. Aber Aufgabe der Ethik ist auch, positive Ideen oder Visionen zu entwickeln, wie eine nachhaltige, sichere, friedliche Gesellschaft, in der Menschen und KI-Systeme enge „Beziehungen" eingehen, gelingen kann.

Ein bekanntes Beispiel, wo dies noch nicht gelungen ist: Eine dunkelhäutige Frau wurde von dem Gesichtserkennungssystem im Smartphone nicht so gut erkannt wie zum Beispiel ein weißer Mann. 

Ja, dieses spezifische Beispiel hat zu einem einschlägigen Paper geführt: „Gender Shades" von Joy Buolamwini und Timnit Gebru. Sie haben aufgedeckt, dass Gesichtserkennungssysteme schlechter für Frauen oder Menschen mit dunkler Hautfarbe arbeiten. Allerdings ist Gesichtserkennung als solche ja schon umstritten. Ist eine umstrittene Praxis automatisch besser, wenn sie bei allen Bevölkerungsgruppen gleich funktioniert? Ich will nicht sagen, dass algorithmische Diskriminierung kein Problem ist, ganz im Gegenteil. Ich denke nur, dieses spezifische Beispiel hätte man weiterdenken müssen. Gesichtserkennung als solche ist in vielen Kontexten problematisch, weshalb es ja auch in einigen Ländern oder Bundesstaaten Bemühungen gibt, Gesichtserkennung zu verbieten.

Die EU-Kommission hat nun einen Rechtsrahmen entwickelt, der im Artificial Intelligence Act, also in einer Art „KI-Gesetz" münden soll. Sie verwendet darin den Begriff "vertrauensvolle KI“. Was genau ist damit gemeint?

Die EU versteht darunter KI-Systeme, die rechtmäßig sind, also die Gesetze einhalten; KI-Systeme, die ethisch sind und ethischen Prinzipien entsprechen. Diese sollen zum Beispiel gesellschaftliche Wohlfahrt fördern oder Ähnliches. Und es beschreibt KI-Systeme, die robust sind, die also aus technischer Perspektive sicher sind. Wenn das eingehalten ist, spricht man von vertrauenswürdiger KI. Der vorgeschlagene Rechtsrahmen enthält eine Risiko-Pyramide mit vier Risiko-Stufen. Der angesprochenen biometrischen Gesichtserkennung in Echtzeit beispielsweise wird ein inakzeptables Risiko zugesprochen. Unter diese Risikoklasse fallen KI-Systeme, die explizit mit einem Verbot belegt werden sollen. Man muss allerdings auch dazu sagen, dass nur an der Spitze einige wenige Hochrisiko-KI-Anwendungen stehen. Die meisten KI-Systeme fallen unter wenig bis gar kein Risiko; beispielsweise ein Flaschenrückgabeautomat, der Leergut klassifiziert oder ein System, das kontrolliert, ob Werkstücke korrekt zusammengebaut sind. 

Sind diese Regulierungsansätze ausreichend, um KI-Ethik von der Entwicklung bis zum Produkt einzuführen?

Zuerst mal finde ich das großartig, was dort passiert. Europa hat, denke ich, wieder eine Vorreiterrolle. Aber man kann natürlich immer Dinge kritisieren, zum Beispiel, dass die militärische Anwendung von KI aus diesem Rechtsrahmen völlig ausgeklammert worden ist. Es gibt auch noch andere Themen, mit denen sich die KI-Ethik beschäftigt, die aber in der Legislative nicht abgebildet werden. Zum Beispiel die Frage der Nachhaltigkeit von KI-Systemen oder die prekäre Annotationsarbeit von Trainingsdaten. Über Clickarbeit werden Trainingsdatensätze, mit denen KI-Systeme angelernt werden, von Hand zusammengestellt. Das ist eine sehr prekäre, schlecht bezahlte Arbeit, die teilweise in Entwicklungsländern gemacht wird. Das könnte man beispielsweise über Lieferkettengesetze oder Ähnliches verbessern. Aber abseits dieser offenen Punkte sehe ich das sehr positiv. 

Bei KI-Ethik geht es häufig um die Frage der Moral. Kann eine Maschine ethisch moralisch handeln oder müssen das trotzdem noch die Menschen, die sie bedienen und die sie entwickeln, machen?

Das ist eine sehr schwierige Frage. Klassischerweise stellt man sich darunter vor, dass von oben herab in eine Maschine moralische Regeln eingebettet werden. Da gibt es ganz klassisch die Asimov‘schen Robotergesetze. Das, was wir als Moral bezeichnen, sind jedoch viele Handlungsregeln. Diese Regeln, so wie wir Menschen sie verarbeiten, kann man nicht in einer Maschine reproduzieren. Nichtsdestotrotz kann ich eine Maschine mit Daten trainieren, die menschliches Verhalten abbilden: wie Menschen Texte schreiben, wie Menschen Autos fahren, wie Menschen bestimmte Dinge machen. Wenn ich eine Maschine mit solchen Verhaltensdaten trainiere, dann reproduziert sie natürlich auch die Verhaltensmuster, die sie aus diesen Daten lernt.

Herr Hagendorff, woran arbeiten Sie aktuell?

Ich befasse mich mit methodischen Fragen der KI-Ethik. Dabei geht es vor allem darum, wie effektiv dieses Feld in der Umsetzung der eigenen Forderungen ist. Zum anderen befasse ich mich inhaltlich mit KI-Ethik und stelle etwa Fragen nach blinden Flecken im Diskurs.

Welche Themen werden denn nicht ausreichend beachtet?

Was ich zum Beispiel feststelle ist, dass die KI-Ethik zurzeit einen rein anthropozentrischen Zuschnitt hat. Man beschäftigt sich eigentlich nur mit dem Verhältnis von KI und Menschen, aber weniger mit den Auswirkungen von KI auf Tiere oder auf die Umwelt. Und dann gibt es Themen, die nicht den Stellenwert bekommen, die sie meiner Meinung nach haben sollten, zum Beispiel das Diversitätsproblem. Das Feld ist stark von Männern dominiert; von Männern aus reichen, demokratisch verfassten Industrienationen. Vielleicht sollten die Wertesettings aus anderen Bereichen der Welt einen stärkeren Eingang in die Entwicklung und Erforschung von KI-Systemen finden.