Bias in KI finden? Biaslyze macht es möglich!

KI-Anwendungen springen wie Pilze aus dem Boden und haben zahlreiche Fans. Warum die Technologie auch Risiken mit sich bringen kann und wie man diesen begegnet, erklären Stina und Tobias vom Projekt biaslyze.

Worum genau geht es bei BIASLYZE?

Biaslyze ist eine Toolbox, mit der Natural Language Processing (NLP)-Modelle auf Bias untersucht werden können. Bias ist oft subtil und gerade in NLP-Modellen schwer zu erkennen, weil schützenswerte Attribute viele Formen in unseren Sprachen annehmen können und somit weniger offensichtlich und fassbar sind als zum Beispiel bei tabellarischen Daten.

Unsere biaslyze Toolbox unterstützt Entwickler*innen dabei, NLP-Komponenten ethisch verantwortungsvoll zu gestalten und anzuwenden. Die Toolbox bietet einen einfachen Zugang zu Methoden zur Bias-Erkennung und -Mitigierung für NLP use cases.

Warum findet ihr das Projekt wichtig?

Die Verfügbarkeit großer Sprachmodelle ermöglicht und vereinfacht aktuell stark die Entwicklung und den Einsatz von NLP-Anwendungen. Obwohl es immer mehr NLP-Anwendungen gibt, werden Bias-Checks aus unserer Sicht aber zu selten durchgeführt. So eine technische Prüfung der Datengrundlagen und Modelle auf Bias ist wichtig, um algorithmisch vermittelte Diskriminierung zu vermeiden. Natürlich ist damit aber auch ein gewisser Aufwand verbunden. Oft fehlen den Teams Zeit und Ressourcen oder es gibt noch kein ausgeprägtes Bewusstsein für die potentiellen Risiken. Gleichzeitig fehlen den Entwickler*innen, die Bias-Tests im NLP-Bereich machen wollen, zugängliche Werkzeuge. Dagegen wollten wir etwas tun. Biaslyze hilft also beim Einstieg in die Analyse von Bias und bietet einen konkreten Ansatzpunkt für weitere Folgenabschätzungen und Mitigierungsmaßnahmen. Letztlich wollen wir damit bessere NLP-Modelle – im Sinne von inklusiver und diskriminierungsärmer – fördern.

Wie geht es nach der Förderung für euch weiter?

Wir stellen die Toolbox bei Veranstaltungen vor und suchen Menschen und Teams die biaslyze in ihrer Arbeit einsetzen wollen. Aktuell funktioniert biaslyze für Englisch und Deutsch, aber wir überlegen die Sprachauswahl zu erweitern. Außerdem wollen wir die Funktionen von biaslyze noch erweitern, um zum Beispiel auch bei der Untersuchung von Bias in Trainingsdaten behilflich zu sein. Dafür haben wir uns auch bei weiteren Förderprogrammen beworben.

Ihr habt den Beyond AI Collective e. V. gegründet – womit befasst der sich genau?

Das Beyond AI Collective (BAIC) ist ein gemeinnütziger Verein, der sich dafür einsetzt, algorithmisch vermittelte Diskriminierungen zu minimieren. KI-Systeme werden zunehmend in zentralen Lebensbereichen eingesetzt. Oft fehlen in der Entwicklung und auch im Betrieb aber Ressourcen und Know-How, um ethische und rechtliche Anti-Diskriminierungs-Anforderungen in die Praxis umzusetzen. Diese Lücke wollen wir schließen. Dabei planen wir für NLP-basierte Systeme auch biaslyze einzusetzen und weiterzuentwickeln.

Wen sprecht ihr mit dem BAIC an?

Unser Fokus im BAIC liegt auf Organisationen, die KI-Systeme selbst entwickeln oder einsetzen wollen und eine echte Bereitschaft mitbringen, das Thema algorithmenvermittelte Diskriminierung strukturiert, umfassend und nachhaltig anzugehen. Das können gleichermaßen Institutionen der öffentlichen Hand sowie privatwirtschaftliche oder zivilgesellschaftliche Organisationen oder Unternehmen sein.

Neue KI-Anwendungen gibt es gefühlt jeden Tag – findet ihr, es gibt genug kritische Auseinandersetzung mit den Risiken und Herausforderungen?

Grundsätzlich sehen wir, dass in den letzten Jahren mehr Aufmerksamkeit für die ethischen, sozialen und rechtlichen Implikationen von KI aufgekommen ist. Wir sehen das gleichermaßen in der Wissenschaft, der Industrie und der Politik. Es gibt auch eine wachsende Anerkennung der Tatsache, dass KI-Systeme nicht neutral sind und ungewollte Vorurteile und Diskriminierung verstärken können. Aktuell sehen wir außerdem viele Bemühungen, ethische Leitlinien und Regulierungen für KI-Entwicklung und -Einsatz zu schaffen.

Allerdings gibt es trotz dieser Fortschritte immer noch viel Arbeit zu leisten. Es gibt weiterhin Fälle, in denen KI-Systeme gegen Grundprinzipien der Gesellschaft und unser Gerechtigkeitsverständniss verstoßen und nachhaltigen Schaden anrichten. Darüber hinaus kann die Funktionsweise von KI-Systemen oft nur schwer transparent gemacht werden. Das erschwert natürlich die frühzeitige Abschätzung von Auswirkungen und potenziellen Risiken.

Insgesamt ist es wichtig, dass die Gesellschaft weiterhin einen offenen und informierten Dialog über diese Themen führt und dass Wissenschaftler*innen, Entwickler*innen und Regulierungsbehörden gemeinsam daran arbeiten, die Entwicklung und den Einsatz von KI-Technologien verantwortungsvoll voranzutreiben.

In welchen Kontexten findet ihr KI-Anwendungen sinnvoll? Und in welchen vielleicht eher nicht?

Generell kann man sagen, dass KI-Anwendungen für „social prediction“ wie zum Beispiel Rückfallwahrscheinlichkeiten von Straftäter*innen oder company-fit von Bewerbenden stets kritisch zu sehen sind. Solche Anwendungen sind meist diskriminierend oder operieren schlichtweg mit sehr hohen Fehlerquoten, da sie auf historischen Daten trainiert werden, die bereits bestehende Ungerechtigkeiten widerspiegeln können oder eigentlich keine geeigneten Daten für die Einschätzung existieren.

Auf der anderen Seite gibt es zahlreiche Bereiche, in denen KI-Anwendungen enorm sinnvoll sein können. Zum Beispiel im Gesundheitswesen können KI-Modelle bei der frühzeitigen Erkennung von Krankheiten und in der personalisierten Medizin eine entscheidende Rolle spielen. Trotzdem ist es auch hier wichtig algorithmische Diskriminierung als relevantes Risiko einzubeziehen und ihr entgegenzuwirken.

Auch im Bereich Umweltschutz kann der Einsatz von KI-Anwendungen sinnvoll sein. Drohnen mit KI-gestützter Bildverarbeitung können beispielsweise illegalen Abfallentsorgungsorte aufspüren und dabei helfen Umweltverschmutzung zu überwachen und zu bekämpfen.

Letztendlich ist der sinnvolle und risikoarme Einsatz von KI-Anwendungen stark von der Art der Anwendung und der sorgfältigen Gestaltung und Überwachung abhängig. Es ist entscheidend, dass ethische und rechtliche Aspekte respektiert werden, um sicherzustellen, dass KI-Systeme das Wohl der Gesellschaft fördern und keine schädlichen Auswirkungen haben.

Tobias und Stina wurden mit BIASLYZE in der 13. Runde des Prototype Fund gefördert.

Stina Lohmüller ist Data und Digital Policy Analyst. In ihrer Arbeit verbindet sie Softwareentwicklung mit Fragen sozialer Gerechtigkeit und inklusiver Digitalpolitik.

Tobias Sterbak ist Data Scientist und Softwareentwickler auf dem Gebiet des maschinellen Lernens und der Verarbeitung natürlicher Sprache (NLP). Er arbeitet als Freiberufler und entwickelt und verbessert Machine Learning Systeme in einer Vielzahl von Anwendungsbereichen.