BIASLYZE – The NLP Bias Identification Toolkit

Welche gesellschaftliche Herausforderung adressiert euer Prototyp?

Die offene Verfügbarkeit großer Sprachmodelle (Large Language Models – LLM) wie GPT-3, BERT, oder BLOOM ermöglicht und vereinfacht heute die Entwicklung von Natural Language Processing (NLP) Anwendungen durch massive Zeitersparnis und Prozessbeschleunigung. Gerade für weniger erfahrene Entwickler*innen und Teams mit geringen Ressourcen bietet die Nutzung von LLM eine niederschwellige Möglichkeit, spezialisierte Modelle zu trainieren und neue Anwendungen zu bauen. Mögliche Risiken und Diskriminierungen, die durch die Modelle entstehen können, werden dabei häufig nicht berücksichtigt. Oft fehlt ein breites Bewusstsein für die Risiken, ebenso wie sozio-technische Kompetenzen z.B. zur Analyse des Anwendungskontexts. Dadurch können zum Beispiel Modelle zur Content-Moderation unbemerkt rassistisch oder misogyn sein, oder Suchmaschinen Inhalte ethnischer Gruppen subtil unterschiedlich behandeln. Das technische Bias-Testing als ein zentraler Schritt bei der Vermeidung algorithmisch vermittelter Diskriminierung, wird aufgrund des hohen Aufwands noch zu selten durchgeführt. Bias in NLP-Modellen ist oft subtil und schwer zu erfassen, da die geschützten Attribute nicht offensichtlich vorliegen, wie beispielsweise bei tabellarischen Daten. Bisher fehlen hier konkrete, zugängliche Werkzeuge für Entwickler*innen.

Wie geht ihr das Problem an?

Über ein einfach zugängliches Tool bekommen Entwickler*innen Zugriff auf moderne Methoden, LLM auf unterschiedliche Arten von Bias zu untersuchen. Dort binden sie ein LLM lokal oder über eine API ein und laden anschließend Testdaten in die Anwendung. Nun führt das Tool verschiedene Bias-Analysen durch. Für den zielgerichteten Einsatz dieser Methoden pflegen wir zunächst deutsche und englische Wort- und Konzeptlisten die auf potentiell geschützte Attribute und Gruppen wie beispielsweise Religion, Geschlecht o.ä. hinweisen. Diese werden dann verwendet, um die unterschiedlichen Arten gesellschaftlich relevanter Biases gezielt zu erkennen. Die Ergebnisse werden visuell und textuell nach Kategorien aufbereitet wiedergegeben. Basierend auf den Daten findet dann eine sozio-technische Einordnung der Ergebnisse statt. Anschließend werden gegebenenfalls Ansätze zur Verbesserung des Modells und des Datensatzes oder konkrete Bias-Mitigationsschritte für die Anwendung vorgeschlagen. Die Toolbox kann als Docker-Container lokal eingesetzt werden und die einzelnen Komponenten können auch direkt als Python-Package genutzt werden.

An wen richtet sich euer Tool?

Mit dem Projekt wollen wir Entwickler*innen von Software mit NLP-Komponenten unterstützen, deren ethisch verantwortungsvollen Einsatz zu ermöglichen. Unsere Toolbox bietet weniger erfahrenen Entwickler*innen, Studierenden und Teams mit begrenzten Ressourcen einen aufwandsarmen Zugang zu Bias-Testing und Mitigation in NLP-Use Cases. In diversen Veranstaltungsformaten wie zum Beispiel Konferenzen, Workshops oder Vorträgen, wollen wir die Toolbox Entwickler*innen sowie zivilgesellschaftlichen Akteur*innen näherbringen und kollaborativ weiterentwickeln.