Hasskommentare automatisiert filtern

Welches Problem willst du mit deinem Projekt lösen?

In den Kommentarspalten des Internet tobt der Hass. Um diesen zu einzudämmen, müssen Kommentare manuell geprüft werden. Weil dies viele Redaktionen überfordert, schließen sie die Kommentarfunktion gleich ganz ab. In diesem Kontext gelobt Machine Learning Besserung, indem automatisiert Kommentare ausgewertet werden. Die aktuellen Verfahren sind jedoch unausgegoren. So können sie leicht „ausgetrickst“ werden oder sind rassistisch.
Weil die zugrundeliegenden Mechanismen für Laien schwer zu durchdringen sind, bereiten wir diese pädagogisch auf, damit sich mehr Menschen in die Debatte um Machine Learning einbringen können.
Machine Learning wird als Lösung verkauft, um Hass aus dem Internet zu filtern. Aktuell ist jedoch nocht nicht klar, welche Aufgaben wir den Maschinen überlassen wollen. Damit es darüber eine gesellschaftliche Debatte gibt, müssen zuerst breite Teile der Bevölkerung die dahinter liegenden technischen Mechanismen verstehen.
In diesem Projekt werden Techniken des Natural Language Processing am Beispiel der automatisierten Identifikation von Hasskommentaren erklärt. Neben Grafiken und Text wird es einen interaktiven Teil geben, mit dem die Nutzer*innen live im Browser ein Machine-Learning-Verfahren nutzen. Durch die spielerische Aufbereitung werden Möglichkeiten aber auch Risiken erläutert.

Wie löst dein Projekt das Problem?

Das Projekt wird eine zweisprachige Webseite auf Deutsch und Englisch, die neben Grafiken und Erklärungstexten eine interaktive Komponente enthält. In diesem wird ein echtes Machine-Learning-Modell trainiert.
Mit Modell beschreibt man hier im Prinzip das “Gehirn”, welches lernen kann. Dazu muss man die Maschine zunächst mit Daten füttern, die bereits zuvor manuell annotiert wurden. Es gibt eine Vielzahl von offenen annotierten Datensätzen, die zur Wiederverwendung freigegeben sind. Die Leser*innen können live nachvollziehen, wie das Machine-Learning-Modell sich über die Zeit verbessert. Nach dem Training wird das Modell ausgeführt und man kann per Texteingabe überprüfen, mit welcher Wahrscheinlichkeit es den Text als Hasskommentar einordnet.
In der Welt des Machine Learning gibt es eine große Anzahl von Parametern, die man variieren kann, um die Fehlerquote der Zuordnung zu verringern. Die Benutzer*innen können hierzu zwischen verschiedenen Konfigurationen wählen und sehen die daraus folgenden Änderungen sogleich. Umgesetzt wird das Machine-Learning im Browser mit Tensorflow.js. Das Arbeiten mit Text ist im Vergleich relativ ressourcenarm, sodass man innerhalb weniger Minuten bzw. Sekunden brauchbare Ergebnisse bekommen kann.

An wen richtet sich dein Tool?

Die Webseite richtet sich an Menschen, die den aktuellen Hype um Machine Learning nachvollziehen wollen. Diese müssen explizit nicht “in der Materie stecken”, daher wird kein Wissen vorausgesetzt um die Seite nutzen zu können. Um sie zu erreichen wird versucht, die Arbeit via Twitter und Reddit und anderen Social Networks zu verbreiten.