Algoneer: Toolkit for Analyzing and Breaking AI-Systems

Welches Problem willst du mit Deinem Projekt lösen?

Algorithmische Systeme sind nur schwer zu verstehen und zu testen, selbst für ihre Entwickler*innen.
Das Team von Algoneer baut deshalb an einem Toolkit, mit dem man AI-Systeme systematisch und kollaborativ analysieren (und kaputtmachen) kann.
Die Software wird pluginbasiert Methoden für White- & Blackbox-Testing von AI-Systemen bieten. Es soll damit u.a. möglich sein, algorithmische Systeme auf Fairness und Robustheit zu untersuchen und algorithmische Verfahren zu reverse-engineeren.
Das Tool ermöglicht es Potenzial Algorithmen sicherer, nachvollziehbarer und „besser“ zu machen.
Die Verfahren dafür sollen als Plugins einfach geteilt und kollaborativ genutzt werden können.
Aktuell gibt es viele Ansätze in der Forschung für die Untersuchung von Algorithmen, genutzt werden sie aber fast nie da sie schwer umzusetzen sind. Das wollen wir ändern! Wir wollen damit die Diskussion um Algorithmen etwas sachlicher machen und den Hype entzaubern.

Wie löst dein Projekt das Problem?

Das Projekt soll aus einem Analyse-Backend, basierend auf Python und Docker, sowie einem Frontend basierend auf React.js bestehen und kollaboratives Arbeiten unterstützen.
Plugins für die Analyse von Algorithmen können so als Docker-Images realisiert werden, entsprechende langlaufende Prozesse (die zur Analyse notwendig sind) können über ein Workflow-System ausgeführt werden. Algorithmen brauchen eine Laufzeitumgebung,die nicht einfach herzustellen ist. Container sind allerdings eine gute und zuverlässige Lösung.
Einzelne Analyse-„Rezepte“ können über YAML-Dateien definiert werden.
Das Frontend soll ein einfaches, standardisiertes Interface für die Analyse-Plugins bieten- und kann über einen HTTP-Proxy mit den Containern im Backend kommunizieren, um beispielsweise über APIs Daten von Containern anzufordern oder Befehle zu senden. Die Container können auch eigene Frontend-Komponenten definieren, die im Frontend einem iframe ausgeliefert werden können. Man soll Datensätze und Algorithmen auswählen können und diese dann mit verschiedenen Black- & Whitebox-Methoden (je nachdem, was anwendbar ist) testen können.
Diese Analyse-Ergebnisse sollen im Frontend visuell einfach aufbereitet und erklärt werden.

An wen richtet sich dein Tool?

Mit dem Toolset soll es erleichtert werden, Algorithmen anhand verschiedenster Kriterien zu testen und zu untersuchen–und das sowohl für die Entwickler, Forscher als auch für von algorithmischer Governance Betroffenen.