Pamaxie – Content-Erkennung mit Sinn

Dawn Ruby wird mit ihrem Projekt Pamaxie in der 11. Runde des Prototype Fund gefördert. Hier erklärt sie, worum es dabei geht und woher die Idee stammt:

Stell dir vor, du bist auf einer öffentlich zugänglichen Online-Plattform unterwegs, in einer Facebook-Gruppe oder in einem Forum. Alle können darin posten, was sie wollen und du schreibst dort beispielsweise mit einer anderen Userin. Dann crasht jemand eure Unterhaltung, z. B. mit einem pornografischen Bild – für diese dritte Person ist ein Witz, du ärgerst dich oder bist vom Inhalt des Bildes sogar verstört. Oder sagen wir, Frank und Thomas unterhalten sich in einem Forum, Thomas erwähnt, dass er schwul ist und Frank postet dann ungefragt ein Dickpic, weil er der Meinung ist, das sei in diesem Kontext in Ordnung. Beide Beispiele wurden uns von Nutzer*innen berichtet. Es kommt regelmäßig vor, dass Menschen online sexuell belästigt werden oder mit ihren Phobien gespielt wird. Menschen wollen sich sicher fühlen – auch online. Dies wird erschwert, wenn die entsprechenden Policies von Firmen uneinheitlich und intransparent sind. Außerdem bleiben Bilder und andere Inhalte in einem Closed-Source-System potenziell für immer “für Trainingszwecke“ gespeichert.

Es geht auch anders

Mit Pamaxie wollen wir daran etwas ändern. Pamaxie ist ein Contentfilter und Content Detection System, das für Benutzer*innen und in Zusammenarbeit mit Benutzer*innen, Administrator*innen, Plattformbesitzern und Influencer*innen entwickelt wird. 

Uns ist es dabei wichtig, nicht einfach nur „Inhalte zu entfernen“ sondern dabei auch die Frage zu stellen: Ist das richtig? Gibt es beispielsweise kulturelle Unterschiede, die beachtet werden sollten? Sollte die Plattform hier entscheiden dürfen, ob dieser Inhalt unerwünscht ist? Wir sind überzeugt, dass Plattformen bestimmten Content unterbinden wollen. Dies sind zum Beispiel Symbole von Hate Speech wie Nazi-Symbole oder Symbole des Ku-Klux-Klans oder grafische Darstellungen wie Leichen und Pornographie. Darüber hinaus ist Pamaxie ein Service, der es Plattformentwickler*innen erlaubt, unabhängig von proprietären Diensten wie Amazon Web Services, Google Cloud oder Azure zu arbeiten. Unser Service kann selbst oder von uns gehostet werden und wir bieten ein großes Volumen an kostenlosen Scans an. Pamaxie ist eine Mission, das Internet sicherer zu gestalten.

Die Menschen, die momentan an Pamaxie arbeiten, haben alle große Discord-Server moderiert. Dazu gehörte, die Plattform sicherer zu machen und die Communities zu stärken. Eines Tages hatten wir ein Meetup mit dem Discord-Team bei der Gamescom, bei dem auch auf „Discord Bots“ zu sprechen kamen. Diese Bots erlauben es, Dinge in einen Discord-Server zu integrieren, aber auch die „Moderation“ durch Erkennungs- und Ticketsysteme zu erleichtern. Zu der Zeit gab es noch nicht viele Bots, und die, die es gab, kosteten teilweise Geld. Da dachten wir: „Das können wir besser – und sogar kostenlos.“ Also haben wir angefangen diese Systeme zu entwickeln. 

Erst setzten wir auf eine Bilderkennung bestehender Dienste, begannen aber bald damit, unsere eigene Software zu schreiben – die am Ende bessere Resultate lieferte. Wir waren erstaunt, wie einfach dies mit modernen Tools möglich war. Ab diesem Zeitpunkt haben wir uns dann auf die Erkennungssysteme unseres Bots fokussiert. Nach einiger Zeit wurden wir in einen Discord als „Entwickler und Forscher“ eingeladen, in dem die Diskussion über die Moderation der Plattform im Vordergrund steht. Im Gespräch mit den Moderator*innen auf dieser Plattform kam heraus, dass die meisten von ihnen gar keinen neuen Discord Bot mehr haben wollten. Das hat uns sehr erstaunt! Was sie jedoch wollten war eine API, die diese Dienste anbietet. Und da kam uns dann die Idee, die wir nun auch umsetzen: Wir wollten Onlineplattformen sicher machen – aber Discord war nicht die einzige Plattform und ein kostenloser Filter und Erkennungssysteme werden nicht nur dort gebraucht. Wir machten uns also daran, eine öffentliche API zu entwickeln, die einfach zu verwenden, nicht zu teuer, selbst hostbar und somit flexibel ist. Dies war aus unserer Sicht nur auf einem Wege möglich: Open Source. 

Wie wir an Pamaxie arbeiten

Wir arbeiten nun mit mehreren Entwickler*innen an Pamaxie, die fest daran glauben, dass wir als Softwareentwickler*innen die Welt verbessern können. Grundsätzlich versuchen wir, für Pamaxie nur öffentlich zugängliche Tools zu verwenden. Auch arbeiten wir nur mit Partnern, bei denen wir sichergehen können, dass Daten sicher sind – und hier bevorzugt mit deutschen Partnern wie dem Hostingdienst Hetzner.

Außerdem haben wir uns einer Open-Source-Philosophie verschrieben, die beispielsweise diese Punkte beinhaltet: Jeder Mensch kann einen Beitrag leisten. Wir erlauben keine Diskriminierung. Insofern ein*e Benutzer*in gewillt ist zu lernen, sind wir gewillt ihr*ihm das Problem zu erklären. Alle Teile unserer Software, inklusive unseres Datasets, sind zugänglich – das Dataset wird jedoch nur an Partner*innen ausgegeben, die das Projekt unterstützen wollen und nicht ihre eigenen Produkte bereichern. Mithilfe dieser Philosophie wollen wir sicherstellen, mit Pamaxie ein sicheres, faires und für möglichst viele Menschen nützliches Tool zu entwickeln.

Hier geht es zur Website von Pamaxie: https://pamaxie.com/.