CTRLABILITY – Kontroller für Menschen mit motorischen Einschränkungen

Welche gesellschaftliche Herausforderung adressiert euer Prototyp?

Viele herkömmliche Inputmethoden für Computer sind nicht barrierefrei. Menschen mit motorischen Einschränkungen können bei der Benutzung von Mäusen, Tastaturen oder Game-Controllern große Hürden erfahren. Das bedeutet für die Betroffenen oft eine Einschränkung bei der digitalen Teilhabe – sie können nicht wie andere mit digitalen Medien interagieren oder über diese kommunizieren. Das Projekt nutzt die Kombination von Mikrofon und Webcam, um Gesten, Bewegungen und Sprachbefehle in Steuerungsbefehle für einen Computer zu übersetzen. Dadurch werden Barrieren zwischen Patient*innen und medizinischem Personal abgebaut und neue therapeutische Ansätze können entwickelt oder unterstützt werden.

Wie geht ihr das Problem an?

Das Projekt wandelt Bewegungen, Gesten und Sprachbefehle in Maus- , Tastatur- und Gamepadfunktionen um. Die Anwendung ist plattformübergreifend nutzbar, damit möglichst viele Personen davon profitieren können. Für die Bewegungserkennung in Echtzeit wird das MediaPipe Framework eingebunden, da hiermit eine präzise Bewegungserkennung und -analyse des Skelettes, der Hand, des Gesichtes und der Iris mit einer regulären Webcam möglich ist. Die Echtzeit-Spracherkennung geschieht offline via Whisper, Vosk oder DeepSpeech. Für die Zuweisung der Bewegungen und Gesten zu den Tastatur- und Mausbefehlen wird eine intuitive Mapping-Umgebung entwickelt, damit Nutzer*innen je nach Einschränkung der motorischen Fähigkeiten eine individualisierte Konfiguration vornehmen können. Für die programmatische Steuerung der Tastatur und Maus wird PyAutoGUI genutzt.

An wen richtet sich euer Tool?

Das Projekt richtet sich an Patient*innen mit neurologischen Erkrankungen und einer damit einhergehenden eingeschränkten motorischen Fähigkeit sowie generell Menschen mit motorischen Einschränkungen. Dies können zum Beispiel Patient*innen mit Schlaganfall oder Schädel-Hirn-Trauma sein.