Projektstatus: Im Einsatz

Hands-Free Phone

Wir machen Telefonieren barrierefrei.

#Runde12 #Diversität/Inklusion #Softwareinfrastruktur

Welche gesellschaftliche Herausforderung adressiert euer Prototyp?

Menschen mit Behinderungen werden in unserer Gesellschaft nachrangig behandelt. Es wird ihnen kaum Gehör geschenkt und ihre Bedürfnisse sind für die Mehrheitsgesellschaft häufig unbekannt. Menschen mit zum Beispiel einer körperlichen Behinderung erfahren die Welt zu einem Großteil über ihren Verstand. Dieser wird unter anderem durch digitale und analoge Medien oder durch soziale Kontakte stimuliert. Aktuell sind Tools, die die Barrieren zur Nutzung von digitalen Endgeräten abbauen, wie zum Beispiel Telefone und Smartphones, begrenzt. So kann die selbständige Bedienung eines Telefons oder das Navigieren durchs Internet sich als Hürde erweisen. Freie Teilhabe und das Pflegen von sozialen Kontakten ist somit nicht mehr möglich. Wir möchten dem entgegenwirken und entwickeln eine flexible, funktionsreiche und günstige Sprachsteuerung für Telefonate. Mit dem Projekt soll eine Lösung geschaffen werden, welche es der Zielgruppe ermöglicht, komfortabel Telefonate führen zu können – und somit soziale Teilhabe weiterhin ermöglicht. Aktuelle Lösungen weisen einige Nachteile auf, wie limitiertes Vokabular und  fehlende Sprachen oder die Möglichkeit, das Tool nur für ausgehende Telefonate anzuwenden. 

Wie geht ihr das Problem an?

Das Projekt wird Frameworks aus dem Bereich Machine Learning einsetzen, um erstens die Erkennung von natürlicher Sprache zu Text (Speech-To-Text – STT) und zweitens die Verarbeitung von natürlichen Texten zu Programmregeln (Natural Language Processing – NLP) zu ermöglichen. SST übernimmt die Aufgabe basierend auf einer Mikrofonaufnahme ein Schlüsselwort zu erkennen und in einem zweiten Schritt danach angefügte natürliche Sprache in einen Text zu übersetzen. Die Implementierung erfolgt in der Programmiersprache Python. Um die Telefonfunktion bereitzustellen, wird der Voice-over-IP (VoIP) Client baresip verwendet. 

An wen richtet sich euer Tool?

Die Zielgruppe sind Menschen mit Einschränkungen und Behinderungen, welche ein Telefon nicht mehr mit den Händen bedienen können, sich aber sprachlich noch klar ausdrücken können. Darüber hinaus sollen auch andere Personen erreicht werden, die durch die Sprachsteuerung Vorteile erhalten. Das könnten zum Beispiel Verwandte oder Freund*innen, aber auch Pflegepersonal sein.