Sign2me er baseret på

AI og Deep Learning

Hvordan bruger

du app’en?

App’en bygger på kunstig intelligens. Når app’en oversætter tegnsprog til tale, er det gennem billeder. Man filmer sig selv, mens man taler tegnsprog og tegnene bliver opfanget af telefonens kamera. Ved hjælp af kunstig intelligens omsætter app’en tegnene til tale, der kommer og af telefonens højtaler. Omvendt oversætter app’en også tale til tegnsprog. Med telefonens mikrofon indtaler man sætninger, som app’en oversætter. Tegnene bliver vist på telefonens skærm af en avatar.

Sign2me bliver lavet med deep learning, der er en undergren af kunstig intelligens, der gør en computer – i dette tilfælde din telefon – i stand til at analysere og genkende visuelle atomer – i vores tilfælde de videoer, man optager, når man bruger tegnsprog. Med tiden vil app’en analysere den semantiske forklaring, og i sidste ende oversætter den de visuelle tegn til tale. Det betyder, at app’ens hukommelse i starten er helt ren. Som man fodrer computeren med eksempler på tegnsprog og tale, giver man den data, så den med tiden lærer algoritmen selv.

Teknologien bag Sign2me