Aplicació de la lectura de llavis automatitzada a l'accessibilitat: escriptura per imatge

En els darrers anys, els avenços significatius en la intel·ligència artificial han obert noves vies per a promoure la diversitat i la integració a la societat. Aquests progressos han proporcionat eines potents que es poden utilitzar juntament amb les tecnologies existents per desenvolupar solucions innovadores en suport de les persones amb divergències funcionals. Tanmateix, encara existeixen llacunes en matèria d'accessibilitat, i una àrea que requereix atenció és la de l'escriptura per veu. Encara que l'escriptura per veu ha facilitat la comunicació escrita a aquelles persones que no poden utilitzar les mans, depèn de la capacitat de parlar. Això suposa un repte per a les persones que no poden vocalitzar i quan s'enfronten situacions en les que parlar és poc pràctic o implica informació sensible. Per superar aquest problema i permetre una comunicació escrita inclusiva, aquest treball de fi de grau proposa una solució que aplica la lectura de llavis automatitzada. L'enfoc que es proposa introdueix una aplicació anomenada LipTyp, que permet l'escriptura silenciosa de veu en un ordinador només comptant amb una webcam com a hardware addicional. Encara que el software de reconeixement de veu visual disponible en l'actualitat no compleix els requisits necessaris per tal que l'aplicació resulti completament funcional, diverses investigacions han demostrat una precisió suficient en la transcripció sobre la marxa. L'objectiu principal d'aquest projecte és demostrar la viabilitat de l'escriptura silenciosa a través del desenvolupament de LipTyp, una eina d'accessibilitat de dictat per veu silenciós. Malgrat que la rapidesa i la precisió de l'aplicació encara no són òptimes, aquesta s'ha provat usable amb èxit per persones amb problemes de mobilitat, com s'ha confirmat mitjançant proves amb un pacient real. A més, aquest treball pretén incentivar la investigació en el camp de l'accessibilitat dins la informàtica.
In recent years, significant advancements in artificial intelligence have opened new avenues for promoting diversity and integration in society. These breakthroughs have provided powerful tools that can be utilized alongside existing technologies to develop innovative solutions in support of individuals with functional divergences. However, accessibility gaps persist, and one area that requires attention is voice typing. While voice typing has facilitated written communication for individuals who cannot use their hands, it relies on the ability to speak. This presents a challenge for individuals unable to vocalize or when facing situations where speaking is impractical or involves sensitive information. To overcome this issue and enable inclusive written communication, this thesis proposes a solution by leveraging automated lip reading. The proposed approach introduces an application called LipTyp, which enables silent speech typing on a computer with only a webcam as additional hardware. While currently available visual recognition software does not meet the requirements for the application to be fully functional, various research studies have demonstrated sufficient accuracy in on-the-fly transcription. The primary objective of this project is to demonstrate the feasibility of silent speech typing through the development of LipTyp, a silent-voice-typing accessibility tool. Although the application's speed and accuracy are not yet optimal, it has been successfully proven usable by individuals with mobility impairments, as confirmed through testing with a real patient. Furthermore, this work seeks to encourage further research in the field of accessibility within computer science.