Estudiantes de Ingeniería de Sistemas de Uninorte crean aplicación móvil que traduce lenguaje de señas

0
11
Los estudiantes Juan Carlos Arteaga, Carla Duran y Mauricio Maldonado.

Con el objetivo de aportar a la inclusión de las personas con discapacidad auditiva y del habla en cualquier ámbito, Carla Durán, Mauricio Maldonado y Juan Carlos Arteaga, estudiantes próximos a egresar del programa de Ing. De Sistemas y Computación, desarrollaron Talk to Hands (Hablar con las manos),la primera aplicación móvil que permite la traducción en tiempo real del lenguaje de señas mediante Inteligencia Artificial (IA).

La idea de crear algún servicio o aplicativo que pudiera aportar a la inclusión y a la sociedad rondaba la mente de este grupo de compañeros desde que estaban en primer semestre, pero fue en el último que decidieron lanzarse a crear.

“Siempre dijimos que queríamos dejar nuestro granito de arena en la sociedad, pero las cosas se nos empezaron a dar ya en nuestro último semestre, en la materia de Proyecto de Grado y bueno, para hacer la aplicación decidimos basarnos e inspirarnos en dos situaciones: la primera es buscar una sociedad más inclusiva y abierta, en la que todos tengamos cabida. Y pues la segunda fuente de inspiración fue mi tía, quién presenta esta condición y pues tomando su ejemplo de vida nos aventuramos en esto”, explica Carla.

Para ellos, crear este aplicativo presentó un gran reto, ya que les tocó aprender de cero el lenguaje de señas colombiano, el cual no es universal.

“Haciendo la investigación aprendimos que el lenguaje de señas no es el mismo en todos lados, es decir, este se adapta al contexto y lugar en el que se va a utilizar. En ese sentido, nosotros aprendimos parte del lenguaje de señas colombiano y desarrollamos este aplicativo teniendo en cuenta eso”, puntualiza Mauricio.

Luego de familiarizarse y conocer un poco más el lenguaje de señas, procedieron a crear un Data Set de imágenes (un banco de imágenes digital) con las palabras y señas del lenguaje de señas, y así entrenar la IA para que pudiera reconocerlas y realizar la traducción adecuada.

“En esta parte del proyecto, utilizamos una librería que tiene el lenguaje de programación Python que se llama TensorFlow, el cual es especializado para detección de objetos.

En este caso, lo usamos para que detectara las palabras y señas del Data Set. Así es como dentro de la app, la IA puede traducir las señas”, explica Mauricio.

Actualmente, el aplicativo se encuentra en la fase prototipo, el cual es 100% funcional. “Ya la aplicación funciona totalmente y contamos ahora mismo con un porcentaje de acierto de alrededor del 70%.

La idea es que la aplicación cuente con el apoyo de organizaciones e instituciones especializadas en lenguaje de señas, para que así podamos nutrir el Data Set y aumente el porcentaje de acierto en un 100%”, enfatiza Juan Carlos.

Fuente: Universidad del Norte