Interfaz gestual para el control de un robot humanoide con una cámara RGB-d

La divulgación científica, cuya finalidad es hacer accesible la ciencia al público en general, es una tarea que cada vez está tomando mayor relevancia. Este proyecto trata el estudio de dos campos de investigación atractivos para el público en general y con muchos resultados interesantes en los últimos años, como son la robótica y la visión por computador. En particular, el proyecto se centra en el uso del dispositivo Kinect como interfaz para la interacción con el robot RoboNova-1, y en el diseño de una actividad basada en ello para utilizar como taller de divulgación científica. La aparición del sensor Kinect ha supuesto una revolución en el campo de la visión por computador y de la robótica, por las posibilidades que ofrece el mapa de profundidad capturado (imagen aumentada con información de distancia a la cámara del elemento representado en cada píxel) y por su bajo coste. Gracias al mapa de profundidad que Kinect aporta en tiempo real, se facilita mucho el trabajo de reconocimiento y segmentación de objetos en 3D. Esta característica facilita la segmentación de las distintas partes de una persona enfrente de la cámara, convirtiendo la kinect en un dispositivo muy apto para crear interfaces con gestos. El objetivo general del proyecto es la implementación de un interfaz gestual, mediante cámaras RGB-d, con un robot humanoide y diseñar con ello una actividad orientada a la divulgación de la robótica y la inteligencia artificial para niños y jóvenes. En el proceso de desarrollo podemos distinguir dos partes importantes, que son el reconocimiento de los gestos y la comunicación con el robot humanoide. Para el reconocimiento de los gestos se usa la imagen con información 3D captada por la cámara RGB-d para identificar y segmentar donde esta el usuario de la aplicación. La figura de la persona nos sirve para crear una estructura de esqueleto que captará los movimientos de la persona y en los brazos se seleccionan las zonas que determinarán las manos en 3D. Posteriormente este subconjunto de puntos en 3D se proyecta en blanco sobre una imagen negra, obteniendo la mano en 2D. Tras el filtrado del ruido, estas imágenes serán utilizadas por los métodos de clasificación para determinar a que gesto pertenece cada captura. El robot RoboNova-1 dispone de un software propio para su programación desde Windows. Esta aplicación nos permitirá introducir programas y secuencias de movimiento en la memoria interna del robot utilizando el programa RoboBasic. La comunicación con el robot se realizará mediante un módulo diseñado para otro robot, por lo que hubo que adaptarlo a las especificaciones de protocolos de comunicación utilizados por el chip MR-C3024 del RoboNova-1. La aplicación desarrollada se divide en dos bloques. El primero contiene las aplicaciones que nos servirán para capturar los datos necesarios en el entrenamiento de los métodos de clasificación de gestos. En el segundo bloque encontramos la aplicación principal que hará uso del interfaz gestual y con la que se evaluará el rendimiento de los métodos de clasificación. Una vez desarrollado el interfaz se preparó un taller que se llevó a cabo durante la celebración de la “V Semana de la ingeniería y arquitectura”. En él participaron estudiantes desde 3º de ESO hasta 2º de Bachiller. Durante una demostración se les explicó el funcionamiento del sistema y posteriormente fue probado por los estudiantes. Se obtuvo un buen resultado en el funcionamiento y buena aceptación entre los asistentes.