Answering Anya: Un juego de realidad virtual y mixta centrado en el proceso de nurturing usando eye/gaze tracking, inteligencia artificial y detección de objetos

Este proyecto presenta un juego de realidad virtual y mixta centrado en el proceso de acompañamiento durante la etapa de desarrollo infantil, conocido como “nurturing”. Específicamente, se enfoca en la etapa de curiosidad que los niños manifiestan cuando comienzan a hablar y a cuestionar su entorno. El juego propone una dinámica de preguntas y respuestas en la que el usuario debe responder de manera satisfactoria las inquietudes de Anya, el personaje principal, para que avance en una tarea sencilla (elaborar un dibujo) dentro de un límite de tiempo determinado (cinco minutos). Para su implementación, se utilizó Unity como motor de juego, asegurando su funcionalidad en dispositivos como HoloLens 2, Meta Quest 3, Meta Quest Pro y VIVE Pro Eye para un ambiente virtual controlado, así como en HoloLens 2 y Meta Quest 3 para un ambiente no controlado. Además, se hizo uso de Amazon Rekognition para la detección de objetos, junto con un servidor local para la gestión de la comunicación entre los dispositivos y el servicio de reconocimiento de objetos. Amazon Polly se empleó para la generación de preguntas mediante audio, Eden AI para la transcripción y generación de audios estáticos, OpenAI para la creación de preguntas y la calificación de respuestas, y Mixamo como fuente de recursos 3D para la implementación del modelo y las animaciones. Este esfuerzo académico implementa un modelo educativo que resalta la importancia de las buenas prácticas en la crianza, a través de la representación del impacto de las decisiones de un cuidador en la salud emocional de un infante, utilizando tecnología de vanguardia y las competencias adquiridas en el pregrado de Ingeniería de Sistemas y Computación de la Universidad de Los Andes. La organización en GitHub, donde se encuentra el proyecto, puede ser accedida mediante el siguiente enlace https://github.com/2024-10-XR-Thesis. Video de demostración de la ejecución del proyecto en el siguiente enlace https://youtu.be/FOOFyzA17qE.

• Autores: Fuentes Triviño, José Daniel; Restrepo Palomino, Laura María; Reyes Rincón, Boris Nicolás; Sánchez Alvarez, Ricardo Andrés
• Tipo de recurso: Trabajo de grado de pregrado
• Fecha de publicación: 2024
• Institución: Universidad de los Andes
• Repositorio: Séneca: repositorio Uniandes
• Idioma: spa
• OAI Identifier: oai:repositorio.uniandes.edu.co:1992/75148
• Acceso en línea: https://hdl.handle.net/1992/75148
• Palabra clave: Juego; IA; Reconocimiento de Imagenes; XR; VR; Nurturing; Ingeniería
• Rights: openAccess
• License: Attribution-NonCommercial 4.0 International