Reconocimiento del abecedario de la lengua de señas colombiana con Redes Neuronales Convolucionales

El lenguaje de señas brinda un sistema para que las personas con discapacidad oral/auditiva se comuniquen efectivamente. Sin embargo, aún falta para que el resto de la sociedad se apropie de este conocimiento. Este trabajo consiste en diseñar un método de visión artificial que identifique las señas...

Full description

Autores:
Suat Rojas, Néstor E.
Montoya Serna, Brayan S.
Pinzón Velásquez, Edward M.
Rodríguez Galeano, Oscar S.
Tipo de recurso:
Article of journal
Fecha de publicación:
2021
Institución:
Universidad de los Llanos
Repositorio:
Repositorio Digital Universidad de los LLanos
Idioma:
spa
OAI Identifier:
oai:repositorio.unillanos.edu.co:001/4004
Acceso en línea:
https://repositorio.unillanos.edu.co/handle/001/4004
https://doi.org/10.22579/20112629.680
Palabra clave:
Colombian sign language
convolutional neural network
image processing
machine learning
aprendizaje automático
lengua de señas colombiana
procesamiento de imágenes
red neuronal convolucional
aprendizado de máquina
língua de sinais colombiana
processamento de imagem
rede neural convolucional
Rights
openAccess
License
http://creativecommons.org/licenses/by-nc/4.0
Description
Summary:El lenguaje de señas brinda un sistema para que las personas con discapacidad oral/auditiva se comuniquen efectivamente. Sin embargo, aún falta para que el resto de la sociedad se apropie de este conocimiento. Este trabajo consiste en diseñar un método de visión artificial que identifique las señas estáticas del abecedario de la Lengua de Señas Colombiana (LSC). La metodología consiste en un algoritmo de clasificación que combina una arquitectura de Redes Neuronales Convolucionales (CNN) y técnicas de procesamiento de imágenes. Nuestro enfoque logra reconocer las señas del alfabeto sin movimiento con un 79.2% de exactitud. El sistema es capaz de reconocer las letras según la forma, orientación y posición de los dedos de la mano, usando un conjunto de datos desbalanceado por clase.