Aplicación móvil traductor de señas para la población sordomuda en Colombia implementando técnicas machine learning, talk to hands

Para este proyecto, un sistema que traduce el lenguaje de señas a texto implementando inteligencia artificial, que permita a las personas con discapacidad auditiva que su única fuente de comunicación sea las señas puedan hablar con el resto de personas que no manejen este tipo de lenguaje. El sistem...

Full description

Autores:
Maldonado, Mauricio
Duran, Carla
Arteaga, Juan
Tipo de recurso:
Fecha de publicación:
2022
Institución:
Universidad del Norte
Repositorio:
Repositorio Uninorte
Idioma:
spa
OAI Identifier:
oai:manglar.uninorte.edu.co:10584/10577
Acceso en línea:
http://hdl.handle.net/10584/10577
Palabra clave:
Lenguaje de señas
Machine Learning
Inteligencia artificial
Rights
License
Universidad del Norte
id REPOUNORT2_c021da2d0f923d8bfc5ebbe8f9ff382d
oai_identifier_str oai:manglar.uninorte.edu.co:10584/10577
network_acronym_str REPOUNORT2
network_name_str Repositorio Uninorte
repository_id_str
dc.title.es_ES.fl_str_mv Aplicación móvil traductor de señas para la población sordomuda en Colombia implementando técnicas machine learning, talk to hands
Sign translator mobile application for the deaf-and-dumb population in Colombia implementing machine learning techniques, talk to hands
title Aplicación móvil traductor de señas para la población sordomuda en Colombia implementando técnicas machine learning, talk to hands
spellingShingle Aplicación móvil traductor de señas para la población sordomuda en Colombia implementando técnicas machine learning, talk to hands
Lenguaje de señas
Machine Learning
Inteligencia artificial
title_short Aplicación móvil traductor de señas para la población sordomuda en Colombia implementando técnicas machine learning, talk to hands
title_full Aplicación móvil traductor de señas para la población sordomuda en Colombia implementando técnicas machine learning, talk to hands
title_fullStr Aplicación móvil traductor de señas para la población sordomuda en Colombia implementando técnicas machine learning, talk to hands
title_full_unstemmed Aplicación móvil traductor de señas para la población sordomuda en Colombia implementando técnicas machine learning, talk to hands
title_sort Aplicación móvil traductor de señas para la población sordomuda en Colombia implementando técnicas machine learning, talk to hands
dc.creator.fl_str_mv Maldonado, Mauricio
Duran, Carla
Arteaga, Juan
dc.contributor.advisor.none.fl_str_mv Zurek, Eduardo
Nieto, Wilson
dc.contributor.author.none.fl_str_mv Maldonado, Mauricio
Duran, Carla
Arteaga, Juan
dc.subject.es_ES.fl_str_mv Lenguaje de señas
Machine Learning
Inteligencia artificial
topic Lenguaje de señas
Machine Learning
Inteligencia artificial
description Para este proyecto, un sistema que traduce el lenguaje de señas a texto implementando inteligencia artificial, que permita a las personas con discapacidad auditiva que su única fuente de comunicación sea las señas puedan hablar con el resto de personas que no manejen este tipo de lenguaje. El sistema requiere la imagen que luego pasa por el procesamiento de imágenes digitales y que finalmente realiza la traducción. El programa fue desarrollado en React native para el frontend, Python para el backend y la librería de TensorFlow que nos proporciona el kit de herramientas de inteligencia artificial con el reconocimiento de objetos que personalizamos para que reconociera el dataset con el banco de señas creado por el equipo. Para el desarrollo del dataset se utilizó el software LabelImg que nos proporciona eliminar el ruido alrededor de las imágenes y solo concentrarse en las señas. En la actualidad la tecnología que se ha desarrollado en los últimos años nos ha facilitado una gran cantidad de información tanto en calidad como en cantidad. La disponibilidad y facilidad de acceso a esta, ha facilitado las formas de innovar y la toma de decisiones de pequeños o grandes proyectos. Aunque existan estas alternativas actualmente, las personas con esta discapacidad aún dependen de que las demás personas manejen el lenguaje de señas para poder interactuar con ellas, es decir, si las demás personas no manejan este lenguaje de igual forma no podrán interactuar ni establecer comunicación de manera independiente, por esta razón sería conveniente sistematizar este proceso con el fin de permitir la comunicación entre las personas con discapacidad y las personas sin discapacidad independientemente de que conozca o no el lenguaje de señas
publishDate 2022
dc.date.accessioned.none.fl_str_mv 2022-06-10T19:31:13Z
dc.date.available.none.fl_str_mv 2022-06-10T19:31:13Z
dc.date.issued.none.fl_str_mv 2022-06-06
dc.type.es_ES.fl_str_mv article
dc.type.coar.fl_str_mv http://purl.org/coar/resource_type/c_6501
dc.identifier.uri.none.fl_str_mv http://hdl.handle.net/10584/10577
url http://hdl.handle.net/10584/10577
dc.language.iso.es_ES.fl_str_mv spa
language spa
dc.rights.es_ES.fl_str_mv Universidad del Norte
dc.rights.coar.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv Universidad del Norte
http://purl.org/coar/access_right/c_abf2
dc.publisher.es_ES.fl_str_mv Barranquilla, Universidad del Norte, 2022
institution Universidad del Norte
bitstream.url.fl_str_mv https://manglar.uninorte.edu.co/bitstream/10584/10577/4/license.txt
https://manglar.uninorte.edu.co/bitstream/10584/10577/3/Arquitectura%20fisica%20TalkToHands.jpeg
bitstream.checksum.fl_str_mv 8a4605be74aa9ea9d79846c1fba20a33
fd4dd7685ccf161533d2667407d5e906
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositorio Digital de la Universidad del Norte
repository.mail.fl_str_mv mauribe@uninorte.edu.co
_version_ 1812183119943434240
spelling Zurek, EduardoNieto, WilsonMaldonado, MauricioDuran, CarlaArteaga, Juan2022-06-10T19:31:13Z2022-06-10T19:31:13Z2022-06-06http://hdl.handle.net/10584/10577Para este proyecto, un sistema que traduce el lenguaje de señas a texto implementando inteligencia artificial, que permita a las personas con discapacidad auditiva que su única fuente de comunicación sea las señas puedan hablar con el resto de personas que no manejen este tipo de lenguaje. El sistema requiere la imagen que luego pasa por el procesamiento de imágenes digitales y que finalmente realiza la traducción. El programa fue desarrollado en React native para el frontend, Python para el backend y la librería de TensorFlow que nos proporciona el kit de herramientas de inteligencia artificial con el reconocimiento de objetos que personalizamos para que reconociera el dataset con el banco de señas creado por el equipo. Para el desarrollo del dataset se utilizó el software LabelImg que nos proporciona eliminar el ruido alrededor de las imágenes y solo concentrarse en las señas. En la actualidad la tecnología que se ha desarrollado en los últimos años nos ha facilitado una gran cantidad de información tanto en calidad como en cantidad. La disponibilidad y facilidad de acceso a esta, ha facilitado las formas de innovar y la toma de decisiones de pequeños o grandes proyectos. Aunque existan estas alternativas actualmente, las personas con esta discapacidad aún dependen de que las demás personas manejen el lenguaje de señas para poder interactuar con ellas, es decir, si las demás personas no manejan este lenguaje de igual forma no podrán interactuar ni establecer comunicación de manera independiente, por esta razón sería conveniente sistematizar este proceso con el fin de permitir la comunicación entre las personas con discapacidad y las personas sin discapacidad independientemente de que conozca o no el lenguaje de señasFor this project, a system that translates sign language into text by implementing artificial intelligence, which allows people with hearing disabilities to speak with other people who do not use this type of language, so that their only source of communication is signs. The system requires the image which then goes through digital image processing and finally performs the translation. The program was developed in React native for the frontend, Python for the backend and the TensorFlow library that provides us with the artificial intelligence toolkit with object recognition that we customize so that it recognizes the dataset with the bank of signs created by the user. equipment. For the development of the dataset, the LabelImg software was used, which allows us to eliminate the noise around the images and only concentrate on the signs. At present, the technology that has been developed in recent years has provided us with a large amount of information, both in quality and quantity. The availability and ease of access to it has facilitated the ways of innovating and making decisions for small or large projects. Although these alternatives currently exist, people with this disability still depend on other people to handle sign language to be able to interact with them, that is, if other people do not handle this language in the same way they will not be able to interact or establish communication independently, for this reason it would be convenient to systematize this process in order to allow communication between people with disabilities and people without disabilities regardless of whether or not they know sign languagespaBarranquilla, Universidad del Norte, 2022Universidad del Nortehttp://purl.org/coar/access_right/c_abf2Lenguaje de señasMachine LearningInteligencia artificialAplicación móvil traductor de señas para la población sordomuda en Colombia implementando técnicas machine learning, talk to handsSign translator mobile application for the deaf-and-dumb population in Colombia implementing machine learning techniques, talk to handsarticlehttp://purl.org/coar/resource_type/c_6501LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://manglar.uninorte.edu.co/bitstream/10584/10577/4/license.txt8a4605be74aa9ea9d79846c1fba20a33MD54ORIGINALArquitectura fisica TalkToHands.jpegArquitectura fisica TalkToHands.jpegArquitectura Físicaimage/jpeg63291https://manglar.uninorte.edu.co/bitstream/10584/10577/3/Arquitectura%20fisica%20TalkToHands.jpegfd4dd7685ccf161533d2667407d5e906MD5310584/10577oai:manglar.uninorte.edu.co:10584/105772022-06-10 14:31:13.804Repositorio Digital de la Universidad del Nortemauribe@uninorte.edu.coTk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=

Publicaciones similares