Dynamic multimodal object segmentation based on natural language referring expressions and its applications

"En este documento de tesis se propone un modelo de Aprendizaje Profundo para resolver la tarea de segmentación de objetos basada en expresiones referidas descritas a través de lenguaje natural. El modelo se encuentra basado en principios del estado del arte, los cuales son combinados para obte...

Full description

Autores:
Margffoy Tuay, Edgar Andrés
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2018
Institución:
Universidad de los Andes
Repositorio:
Séneca: repositorio Uniandes
Idioma:
eng
OAI Identifier:
oai:repositorio.uniandes.edu.co:1992/40152
Acceso en línea:
http://hdl.handle.net/1992/40152
Palabra clave:
Sistemas multimedia
Visión artificial
Procesamiento de lenguaje natural (Computación)
Procesamiento de imágenes
Video digital
Sistemas de reconocimiento de configuraciones
Ingeniería
Rights
openAccess
License
http://creativecommons.org/licenses/by-nc-nd/4.0/
id UNIANDES2_9b440e0c777ca7b2839863343f85d818
oai_identifier_str oai:repositorio.uniandes.edu.co:1992/40152
network_acronym_str UNIANDES2
network_name_str Séneca: repositorio Uniandes
repository_id_str
dc.title.es_CO.fl_str_mv Dynamic multimodal object segmentation based on natural language referring expressions and its applications
title Dynamic multimodal object segmentation based on natural language referring expressions and its applications
spellingShingle Dynamic multimodal object segmentation based on natural language referring expressions and its applications
Sistemas multimedia
Visión artificial
Procesamiento de lenguaje natural (Computación)
Procesamiento de imágenes
Video digital
Sistemas de reconocimiento de configuraciones
Ingeniería
title_short Dynamic multimodal object segmentation based on natural language referring expressions and its applications
title_full Dynamic multimodal object segmentation based on natural language referring expressions and its applications
title_fullStr Dynamic multimodal object segmentation based on natural language referring expressions and its applications
title_full_unstemmed Dynamic multimodal object segmentation based on natural language referring expressions and its applications
title_sort Dynamic multimodal object segmentation based on natural language referring expressions and its applications
dc.creator.fl_str_mv Margffoy Tuay, Edgar Andrés
dc.contributor.advisor.none.fl_str_mv Hernández Peñaloza, José Tiberio
Arbeláez Escalante, Pablo Andrés
dc.contributor.author.none.fl_str_mv Margffoy Tuay, Edgar Andrés
dc.subject.keyword.es_CO.fl_str_mv Sistemas multimedia
Visión artificial
Procesamiento de lenguaje natural (Computación)
Procesamiento de imágenes
Video digital
Sistemas de reconocimiento de configuraciones
topic Sistemas multimedia
Visión artificial
Procesamiento de lenguaje natural (Computación)
Procesamiento de imágenes
Video digital
Sistemas de reconocimiento de configuraciones
Ingeniería
dc.subject.themes.none.fl_str_mv Ingeniería
description "En este documento de tesis se propone un modelo de Aprendizaje Profundo para resolver la tarea de segmentación de objetos basada en expresiones referidas descritas a través de lenguaje natural. El modelo se encuentra basado en principios del estado del arte, los cuales son combinados para obtener un nuevo modelo que cuenta con un rendimiento superior en las bases de datos de referencia existentes para el problema. Adicionalmente se propone una aplicación móvil, junto a una arquitectura de distribución para demostrar las capacidades del modelo en tareas del mundo real." -- Tomado del Formato de Documento de Grado
publishDate 2018
dc.date.issued.none.fl_str_mv 2018
dc.date.accessioned.none.fl_str_mv 2020-06-10T16:53:56Z
dc.date.available.none.fl_str_mv 2020-06-10T16:53:56Z
dc.type.spa.fl_str_mv Trabajo de grado - Pregrado
dc.type.coarversion.fl_str_mv http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.driver.spa.fl_str_mv info:eu-repo/semantics/bachelorThesis
dc.type.coar.spa.fl_str_mv http://purl.org/coar/resource_type/c_7a1f
dc.type.content.spa.fl_str_mv Text
dc.type.redcol.spa.fl_str_mv http://purl.org/redcol/resource_type/TP
format http://purl.org/coar/resource_type/c_7a1f
dc.identifier.uri.none.fl_str_mv http://hdl.handle.net/1992/40152
dc.identifier.pdf.none.fl_str_mv u807883.pdf
dc.identifier.instname.spa.fl_str_mv instname:Universidad de los Andes
dc.identifier.reponame.spa.fl_str_mv reponame:Repositorio Institucional Séneca
dc.identifier.repourl.spa.fl_str_mv repourl:https://repositorio.uniandes.edu.co/
url http://hdl.handle.net/1992/40152
identifier_str_mv u807883.pdf
instname:Universidad de los Andes
reponame:Repositorio Institucional Séneca
repourl:https://repositorio.uniandes.edu.co/
dc.language.iso.es_CO.fl_str_mv eng
language eng
dc.rights.uri.*.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.rights.accessrights.spa.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.spa.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.extent.es_CO.fl_str_mv 82 hojas
dc.format.mimetype.es_CO.fl_str_mv application/pdf
dc.publisher.es_CO.fl_str_mv Universidad de los Andes
dc.publisher.program.es_CO.fl_str_mv Ingeniería de Sistemas y Computación
dc.publisher.faculty.es_CO.fl_str_mv Facultad de Ingeniería
dc.publisher.department.es_CO.fl_str_mv Departamento de Ingeniería de Sistemas y Computación
dc.source.es_CO.fl_str_mv instname:Universidad de los Andes
reponame:Repositorio Institucional Séneca
instname_str Universidad de los Andes
institution Universidad de los Andes
reponame_str Repositorio Institucional Séneca
collection Repositorio Institucional Séneca
bitstream.url.fl_str_mv https://repositorio.uniandes.edu.co/bitstreams/5f2785bb-dab0-4126-9b8c-b6431f7ec0cb/download
https://repositorio.uniandes.edu.co/bitstreams/696eacb7-d969-4956-81f5-988a8935b622/download
https://repositorio.uniandes.edu.co/bitstreams/ceb31d7f-a8ba-45f3-8fcc-4fa403955c04/download
bitstream.checksum.fl_str_mv 546140330591e7e36c03bcd835b40b4e
cbaf246a0ae95871c0279e4034acb188
5d2d924a26f0fca4366901e86c135101
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositorio institucional Séneca
repository.mail.fl_str_mv adminrepositorio@uniandes.edu.co
_version_ 1812134073943982080
spelling Al consultar y hacer uso de este recurso, está aceptando las condiciones de uso establecidas por los autores.http://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Hernández Peñaloza, José Tiberiovirtual::17214-1Arbeláez Escalante, Pablo Andrésvirtual::17215-1Margffoy Tuay, Edgar Andrés45ac0bb0-56d2-4f65-93bd-438dad6dad495002020-06-10T16:53:56Z2020-06-10T16:53:56Z2018http://hdl.handle.net/1992/40152u807883.pdfinstname:Universidad de los Andesreponame:Repositorio Institucional Sénecarepourl:https://repositorio.uniandes.edu.co/"En este documento de tesis se propone un modelo de Aprendizaje Profundo para resolver la tarea de segmentación de objetos basada en expresiones referidas descritas a través de lenguaje natural. El modelo se encuentra basado en principios del estado del arte, los cuales son combinados para obtener un nuevo modelo que cuenta con un rendimiento superior en las bases de datos de referencia existentes para el problema. Adicionalmente se propone una aplicación móvil, junto a una arquitectura de distribución para demostrar las capacidades del modelo en tareas del mundo real." -- Tomado del Formato de Documento de Grado"The first part of this dissertation introduces a novel Deep Learning model that merges both visual and language information in a recurrent fashion by fusing Language Features, such as Word Embed- dings and higher-dimensional representations obtained by training a Recurrent Neural model over the referring expression with low resolution visual convolutional features extracted by means of a Convolutional Neural Network (CNN) on the channel dimension of the latter one. As a novel con- tribution, the model takes into account a set of filters derived directly from the expression, whose convolutional response is directly related to different image features, such as spatial localization and color references that reinforce and improve the overall method performance accuracy. Finally, the upsampling step from low resolution to high resolution of the combined features takes advantage of the multiple resolution feature maps generated by the CNN." -- Tomado del Formato de Documento de GradoIngeniero de Sistemas y ComputaciónPregrado82 hojasapplication/pdfengUniversidad de los AndesIngeniería de Sistemas y ComputaciónFacultad de IngenieríaDepartamento de Ingeniería de Sistemas y Computacióninstname:Universidad de los Andesreponame:Repositorio Institucional SénecaDynamic multimodal object segmentation based on natural language referring expressions and its applicationsTrabajo de grado - Pregradoinfo:eu-repo/semantics/bachelorThesishttp://purl.org/coar/resource_type/c_7a1fhttp://purl.org/coar/version/c_970fb48d4fbd8a85Texthttp://purl.org/redcol/resource_type/TPSistemas multimediaVisión artificialProcesamiento de lenguaje natural (Computación)Procesamiento de imágenesVideo digitalSistemas de reconocimiento de configuracionesIngenieríaPublicationhttps://scholar.google.es/citations?user=-gUUc7oAAAAJvirtual::17214-1https://scholar.google.es/citations?user=k0nZO90AAAAJvirtual::17215-10000-0002-5035-4363virtual::17214-10000-0001-5244-2407virtual::17215-1https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000246689virtual::17214-1https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001579086virtual::17215-1ad318216-13a5-4de4-9d7f-e3ab42397d84virtual::17214-1b4f52d42-ce2a-4e74-a22f-e52a6bfbd48evirtual::17215-1ad318216-13a5-4de4-9d7f-e3ab42397d84virtual::17214-1b4f52d42-ce2a-4e74-a22f-e52a6bfbd48evirtual::17215-1ORIGINALu807883.pdfapplication/pdf27837624https://repositorio.uniandes.edu.co/bitstreams/5f2785bb-dab0-4126-9b8c-b6431f7ec0cb/download546140330591e7e36c03bcd835b40b4eMD51THUMBNAILu807883.pdf.jpgu807883.pdf.jpgIM Thumbnailimage/jpeg7671https://repositorio.uniandes.edu.co/bitstreams/696eacb7-d969-4956-81f5-988a8935b622/downloadcbaf246a0ae95871c0279e4034acb188MD55TEXTu807883.pdf.txtu807883.pdf.txtExtracted texttext/plain87071https://repositorio.uniandes.edu.co/bitstreams/ceb31d7f-a8ba-45f3-8fcc-4fa403955c04/download5d2d924a26f0fca4366901e86c135101MD541992/40152oai:repositorio.uniandes.edu.co:1992/401522024-03-13 15:57:33.867http://creativecommons.org/licenses/by-nc-nd/4.0/open.accesshttps://repositorio.uniandes.edu.coRepositorio institucional Sénecaadminrepositorio@uniandes.edu.co