Panoptic Narrative Grounding
Sin autorización de uso
- Autores:
-
Gonzalez Osorio, Cristina Isabel
- Tipo de recurso:
- Trabajo de grado de pregrado
- Fecha de publicación:
- 2021
- Institución:
- Universidad de los Andes
- Repositorio:
- Séneca: repositorio Uniandes
- Idioma:
- eng
- OAI Identifier:
- oai:repositorio.uniandes.edu.co:1992/53470
- Acceso en línea:
- http://hdl.handle.net/1992/53470
- Palabra clave:
- Visión por computador
Procesamiento de lenguaje natural (Computación)
Computación semántica
Ingeniería
- Rights
- openAccess
- License
- http://creativecommons.org/licenses/by-nc-nd/4.0/
| id |
UNIANDES2_f05abfaf623bf92c02f13a0d6068435c |
|---|---|
| oai_identifier_str |
oai:repositorio.uniandes.edu.co:1992/53470 |
| network_acronym_str |
UNIANDES2 |
| network_name_str |
Séneca: repositorio Uniandes |
| repository_id_str |
|
| dc.title.eng.fl_str_mv |
Panoptic Narrative Grounding |
| title |
Panoptic Narrative Grounding |
| spellingShingle |
Panoptic Narrative Grounding Visión por computador Procesamiento de lenguaje natural (Computación) Computación semántica Ingeniería |
| title_short |
Panoptic Narrative Grounding |
| title_full |
Panoptic Narrative Grounding |
| title_fullStr |
Panoptic Narrative Grounding |
| title_full_unstemmed |
Panoptic Narrative Grounding |
| title_sort |
Panoptic Narrative Grounding |
| dc.creator.fl_str_mv |
Gonzalez Osorio, Cristina Isabel |
| dc.contributor.advisor.none.fl_str_mv |
Hernández Peñaloza, José Tiberio Arbeláez Escalante, Pablo Andrés |
| dc.contributor.author.none.fl_str_mv |
Gonzalez Osorio, Cristina Isabel |
| dc.subject.armarc.none.fl_str_mv |
Visión por computador Procesamiento de lenguaje natural (Computación) Computación semántica |
| topic |
Visión por computador Procesamiento de lenguaje natural (Computación) Computación semántica Ingeniería |
| dc.subject.themes.none.fl_str_mv |
Ingeniería |
| description |
Sin autorización de uso |
| publishDate |
2021 |
| dc.date.accessioned.none.fl_str_mv |
2021-11-03T16:23:46Z |
| dc.date.available.none.fl_str_mv |
2021-11-03T16:23:46Z |
| dc.date.issued.none.fl_str_mv |
2021 |
| dc.type.spa.fl_str_mv |
Trabajo de grado - Pregrado |
| dc.type.coarversion.fl_str_mv |
http://purl.org/coar/version/c_970fb48d4fbd8a85 |
| dc.type.driver.spa.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| dc.type.coar.spa.fl_str_mv |
http://purl.org/coar/resource_type/c_7a1f |
| dc.type.content.spa.fl_str_mv |
Text |
| dc.type.redcol.spa.fl_str_mv |
http://purl.org/redcol/resource_type/TP |
| format |
http://purl.org/coar/resource_type/c_7a1f |
| dc.identifier.uri.none.fl_str_mv |
http://hdl.handle.net/1992/53470 |
| dc.identifier.pdf.none.fl_str_mv |
24444.pdf |
| dc.identifier.instname.spa.fl_str_mv |
instname:Universidad de los Andes |
| dc.identifier.reponame.spa.fl_str_mv |
reponame:Repositorio Institucional Séneca |
| dc.identifier.repourl.spa.fl_str_mv |
repourl:https://repositorio.uniandes.edu.co/ |
| url |
http://hdl.handle.net/1992/53470 |
| identifier_str_mv |
24444.pdf instname:Universidad de los Andes reponame:Repositorio Institucional Séneca repourl:https://repositorio.uniandes.edu.co/ |
| dc.language.iso.none.fl_str_mv |
eng |
| language |
eng |
| dc.rights.uri.*.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/4.0/ |
| dc.rights.accessrights.spa.fl_str_mv |
info:eu-repo/semantics/openAccess |
| dc.rights.coar.spa.fl_str_mv |
http://purl.org/coar/access_right/c_abf2 |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/4.0/ http://purl.org/coar/access_right/c_abf2 |
| eu_rights_str_mv |
openAccess |
| dc.format.extent.none.fl_str_mv |
26 páginas |
| dc.format.mimetype.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidad de los Andes |
| dc.publisher.program.none.fl_str_mv |
Ingeniería de Sistemas y Computación |
| dc.publisher.faculty.none.fl_str_mv |
Facultad de Ingeniería |
| dc.publisher.department.none.fl_str_mv |
Departamento de Ingeniería de Sistemas y Computación |
| publisher.none.fl_str_mv |
Universidad de los Andes |
| institution |
Universidad de los Andes |
| bitstream.url.fl_str_mv |
https://repositorio.uniandes.edu.co/bitstreams/7f67e5df-1ee0-45a2-876a-be5971734e2a/download https://repositorio.uniandes.edu.co/bitstreams/2f0dc36a-ea17-4e88-ba06-a8205cf74ef6/download https://repositorio.uniandes.edu.co/bitstreams/f54037fe-e57b-4dfa-a44c-aa63cc071549/download |
| bitstream.checksum.fl_str_mv |
1d2fe96ec588e3b57de86694461fca52 d3b8abe126b0cb9ca1ad5e65c58dce21 7cd2cfd9aa8103911da851afe9b4fbde |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositorio institucional Séneca |
| repository.mail.fl_str_mv |
adminrepositorio@uniandes.edu.co |
| _version_ |
1808390169630343168 |
| spelling |
Al consultar y hacer uso de este recurso, está aceptando las condiciones de uso establecidas por los autores.http://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Hernández Peñaloza, José Tiberiovirtual::1646-1Arbeláez Escalante, Pablo Andrésvirtual::1647-1Gonzalez Osorio, Cristina Isabel7c6d9fe6-b634-4e56-b1cd-ec677ef9b6605002021-11-03T16:23:46Z2021-11-03T16:23:46Z2021http://hdl.handle.net/1992/5347024444.pdfinstname:Universidad de los Andesreponame:Repositorio Institucional Sénecarepourl:https://repositorio.uniandes.edu.co/Sin autorización de usoThis paper proposes Panoptic Narrative Grounding, a spatially fine and general formulation of the natural language visual grounding problem. We establish an experimental framework for the study of this new task, including new ground truth and metrics, and we propose a strong baseline method to serve as stepping stone for future work. We exploit the intrinsic semantic richness in an image by including panoptic categories, and we approach visual grounding at a fine-grained level by using segmentations. In terms of ground truth, we propose an algorithm to automatically transfer Localized Narratives annotations to specific regions in the panoptic segmentations of the MS COCO dataset. To guarantee the quality of our annotations, we take advantage of the semantic structure contained in WordNet to exclusively incorporate nouns that are grounded to a meaningfully related panoptic segmentation region. The proposed baseline achieves a performance of 59.9 absolute Average Recall points. This result is a suitable foundation to push the envelope further in the development of methods for Panoptic Narrative Grounding.Proponemos Panoptic Narrative Grounding, una formulación espacialmente fina y general del problema de grounding visual de lenguaje natural. Establecemos un marco experimental para el estudio de esta nueva tarea, que incluye nuevas métricas y anotaciones, y proponemos un método de referencia sólido que sirve como punto de partida para el trabajo futuro. Explotamos la riqueza semántica intrínseca de una imagen mediante la inclusión de categorías panópticas, y utilizamos un enfoque detallado al grounding visual mediante el uso de segmentaciones. En cuanto a las anotaciones, proponemos un algoritmo para transferir automáticamente anotaciones de narrativas localizadas a regiones específicas en las segmentaciones panópticas del conjunto de datos de MS COCO. Para garantizar la calidad de nuestras anotaciones, aprovechamos la estructura semántica contenida en WordNet para incorporar exclusivamente sustantivos que se basan en una región de segmentación panóptica significativamente relacionada. La línea de base propuesta logra un desempeño de 59,9 puntos de cobertura promedio absolutos. Este resultado es una base adecuada para ir más allá en el desarrollo de métodos para la tarea de Panoptic Narrative Grounding.Ingeniero de Sistemas y ComputaciónPregrado26 páginasapplication/pdfengUniversidad de los AndesIngeniería de Sistemas y ComputaciónFacultad de IngenieríaDepartamento de Ingeniería de Sistemas y ComputaciónPanoptic Narrative GroundingTrabajo de grado - Pregradoinfo:eu-repo/semantics/bachelorThesishttp://purl.org/coar/resource_type/c_7a1fhttp://purl.org/coar/version/c_970fb48d4fbd8a85Texthttp://purl.org/redcol/resource_type/TPVisión por computadorProcesamiento de lenguaje natural (Computación)Computación semánticaIngeniería201520019Publicationhttps://scholar.google.es/citations?user=-gUUc7oAAAAJvirtual::1646-1https://scholar.google.es/citations?user=k0nZO90AAAAJvirtual::1647-10000-0002-5035-4363virtual::1646-10000-0001-5244-2407virtual::1647-1https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000246689virtual::1646-1https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001579086virtual::1647-1ad318216-13a5-4de4-9d7f-e3ab42397d84virtual::1646-1b4f52d42-ce2a-4e74-a22f-e52a6bfbd48evirtual::1647-1ad318216-13a5-4de4-9d7f-e3ab42397d84virtual::1646-1b4f52d42-ce2a-4e74-a22f-e52a6bfbd48evirtual::1647-1TEXT24444.pdf.txt24444.pdf.txtExtracted texttext/plain61150https://repositorio.uniandes.edu.co/bitstreams/7f67e5df-1ee0-45a2-876a-be5971734e2a/download1d2fe96ec588e3b57de86694461fca52MD54ORIGINAL24444.pdfapplication/pdf2128235https://repositorio.uniandes.edu.co/bitstreams/2f0dc36a-ea17-4e88-ba06-a8205cf74ef6/downloadd3b8abe126b0cb9ca1ad5e65c58dce21MD51THUMBNAIL24444.pdf.jpg24444.pdf.jpgIM Thumbnailimage/jpeg7877https://repositorio.uniandes.edu.co/bitstreams/f54037fe-e57b-4dfa-a44c-aa63cc071549/download7cd2cfd9aa8103911da851afe9b4fbdeMD551992/53470oai:repositorio.uniandes.edu.co:1992/534702024-03-13 12:00:44.768http://creativecommons.org/licenses/by-nc-nd/4.0/restrictedhttps://repositorio.uniandes.edu.coRepositorio institucional Sénecaadminrepositorio@uniandes.edu.co |