Utilidad de grandes modelos de lenguaje (LLM) como asistentes de seguridad
En el presente proyectó se buscó evaluar la utilidad de ChatGPT para responder correctamente preguntas relacionadas con la temática de seguridad de la información. En particular, se trató de evaluar si es viable pensar en automatizar procesos de consulta en seguridad de la información usando los mod...
- Autores:
-
Bravo Yaguchi, Andrés Takashi
- Tipo de recurso:
- Trabajo de grado de pregrado
- Fecha de publicación:
- 2024
- Institución:
- Universidad de los Andes
- Repositorio:
- Séneca: repositorio Uniandes
- Idioma:
- spa
- OAI Identifier:
- oai:repositorio.uniandes.edu.co:1992/73521
- Acceso en línea:
- https://hdl.handle.net/1992/73521
- Palabra clave:
- LLM
ChatGPT
Stack Exchange
AI
Seguridad de la información
Inteligencia artificial
Ingeniería
- Rights
- License
- Attribution-NonCommercial 4.0 International
| id |
UNIANDES2_7595ed6beaa0227b9d02b0161845bbee |
|---|---|
| oai_identifier_str |
oai:repositorio.uniandes.edu.co:1992/73521 |
| network_acronym_str |
UNIANDES2 |
| network_name_str |
Séneca: repositorio Uniandes |
| repository_id_str |
|
| dc.title.none.fl_str_mv |
Utilidad de grandes modelos de lenguaje (LLM) como asistentes de seguridad |
| title |
Utilidad de grandes modelos de lenguaje (LLM) como asistentes de seguridad |
| spellingShingle |
Utilidad de grandes modelos de lenguaje (LLM) como asistentes de seguridad LLM ChatGPT Stack Exchange AI Seguridad de la información Inteligencia artificial Ingeniería |
| title_short |
Utilidad de grandes modelos de lenguaje (LLM) como asistentes de seguridad |
| title_full |
Utilidad de grandes modelos de lenguaje (LLM) como asistentes de seguridad |
| title_fullStr |
Utilidad de grandes modelos de lenguaje (LLM) como asistentes de seguridad |
| title_full_unstemmed |
Utilidad de grandes modelos de lenguaje (LLM) como asistentes de seguridad |
| title_sort |
Utilidad de grandes modelos de lenguaje (LLM) como asistentes de seguridad |
| dc.creator.fl_str_mv |
Bravo Yaguchi, Andrés Takashi |
| dc.contributor.advisor.none.fl_str_mv |
Rueda Rodríguez, Sandra Julieta |
| dc.contributor.author.none.fl_str_mv |
Bravo Yaguchi, Andrés Takashi |
| dc.subject.keyword.none.fl_str_mv |
LLM ChatGPT Stack Exchange AI |
| topic |
LLM ChatGPT Stack Exchange AI Seguridad de la información Inteligencia artificial Ingeniería |
| dc.subject.keyword.spa.fl_str_mv |
Seguridad de la información Inteligencia artificial |
| dc.subject.themes.spa.fl_str_mv |
Ingeniería |
| description |
En el presente proyectó se buscó evaluar la utilidad de ChatGPT para responder correctamente preguntas relacionadas con la temática de seguridad de la información. En particular, se trató de evaluar si es viable pensar en automatizar procesos de consulta en seguridad de la información usando los modelos GPT-3.5 y GPT-4. Para esto se recolectaron 5000 de las preguntas con más vistas en el foro Information Security de Stack Exchange y utilizando el API de la empresa OpenAI se obtuvieron respuestas a estas preguntas, generadas por ambos modelos. Luego, se buscó determinar el nivel de similitud que guardan las respuestas generadas por los modelos con las respuestas dadas por los usuarios en el foro, calculando automáticamente pruebas de similitud semántica de textos y revisión manual de algunas respuestas con ayuda de verificadores humanos. A partir de las pruebas realizadas se pudo determinar que ChatGPT es capaz de generar respuestas sintácticamente correctas cuya estructura gramatical guarda similitudes con las respuestas escritas por humanos en el foro Stack Exchange. De forma similar, los resultados de las evaluaciones provistas por los verificadores humanos indican que ChatGPT tiene capacidad de generar respuestas cuyo contenido es cercano a las respuestas que daría un humano. A partir de lo anterior, se pudo concluir que estos modelos tienen potencial para funcionar como herramientas de consulta y generar respuestas útiles y correctas a preguntas relacionadas con seguridad de la información. Sin embargo, los resultados son solo un indicador del potencial de ChatGPT y no representan una muestra definitiva de su capacidad real. A futuro, para conocer la capacidad real de esta herramienta, es necesario realizar pruebas que utilicen el apoyo de expertos para evaluar las respuestas que genera ChatGPT a un conjunto variado de preguntas relacionadas con seguridad de la información. |
| publishDate |
2024 |
| dc.date.accessioned.none.fl_str_mv |
2024-01-26T18:27:42Z |
| dc.date.issued.none.fl_str_mv |
2024-01-23 |
| dc.date.available.none.fl_str_mv |
2025-12-31 |
| dc.type.none.fl_str_mv |
Trabajo de grado - Pregrado |
| dc.type.driver.none.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| dc.type.version.none.fl_str_mv |
info:eu-repo/semantics/acceptedVersion |
| dc.type.coar.none.fl_str_mv |
http://purl.org/coar/resource_type/c_7a1f |
| dc.type.content.none.fl_str_mv |
Text |
| dc.type.redcol.none.fl_str_mv |
http://purl.org/redcol/resource_type/TP |
| format |
http://purl.org/coar/resource_type/c_7a1f |
| status_str |
acceptedVersion |
| dc.identifier.uri.none.fl_str_mv |
https://hdl.handle.net/1992/73521 |
| dc.identifier.instname.none.fl_str_mv |
instname:Universidad de los Andes |
| dc.identifier.reponame.none.fl_str_mv |
reponame:Repositorio Institucional Séneca |
| dc.identifier.repourl.none.fl_str_mv |
repourl:https://repositorio.uniandes.edu.co/ |
| url |
https://hdl.handle.net/1992/73521 |
| identifier_str_mv |
instname:Universidad de los Andes reponame:Repositorio Institucional Séneca repourl:https://repositorio.uniandes.edu.co/ |
| dc.language.iso.none.fl_str_mv |
spa |
| language |
spa |
| dc.rights.en.fl_str_mv |
Attribution-NonCommercial 4.0 International |
| dc.rights.coar.fl_str_mv |
http://purl.org/coar/access_right/c_f1cf |
| dc.rights.uri.none.fl_str_mv |
http://creativecommons.org/licenses/by-nc/4.0/ |
| dc.rights.coar.none.fl_str_mv |
http://purl.org/coar/access_right/c_f1cf |
| rights_invalid_str_mv |
Attribution-NonCommercial 4.0 International http://creativecommons.org/licenses/by-nc/4.0/ http://purl.org/coar/access_right/c_f1cf http://purl.org/coar/access_right/c_f1cf |
| dc.format.extent.none.fl_str_mv |
56 páginas |
| dc.format.mimetype.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidad de los Andes |
| dc.publisher.program.none.fl_str_mv |
Ingeniería de Sistemas y Computación |
| dc.publisher.faculty.none.fl_str_mv |
Facultad de Ingeniería |
| dc.publisher.department.none.fl_str_mv |
Departamento de Ingeniería Sistemas y Computación |
| publisher.none.fl_str_mv |
Universidad de los Andes |
| institution |
Universidad de los Andes |
| bitstream.url.fl_str_mv |
https://repositorio.uniandes.edu.co/bitstreams/15233a7b-d37f-4e6e-a154-8c7bef1314ad/download https://repositorio.uniandes.edu.co/bitstreams/cc2bbc94-3b02-4a47-8aa9-4848d7665974/download https://repositorio.uniandes.edu.co/bitstreams/2b7a208d-4cb2-4157-90d1-c87b1425c55e/download https://repositorio.uniandes.edu.co/bitstreams/db552537-7254-4e0d-8c55-a525c2b8deda/download https://repositorio.uniandes.edu.co/bitstreams/911f6449-e283-404d-a7a1-24837570b24a/download https://repositorio.uniandes.edu.co/bitstreams/d2149371-4c4f-45a5-bbc8-c0081a57771c/download https://repositorio.uniandes.edu.co/bitstreams/e1ce03f6-83a2-45bf-ae83-516b28d7f099/download https://repositorio.uniandes.edu.co/bitstreams/9e6ec6e1-e211-42db-bbdc-a4fc25ddd679/download |
| bitstream.checksum.fl_str_mv |
811dbf3412cb65b7242a66ddd82941e6 69462dd68e6db0b4bbc08b784c5b6466 ae9e573a68e7f92501b6913cc846c39f 24013099e9e6abb1575dc6ce0855efd5 56bd9293d385c31a596f9e424e0f522e c1ff264a4bc896cea803b3001d58fb0b 5fad7324b980bc944772dc65589f3349 6e46f99fbc90ac64023f4b4922ac419f |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositorio institucional Séneca |
| repository.mail.fl_str_mv |
adminrepositorio@uniandes.edu.co |
| _version_ |
1818111852041732096 |
| spelling |
Rueda Rodríguez, Sandra Julietavirtual::20639-1Bravo Yaguchi, Andrés Takashi2024-01-26T18:27:42Z2025-12-312024-01-23https://hdl.handle.net/1992/73521instname:Universidad de los Andesreponame:Repositorio Institucional Sénecarepourl:https://repositorio.uniandes.edu.co/En el presente proyectó se buscó evaluar la utilidad de ChatGPT para responder correctamente preguntas relacionadas con la temática de seguridad de la información. En particular, se trató de evaluar si es viable pensar en automatizar procesos de consulta en seguridad de la información usando los modelos GPT-3.5 y GPT-4. Para esto se recolectaron 5000 de las preguntas con más vistas en el foro Information Security de Stack Exchange y utilizando el API de la empresa OpenAI se obtuvieron respuestas a estas preguntas, generadas por ambos modelos. Luego, se buscó determinar el nivel de similitud que guardan las respuestas generadas por los modelos con las respuestas dadas por los usuarios en el foro, calculando automáticamente pruebas de similitud semántica de textos y revisión manual de algunas respuestas con ayuda de verificadores humanos. A partir de las pruebas realizadas se pudo determinar que ChatGPT es capaz de generar respuestas sintácticamente correctas cuya estructura gramatical guarda similitudes con las respuestas escritas por humanos en el foro Stack Exchange. De forma similar, los resultados de las evaluaciones provistas por los verificadores humanos indican que ChatGPT tiene capacidad de generar respuestas cuyo contenido es cercano a las respuestas que daría un humano. A partir de lo anterior, se pudo concluir que estos modelos tienen potencial para funcionar como herramientas de consulta y generar respuestas útiles y correctas a preguntas relacionadas con seguridad de la información. Sin embargo, los resultados son solo un indicador del potencial de ChatGPT y no representan una muestra definitiva de su capacidad real. A futuro, para conocer la capacidad real de esta herramienta, es necesario realizar pruebas que utilicen el apoyo de expertos para evaluar las respuestas que genera ChatGPT a un conjunto variado de preguntas relacionadas con seguridad de la información.Ingeniero de Sistemas y ComputaciónPregrado56 páginasapplication/pdfspaUniversidad de los AndesIngeniería de Sistemas y ComputaciónFacultad de IngenieríaDepartamento de Ingeniería Sistemas y ComputaciónAttribution-NonCommercial 4.0 Internationalhttp://creativecommons.org/licenses/by-nc/4.0/http://purl.org/coar/access_right/c_f1cf http://purl.org/coar/access_right/c_f1cfUtilidad de grandes modelos de lenguaje (LLM) como asistentes de seguridadTrabajo de grado - Pregradoinfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/acceptedVersionhttp://purl.org/coar/resource_type/c_7a1fTexthttp://purl.org/redcol/resource_type/TPLLMChatGPTStack ExchangeAISeguridad de la informaciónInteligencia artificialIngeniería201911714Publicationhttps://scholar.google.es/citations?user=picn4ngAAAAJvirtual::20639-10000-0002-2111-9348virtual::20639-1https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000143111virtual::20639-1e336d2eb-f251-470f-b975-2d5e63ce65c9virtual::20639-1e336d2eb-f251-470f-b975-2d5e63ce65c9virtual::20639-1ORIGINALUtilidad de grandes modelos de lenguaje (LLM).pdfUtilidad de grandes modelos de lenguaje (LLM).pdfapplication/pdf1711494https://repositorio.uniandes.edu.co/bitstreams/15233a7b-d37f-4e6e-a154-8c7bef1314ad/download811dbf3412cb65b7242a66ddd82941e6MD51AutorizacionTesisatbravo_firmado.pdfAutorizacionTesisatbravo_firmado.pdfHIDEapplication/pdf248055https://repositorio.uniandes.edu.co/bitstreams/cc2bbc94-3b02-4a47-8aa9-4848d7665974/download69462dd68e6db0b4bbc08b784c5b6466MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-82535https://repositorio.uniandes.edu.co/bitstreams/2b7a208d-4cb2-4157-90d1-c87b1425c55e/downloadae9e573a68e7f92501b6913cc846c39fMD52CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8914https://repositorio.uniandes.edu.co/bitstreams/db552537-7254-4e0d-8c55-a525c2b8deda/download24013099e9e6abb1575dc6ce0855efd5MD54TEXTUtilidad de grandes modelos de lenguaje (LLM).pdf.txtUtilidad de grandes modelos de lenguaje (LLM).pdf.txtExtracted texttext/plain101571https://repositorio.uniandes.edu.co/bitstreams/911f6449-e283-404d-a7a1-24837570b24a/download56bd9293d385c31a596f9e424e0f522eMD55AutorizacionTesisatbravo_firmado.pdf.txtAutorizacionTesisatbravo_firmado.pdf.txtExtracted texttext/plain2082https://repositorio.uniandes.edu.co/bitstreams/d2149371-4c4f-45a5-bbc8-c0081a57771c/downloadc1ff264a4bc896cea803b3001d58fb0bMD57THUMBNAILUtilidad de grandes modelos de lenguaje (LLM).pdf.jpgUtilidad de grandes modelos de lenguaje (LLM).pdf.jpgGenerated Thumbnailimage/jpeg6710https://repositorio.uniandes.edu.co/bitstreams/e1ce03f6-83a2-45bf-ae83-516b28d7f099/download5fad7324b980bc944772dc65589f3349MD56AutorizacionTesisatbravo_firmado.pdf.jpgAutorizacionTesisatbravo_firmado.pdf.jpgGenerated Thumbnailimage/jpeg11150https://repositorio.uniandes.edu.co/bitstreams/9e6ec6e1-e211-42db-bbdc-a4fc25ddd679/download6e46f99fbc90ac64023f4b4922ac419fMD581992/73521oai:repositorio.uniandes.edu.co:1992/735212024-12-04 16:42:50.494http://creativecommons.org/licenses/by-nc/4.0/Attribution-NonCommercial 4.0 Internationalrestrictedhttps://repositorio.uniandes.edu.coRepositorio institucional Sénecaadminrepositorio@uniandes.edu.coPGgzPjxzdHJvbmc+RGVzY2FyZ28gZGUgUmVzcG9uc2FiaWxpZGFkIC0gTGljZW5jaWEgZGUgQXV0b3JpemFjacOzbjwvc3Ryb25nPjwvaDM+CjxwPjxzdHJvbmc+UG9yIGZhdm9yIGxlZXIgYXRlbnRhbWVudGUgZXN0ZSBkb2N1bWVudG8gcXVlIHBlcm1pdGUgYWwgUmVwb3NpdG9yaW8gSW5zdGl0dWNpb25hbCBTw6luZWNhIHJlcHJvZHVjaXIgeSBkaXN0cmlidWlyIGxvcyByZWN1cnNvcyBkZSBpbmZvcm1hY2nDs24gZGVwb3NpdGFkb3MgbWVkaWFudGUgbGEgYXV0b3JpemFjacOzbiBkZSBsb3Mgc2lndWllbnRlcyB0w6lybWlub3M6PC9zdHJvbmc+PC9wPgo8cD5Db25jZWRhIGxhIGxpY2VuY2lhIGRlIGRlcMOzc2l0byBlc3TDoW5kYXIgc2VsZWNjaW9uYW5kbyBsYSBvcGNpw7NuIDxzdHJvbmc+J0FjZXB0YXIgbG9zIHTDqXJtaW5vcyBhbnRlcmlvcm1lbnRlIGRlc2NyaXRvcyc8L3N0cm9uZz4geSBjb250aW51YXIgZWwgcHJvY2VzbyBkZSBlbnbDrW8gbWVkaWFudGUgZWwgYm90w7NuIDxzdHJvbmc+J1NpZ3VpZW50ZScuPC9zdHJvbmc+PC9wPgo8aHI+CjxwPllvLCBlbiBtaSBjYWxpZGFkIGRlIGF1dG9yIGRlbCB0cmFiYWpvIGRlIHRlc2lzLCBtb25vZ3JhZsOtYSBvIHRyYWJham8gZGUgZ3JhZG8sIGhhZ28gZW50cmVnYSBkZWwgZWplbXBsYXIgcmVzcGVjdGl2byB5IGRlIHN1cyBhbmV4b3MgZGUgc2VyIGVsIGNhc28sIGVuIGZvcm1hdG8gZGlnaXRhbCB5L28gZWxlY3Ryw7NuaWNvIHkgYXV0b3Jpem8gYSBsYSBVbml2ZXJzaWRhZCBkZSBsb3MgQW5kZXMgcGFyYSBxdWUgcmVhbGljZSBsYSBwdWJsaWNhY2nDs24gZW4gZWwgU2lzdGVtYSBkZSBCaWJsaW90ZWNhcyBvIGVuIGN1YWxxdWllciBvdHJvIHNpc3RlbWEgbyBiYXNlIGRlIGRhdG9zIHByb3BpbyBvIGFqZW5vIGEgbGEgVW5pdmVyc2lkYWQgeSBwYXJhIHF1ZSBlbiBsb3MgdMOpcm1pbm9zIGVzdGFibGVjaWRvcyBlbiBsYSBMZXkgMjMgZGUgMTk4MiwgTGV5IDQ0IGRlIDE5OTMsIERlY2lzacOzbiBBbmRpbmEgMzUxIGRlIDE5OTMsIERlY3JldG8gNDYwIGRlIDE5OTUgeSBkZW3DoXMgbm9ybWFzIGdlbmVyYWxlcyBzb2JyZSBsYSBtYXRlcmlhLCB1dGlsaWNlIGVuIHRvZGFzIHN1cyBmb3JtYXMsIGxvcyBkZXJlY2hvcyBwYXRyaW1vbmlhbGVzIGRlIHJlcHJvZHVjY2nDs24sIGNvbXVuaWNhY2nDs24gcMO6YmxpY2EsIHRyYW5zZm9ybWFjacOzbiB5IGRpc3RyaWJ1Y2nDs24gKGFscXVpbGVyLCBwcsOpc3RhbW8gcMO6YmxpY28gZSBpbXBvcnRhY2nDs24pIHF1ZSBtZSBjb3JyZXNwb25kZW4gY29tbyBjcmVhZG9yIGRlIGxhIG9icmEgb2JqZXRvIGRlbCBwcmVzZW50ZSBkb2N1bWVudG8uPC9wPgo8cD5MYSBwcmVzZW50ZSBhdXRvcml6YWNpw7NuIHNlIGVtaXRlIGVuIGNhbGlkYWQgZGUgYXV0b3IgZGUgbGEgb2JyYSBvYmpldG8gZGVsIHByZXNlbnRlIGRvY3VtZW50byB5IG5vIGNvcnJlc3BvbmRlIGEgY2VzacOzbiBkZSBkZXJlY2hvcywgc2lubyBhIGxhIGF1dG9yaXphY2nDs24gZGUgdXNvIGFjYWTDqW1pY28gZGUgY29uZm9ybWlkYWQgY29uIGxvIGFudGVyaW9ybWVudGUgc2XDsWFsYWRvLiBMYSBwcmVzZW50ZSBhdXRvcml6YWNpw7NuIHNlIGhhY2UgZXh0ZW5zaXZhIG5vIHNvbG8gYSBsYXMgZmFjdWx0YWRlcyB5IGRlcmVjaG9zIGRlIHVzbyBzb2JyZSBsYSBvYnJhIGVuIGZvcm1hdG8gbyBzb3BvcnRlIG1hdGVyaWFsLCBzaW5vIHRhbWJpw6luIHBhcmEgZm9ybWF0byBlbGVjdHLDs25pY28sIHkgZW4gZ2VuZXJhbCBwYXJhIGN1YWxxdWllciBmb3JtYXRvIGNvbm9jaWRvIG8gcG9yIGNvbm9jZXIuPC9wPgo8cD5FbCBhdXRvciwgbWFuaWZpZXN0YSBxdWUgbGEgb2JyYSBvYmpldG8gZGUgbGEgcHJlc2VudGUgYXV0b3JpemFjacOzbiBlcyBvcmlnaW5hbCB5IGxhIHJlYWxpesOzIHNpbiB2aW9sYXIgbyB1c3VycGFyIGRlcmVjaG9zIGRlIGF1dG9yIGRlIHRlcmNlcm9zLCBwb3IgbG8gdGFudG8sIGxhIG9icmEgZXMgZGUgc3UgZXhjbHVzaXZhIGF1dG9yw61hIHkgdGllbmUgbGEgdGl0dWxhcmlkYWQgc29icmUgbGEgbWlzbWEuPC9wPgo8cD5FbiBjYXNvIGRlIHByZXNlbnRhcnNlIGN1YWxxdWllciByZWNsYW1hY2nDs24gbyBhY2Npw7NuIHBvciBwYXJ0ZSBkZSB1biB0ZXJjZXJvIGVuIGN1YW50byBhIGxvcyBkZXJlY2hvcyBkZSBhdXRvciBzb2JyZSBsYSBvYnJhIGVuIGN1ZXN0acOzbiwgZWwgYXV0b3IgYXN1bWlyw6EgdG9kYSBsYSByZXNwb25zYWJpbGlkYWQsIHkgc2FsZHLDoSBkZSBkZWZlbnNhIGRlIGxvcyBkZXJlY2hvcyBhcXXDrSBhdXRvcml6YWRvcywgcGFyYSB0b2RvcyBsb3MgZWZlY3RvcyBsYSBVbml2ZXJzaWRhZCBhY3TDumEgY29tbyB1biB0ZXJjZXJvIGRlIGJ1ZW5hIGZlLjwvcD4KPHA+U2kgdGllbmUgYWxndW5hIGR1ZGEgc29icmUgbGEgbGljZW5jaWEsIHBvciBmYXZvciwgY29udGFjdGUgY29uIGVsIDxhIGhyZWY9Im1haWx0bzpiaWJsaW90ZWNhQHVuaWFuZGVzLmVkdS5jbyIgdGFyZ2V0PSJfYmxhbmsiPkFkbWluaXN0cmFkb3IgZGVsIFNpc3RlbWEuPC9hPjwvcD4K |