Utilidad de grandes modelos de lenguaje (LLM) como asistentes de seguridad

En el presente proyectó se buscó evaluar la utilidad de ChatGPT para responder correctamente preguntas relacionadas con la temática de seguridad de la información. En particular, se trató de evaluar si es viable pensar en automatizar procesos de consulta en seguridad de la información usando los modelos GPT-3.5 y GPT-4. Para esto se recolectaron 5000 de las preguntas con más vistas en el foro Information Security de Stack Exchange y utilizando el API de la empresa OpenAI se obtuvieron respuestas a estas preguntas, generadas por ambos modelos. Luego, se buscó determinar el nivel de similitud que guardan las respuestas generadas por los modelos con las respuestas dadas por los usuarios en el foro, calculando automáticamente pruebas de similitud semántica de textos y revisión manual de algunas respuestas con ayuda de verificadores humanos. A partir de las pruebas realizadas se pudo determinar que ChatGPT es capaz de generar respuestas sintácticamente correctas cuya estructura gramatical guarda similitudes con las respuestas escritas por humanos en el foro Stack Exchange. De forma similar, los resultados de las evaluaciones provistas por los verificadores humanos indican que ChatGPT tiene capacidad de generar respuestas cuyo contenido es cercano a las respuestas que daría un humano. A partir de lo anterior, se pudo concluir que estos modelos tienen potencial para funcionar como herramientas de consulta y generar respuestas útiles y correctas a preguntas relacionadas con seguridad de la información. Sin embargo, los resultados son solo un indicador del potencial de ChatGPT y no representan una muestra definitiva de su capacidad real. A futuro, para conocer la capacidad real de esta herramienta, es necesario realizar pruebas que utilicen el apoyo de expertos para evaluar las respuestas que genera ChatGPT a un conjunto variado de preguntas relacionadas con seguridad de la información.

• Autores: Bravo Yaguchi, Andrés Takashi
• Tipo de recurso: Trabajo de grado de pregrado
• Fecha de publicación: 2024
• Institución: Universidad de los Andes
• Repositorio: Séneca: repositorio Uniandes
• Idioma: spa
• OAI Identifier: oai:repositorio.uniandes.edu.co:1992/73521
• Acceso en línea: https://hdl.handle.net/1992/73521
• Palabra clave: LLM; ChatGPT; Stack Exchange; AI; Seguridad de la información; Inteligencia artificial; Ingeniería
• License: Attribution-NonCommercial 4.0 International