Desarrollo de un modelo para la medición de la implicación lógica en problemas de matemática elemental

Actualmente, existen modelos de lenguaje integrados en sistemas que pueden superar las capacidades humanas en una variedad de pruebas. Sin embargo, ¿cómo podemos medir la coherencia de estos modelos? En este trabajo, proponemos un enfoque que utiliza la arquitectura de transformers para abordar el problema de la implicación lógica (IL), es decir, determinar qué oraciones se derivan de otras dentro de un texto. Esto se logra mediante el uso de su mecanismo de atención y predicción del siguiente token. Se encontró que, con un modelo muy simple basado en la arquitectura del transformer, es posible la identificación de la IL en problemas de conteo y probabilidad con una precisión del 60 % en una muestra de 95 ejercicios matemáticos de diversos temas. Este método podría contribuir a mejorar la precisión con la que se evalúa la coherencia de los modelos de lenguaje, proporcionando los datos necesarios para realizar un análisis detallado de sus errores y examinar la validez lógica de sus respuestas correctas.

• Autores: Sánchez Tovar, Edwin Alejandro
• Tipo de recurso: https://purl.org/coar/resource_type/c_7a1f
• Fecha de publicación: 2024
• Institución: Universidad El Bosque
• Repositorio: Repositorio U. El Bosque
• Idioma: spa
• OAI Identifier: oai:repositorio.unbosque.edu.co:20.500.12495/13595
• Acceso en línea: https://hdl.handle.net/20.500.12495/13595
• Palabra clave: Axiomas e IA; Implicación lógica; IA en matemáticas; Aprendizaje automático; Aprendizaje profundo; Inteligencia artificial; Modelos de lenguaje; 510; Axioms and AI; Logical implication; AI in mathematics; Machine learning; Deep learning; Artificial intelligence; Language model
• Rights: openAccess
• License: Attribution 4.0 International