Large Language Models como planeadores multiagente en entornos sociales

Esta investigación explora la integración de Modelos de Lenguaje de Gran Escala (LLMs), como GPT, en la simulación de comportamientos humanos dentro de entornos sociales simulados. Inspirándonos en el trabajo ``Generative Agents" de Stanford, aplicamos LLMs como planeadores en un marco multiage...

Full description

Autores:
Pinzón Roncancio, Juan Sebastian
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2024
Institución:
Universidad de los Andes
Repositorio:
Séneca: repositorio Uniandes
Idioma:
spa
OAI Identifier:
oai:repositorio.uniandes.edu.co:1992/73756
Acceso en línea:
https://hdl.handle.net/1992/73756
Palabra clave:
Agentes autónomos
Large Language Model
Cooperatividad
Entornos Sociales
Ingeniería
Rights
openAccess
License
https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdf
id UNIANDES2_e59021e71bced40c658bc0c71eb30d41
oai_identifier_str oai:repositorio.uniandes.edu.co:1992/73756
network_acronym_str UNIANDES2
network_name_str Séneca: repositorio Uniandes
repository_id_str
dc.title.none.fl_str_mv Large Language Models como planeadores multiagente en entornos sociales
title Large Language Models como planeadores multiagente en entornos sociales
spellingShingle Large Language Models como planeadores multiagente en entornos sociales
Agentes autónomos
Large Language Model
Cooperatividad
Entornos Sociales
Ingeniería
title_short Large Language Models como planeadores multiagente en entornos sociales
title_full Large Language Models como planeadores multiagente en entornos sociales
title_fullStr Large Language Models como planeadores multiagente en entornos sociales
title_full_unstemmed Large Language Models como planeadores multiagente en entornos sociales
title_sort Large Language Models como planeadores multiagente en entornos sociales
dc.creator.fl_str_mv Pinzón Roncancio, Juan Sebastian
dc.contributor.advisor.none.fl_str_mv Manrique Piramanrique, Rubén Francisco
dc.contributor.author.none.fl_str_mv Pinzón Roncancio, Juan Sebastian
dc.contributor.jury.none.fl_str_mv Cardozo Álvarez, Nicolás
Gauthier Umaña, Valerie Elisabeth
Núñez Castro, Haydemar María
dc.subject.keyword.none.fl_str_mv Agentes autónomos
Large Language Model
Cooperatividad
Entornos Sociales
topic Agentes autónomos
Large Language Model
Cooperatividad
Entornos Sociales
Ingeniería
dc.subject.themes.spa.fl_str_mv Ingeniería
description Esta investigación explora la integración de Modelos de Lenguaje de Gran Escala (LLMs), como GPT, en la simulación de comportamientos humanos dentro de entornos sociales simulados. Inspirándonos en el trabajo ``Generative Agents" de Stanford, aplicamos LLMs como planeadores en un marco multiagente. Utilizamos la arquitectura de flujo de razonamiento propuesta por Park et al. (2023), que comprende módulos de percepción, planeación, recuperación de memorias, reflexión y actuación. El estudio se centra en entornos simulados de Melting Pot, un Framework de DeepMind para evaluar el Aprendizaje por Refuerzo Multiagente (MARL), destacando dinámicas sociales como la cooperación, competencia y reciprocidad.\\ Nuestro enfoque metodológico incluyó la adaptación de la arquitectura de razonamiento a los escenarios de Melting Pot y la definición de tres conjuntos de escenarios de prueba. Las métricas clave empleadas para evaluar el desempeño de los agentes abarcaron la recompensa por cápita y ciertos indicadores de cooperatividad definidos para el escenario. Los resultados obtenidos ofrecen una visión detallada del desempeño y comportamiento de los agentes, destacando cómo la integración de LLMs en entornos de simulación social puede superar las limitaciones de los enfoques tradicionales de MARL y proporcionar una representación más rica y realista de las interacciones sociales.
publishDate 2024
dc.date.accessioned.none.fl_str_mv 2024-02-01T16:15:38Z
dc.date.available.none.fl_str_mv 2024-02-01T16:15:38Z
dc.date.issued.none.fl_str_mv 2024-01-27
dc.type.none.fl_str_mv Trabajo de grado - Pregrado
dc.type.driver.none.fl_str_mv info:eu-repo/semantics/bachelorThesis
dc.type.version.none.fl_str_mv info:eu-repo/semantics/acceptedVersion
dc.type.coar.none.fl_str_mv http://purl.org/coar/resource_type/c_7a1f
dc.type.content.none.fl_str_mv Text
dc.type.redcol.none.fl_str_mv http://purl.org/redcol/resource_type/TP
format http://purl.org/coar/resource_type/c_7a1f
status_str acceptedVersion
dc.identifier.uri.none.fl_str_mv https://hdl.handle.net/1992/73756
dc.identifier.instname.none.fl_str_mv instname:Universidad de los Andes
dc.identifier.reponame.none.fl_str_mv reponame:Repositorio Institucional Séneca
dc.identifier.repourl.none.fl_str_mv repourl:https://repositorio.uniandes.edu.co/
url https://hdl.handle.net/1992/73756
identifier_str_mv instname:Universidad de los Andes
reponame:Repositorio Institucional Séneca
repourl:https://repositorio.uniandes.edu.co/
dc.language.iso.none.fl_str_mv spa
language spa
dc.relation.references.none.fl_str_mv [1] J. Hohenstein, R. F. Kizilcec, D. DiFranzo, Z. Aghajari, H. Mieczkowski, K. Levy, M. Naaman, J. Hancock, M. F. Jung, Artificial intelligence in communication impacts language and social relationships, Scientific Reports 13 (1). doi:10.1038/s41598-023-30938-9.
[2] S. Hao, Y. Gu, H. Ma, J. J. Hong, Z. Wang, D. Z. Wang, Z. Hu, Reasoning with language model is planning with world model, arXiv 2305.14992. doi:10.48550/arXiv. 2305.14992.
[3] J. S. Park, J. C. O’Brien, C. J. Cai, M. R. Morris, P. Liang, M. S. Bernstein, Generativeagents: Interactive simulacra of human behavior, arXiv 2304.03442. doi:10.48550/arXiv.2304.03442. URL https://doi.org/10.48550/arXiv.2304.03442
[4] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, I. Polosukhin, Attention is all you need, in: Advances in Neural Information Processing Systems (NIPS), 2017, pp. 5998–6008.doi:10.5555/3295222.3295349. URL https://arxiv.org/abs/1706.03762
[5] T. Hagendorff, S. Fabi, M. Kosinski, Human-like intuitive behavior and reasoning biases emerged in large language models but disappeared in chatgpt, Nature Computational Science 3 (2023) 833–838. doi:10.1038/s43588-023-00527-x. URL https://doi.org/10.1038/s43588-023-00527-x
[6] K. Tanmay, A. Khandelwal, U. Agarwal, M. Choudhury, Probing the moral development of large language models through defining issues test, arXivdoi:10.48550/arXiv.2309.13356. URL https://doi.org/10.48550/arXiv.2309.13356
[7] G. Wang, Y. Xie, Y. Jiang, A. Mandlekar, C. Xiao, Y. Zhu, L. Fan, A. Anandkumar, Voyager: An open-ended embodied agent with large language models, arXivdoi:10.48550/arXiv.2305.16291. URL https://doi.org/10.48550/arXiv.2305.16291
[8] S. Hong, M. Zhuge, J. Chen, X. Zheng, Y. Cheng, C. Zhang, J. Wang, Z. Wang, S. K. S. Yau, Z. Lin, L. Zhou, C. Ran, L. Xiao, C. Wu, J. Schmidhuber, Metagpt: Meta programming for a multi-agent collaborative framework, arXiv 2308.00352. doi:10.48550/arXiv.2308.00352. URL httpsURL
[9] T. Connors, J. Sny, H. Snyder, Gpteam: A multi-agent simulation, LangChain Series.
[10] H. Yang, S. Yue, Y. He, Auto-gpt for online decision making: Benchmarks and additional opinions, arXiv 2306.02224. doi:10.48550/arXiv.2306.02224. URL https://doi.org/10.48550/arXiv.2306.02224
[11] J. Wei, X. Wang, D. Schuurmans, M. Bosma, F. Xia, E. Chi, Q. V. Le, D. Zhou, et al., Chain-of-thought prompting elicits reasoning in large language models, in: Proceedings of the Neural Information Processing Systems (NeurIPS), 2022.
[12] Y. Bang, S. Cahyawijaya, N. Lee, W. Dai, D. Su, B. Wilie, H. Lovenia, Z. Ji, T. Yu, W. Chung, Q. V. Do, Y. Xu, P. Fung, A multitask, multilingual, multimodal evaluation of chatgpt on reasoning, hallucination, and interactivity, arXivdoi:10.48550/arXiv. 2302.04023. URL https://doi.org/10.48550/arXiv.2302.04023
[13] E. Y. Chang, Examining gpt-4’s capabilities and enhancement with socrasynth, in: Conference Proceedings, Stanford University, 2023. URL https://www.researchgate.net/publication/374753069
dc.rights.uri.none.fl_str_mv https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdf
dc.rights.accessrights.none.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.none.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdf
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.extent.none.fl_str_mv 41 páginas
dc.format.mimetype.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidad de los Andes
dc.publisher.program.none.fl_str_mv Ingeniería de Sistemas y Computación
dc.publisher.faculty.none.fl_str_mv Facultad de Ingeniería
dc.publisher.department.none.fl_str_mv Departamento de Ingeniería Sistemas y Computación
publisher.none.fl_str_mv Universidad de los Andes
institution Universidad de los Andes
bitstream.url.fl_str_mv https://repositorio.uniandes.edu.co/bitstreams/c17a29a1-0162-497a-8426-66c856e716bd/download
https://repositorio.uniandes.edu.co/bitstreams/e7e44b82-f020-4043-a86e-29a369504770/download
https://repositorio.uniandes.edu.co/bitstreams/4c1fbfb6-f749-445b-815a-b3386fb957d2/download
https://repositorio.uniandes.edu.co/bitstreams/4cebf8dd-0bde-4a8f-a80a-bf263a2818f9/download
https://repositorio.uniandes.edu.co/bitstreams/be8a3271-8222-40f0-b581-3e7c5e8e780b/download
https://repositorio.uniandes.edu.co/bitstreams/fbfa864b-44f6-44b0-a2b9-da66efd83a93/download
https://repositorio.uniandes.edu.co/bitstreams/807b8054-f1b9-4c4f-924a-a3d590cfe969/download
bitstream.checksum.fl_str_mv ae9e573a68e7f92501b6913cc846c39f
c5e6960e9f0cec718d4d9039efb56c5e
cfb3323313bafd15a0331e8859cad7e5
52d2179d1dd53aa91ad592c4d7559059
a9f0d653aabbe280a5e7aaa91a1434b5
51f202cc88609581823ff3dbfb622929
f328f4767a6a62e38555b643c75b296f
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositorio institucional Séneca
repository.mail.fl_str_mv adminrepositorio@uniandes.edu.co
_version_ 1812133817697173504
spelling Manrique Piramanrique, Rubén FranciscoPinzón Roncancio, Juan SebastianCardozo Álvarez, NicolásGauthier Umaña, Valerie ElisabethNúñez Castro, Haydemar María2024-02-01T16:15:38Z2024-02-01T16:15:38Z2024-01-27https://hdl.handle.net/1992/73756instname:Universidad de los Andesreponame:Repositorio Institucional Sénecarepourl:https://repositorio.uniandes.edu.co/Esta investigación explora la integración de Modelos de Lenguaje de Gran Escala (LLMs), como GPT, en la simulación de comportamientos humanos dentro de entornos sociales simulados. Inspirándonos en el trabajo ``Generative Agents" de Stanford, aplicamos LLMs como planeadores en un marco multiagente. Utilizamos la arquitectura de flujo de razonamiento propuesta por Park et al. (2023), que comprende módulos de percepción, planeación, recuperación de memorias, reflexión y actuación. El estudio se centra en entornos simulados de Melting Pot, un Framework de DeepMind para evaluar el Aprendizaje por Refuerzo Multiagente (MARL), destacando dinámicas sociales como la cooperación, competencia y reciprocidad.\\ Nuestro enfoque metodológico incluyó la adaptación de la arquitectura de razonamiento a los escenarios de Melting Pot y la definición de tres conjuntos de escenarios de prueba. Las métricas clave empleadas para evaluar el desempeño de los agentes abarcaron la recompensa por cápita y ciertos indicadores de cooperatividad definidos para el escenario. Los resultados obtenidos ofrecen una visión detallada del desempeño y comportamiento de los agentes, destacando cómo la integración de LLMs en entornos de simulación social puede superar las limitaciones de los enfoques tradicionales de MARL y proporcionar una representación más rica y realista de las interacciones sociales.Ingeniero de Sistemas y ComputaciónPregrado41 páginasapplication/pdfspaUniversidad de los AndesIngeniería de Sistemas y ComputaciónFacultad de IngenieríaDepartamento de Ingeniería Sistemas y Computaciónhttps://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdfinfo:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Large Language Models como planeadores multiagente en entornos socialesTrabajo de grado - Pregradoinfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/acceptedVersionhttp://purl.org/coar/resource_type/c_7a1fTexthttp://purl.org/redcol/resource_type/TPAgentes autónomosLarge Language ModelCooperatividadEntornos SocialesIngeniería[1] J. Hohenstein, R. F. Kizilcec, D. DiFranzo, Z. Aghajari, H. Mieczkowski, K. Levy, M. Naaman, J. Hancock, M. F. Jung, Artificial intelligence in communication impacts language and social relationships, Scientific Reports 13 (1). doi:10.1038/s41598-023-30938-9.[2] S. Hao, Y. Gu, H. Ma, J. J. Hong, Z. Wang, D. Z. Wang, Z. Hu, Reasoning with language model is planning with world model, arXiv 2305.14992. doi:10.48550/arXiv. 2305.14992.[3] J. S. Park, J. C. O’Brien, C. J. Cai, M. R. Morris, P. Liang, M. S. Bernstein, Generativeagents: Interactive simulacra of human behavior, arXiv 2304.03442. doi:10.48550/arXiv.2304.03442. URL https://doi.org/10.48550/arXiv.2304.03442[4] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, I. Polosukhin, Attention is all you need, in: Advances in Neural Information Processing Systems (NIPS), 2017, pp. 5998–6008.doi:10.5555/3295222.3295349. URL https://arxiv.org/abs/1706.03762[5] T. Hagendorff, S. Fabi, M. Kosinski, Human-like intuitive behavior and reasoning biases emerged in large language models but disappeared in chatgpt, Nature Computational Science 3 (2023) 833–838. doi:10.1038/s43588-023-00527-x. URL https://doi.org/10.1038/s43588-023-00527-x[6] K. Tanmay, A. Khandelwal, U. Agarwal, M. Choudhury, Probing the moral development of large language models through defining issues test, arXivdoi:10.48550/arXiv.2309.13356. URL https://doi.org/10.48550/arXiv.2309.13356[7] G. Wang, Y. Xie, Y. Jiang, A. Mandlekar, C. Xiao, Y. Zhu, L. Fan, A. Anandkumar, Voyager: An open-ended embodied agent with large language models, arXivdoi:10.48550/arXiv.2305.16291. URL https://doi.org/10.48550/arXiv.2305.16291[8] S. Hong, M. Zhuge, J. Chen, X. Zheng, Y. Cheng, C. Zhang, J. Wang, Z. Wang, S. K. S. Yau, Z. Lin, L. Zhou, C. Ran, L. Xiao, C. Wu, J. Schmidhuber, Metagpt: Meta programming for a multi-agent collaborative framework, arXiv 2308.00352. doi:10.48550/arXiv.2308.00352. URL httpsURL[9] T. Connors, J. Sny, H. Snyder, Gpteam: A multi-agent simulation, LangChain Series.[10] H. Yang, S. Yue, Y. He, Auto-gpt for online decision making: Benchmarks and additional opinions, arXiv 2306.02224. doi:10.48550/arXiv.2306.02224. URL https://doi.org/10.48550/arXiv.2306.02224[11] J. Wei, X. Wang, D. Schuurmans, M. Bosma, F. Xia, E. Chi, Q. V. Le, D. Zhou, et al., Chain-of-thought prompting elicits reasoning in large language models, in: Proceedings of the Neural Information Processing Systems (NeurIPS), 2022.[12] Y. Bang, S. Cahyawijaya, N. Lee, W. Dai, D. Su, B. Wilie, H. Lovenia, Z. Ji, T. Yu, W. Chung, Q. V. Do, Y. Xu, P. Fung, A multitask, multilingual, multimodal evaluation of chatgpt on reasoning, hallucination, and interactivity, arXivdoi:10.48550/arXiv. 2302.04023. URL https://doi.org/10.48550/arXiv.2302.04023[13] E. Y. Chang, Examining gpt-4’s capabilities and enhancement with socrasynth, in: Conference Proceedings, Stanford University, 2023. URL https://www.researchgate.net/publication/374753069201915773PublicationLICENSElicense.txtlicense.txttext/plain; charset=utf-82535https://repositorio.uniandes.edu.co/bitstreams/c17a29a1-0162-497a-8426-66c856e716bd/downloadae9e573a68e7f92501b6913cc846c39fMD51ORIGINALautorizacion tesis_signed.pdfautorizacion tesis_signed.pdfHIDEapplication/pdf375115https://repositorio.uniandes.edu.co/bitstreams/e7e44b82-f020-4043-a86e-29a369504770/downloadc5e6960e9f0cec718d4d9039efb56c5eMD52Large Language Models.pdfLarge Language Models.pdfapplication/pdf2693741https://repositorio.uniandes.edu.co/bitstreams/4c1fbfb6-f749-445b-815a-b3386fb957d2/downloadcfb3323313bafd15a0331e8859cad7e5MD53TEXTautorizacion tesis_signed.pdf.txtautorizacion tesis_signed.pdf.txtExtracted texttext/plain2067https://repositorio.uniandes.edu.co/bitstreams/4cebf8dd-0bde-4a8f-a80a-bf263a2818f9/download52d2179d1dd53aa91ad592c4d7559059MD54Large Language Models.pdf.txtLarge Language Models.pdf.txtExtracted texttext/plain75538https://repositorio.uniandes.edu.co/bitstreams/be8a3271-8222-40f0-b581-3e7c5e8e780b/downloada9f0d653aabbe280a5e7aaa91a1434b5MD56THUMBNAILautorizacion tesis_signed.pdf.jpgautorizacion tesis_signed.pdf.jpgGenerated Thumbnailimage/jpeg11239https://repositorio.uniandes.edu.co/bitstreams/fbfa864b-44f6-44b0-a2b9-da66efd83a93/download51f202cc88609581823ff3dbfb622929MD55Large Language Models.pdf.jpgLarge Language Models.pdf.jpgGenerated Thumbnailimage/jpeg5887https://repositorio.uniandes.edu.co/bitstreams/807b8054-f1b9-4c4f-924a-a3d590cfe969/downloadf328f4767a6a62e38555b643c75b296fMD571992/73756oai:repositorio.uniandes.edu.co:1992/737562024-02-16 14:40:42.903https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdfopen.accesshttps://repositorio.uniandes.edu.coRepositorio institucional Sénecaadminrepositorio@uniandes.edu.coPGgzPjxzdHJvbmc+RGVzY2FyZ28gZGUgUmVzcG9uc2FiaWxpZGFkIC0gTGljZW5jaWEgZGUgQXV0b3JpemFjacOzbjwvc3Ryb25nPjwvaDM+CjxwPjxzdHJvbmc+UG9yIGZhdm9yIGxlZXIgYXRlbnRhbWVudGUgZXN0ZSBkb2N1bWVudG8gcXVlIHBlcm1pdGUgYWwgUmVwb3NpdG9yaW8gSW5zdGl0dWNpb25hbCBTw6luZWNhIHJlcHJvZHVjaXIgeSBkaXN0cmlidWlyIGxvcyByZWN1cnNvcyBkZSBpbmZvcm1hY2nDs24gZGVwb3NpdGFkb3MgbWVkaWFudGUgbGEgYXV0b3JpemFjacOzbiBkZSBsb3Mgc2lndWllbnRlcyB0w6lybWlub3M6PC9zdHJvbmc+PC9wPgo8cD5Db25jZWRhIGxhIGxpY2VuY2lhIGRlIGRlcMOzc2l0byBlc3TDoW5kYXIgc2VsZWNjaW9uYW5kbyBsYSBvcGNpw7NuIDxzdHJvbmc+J0FjZXB0YXIgbG9zIHTDqXJtaW5vcyBhbnRlcmlvcm1lbnRlIGRlc2NyaXRvcyc8L3N0cm9uZz4geSBjb250aW51YXIgZWwgcHJvY2VzbyBkZSBlbnbDrW8gbWVkaWFudGUgZWwgYm90w7NuIDxzdHJvbmc+J1NpZ3VpZW50ZScuPC9zdHJvbmc+PC9wPgo8aHI+CjxwPllvLCBlbiBtaSBjYWxpZGFkIGRlIGF1dG9yIGRlbCB0cmFiYWpvIGRlIHRlc2lzLCBtb25vZ3JhZsOtYSBvIHRyYWJham8gZGUgZ3JhZG8sIGhhZ28gZW50cmVnYSBkZWwgZWplbXBsYXIgcmVzcGVjdGl2byB5IGRlIHN1cyBhbmV4b3MgZGUgc2VyIGVsIGNhc28sIGVuIGZvcm1hdG8gZGlnaXRhbCB5L28gZWxlY3Ryw7NuaWNvIHkgYXV0b3Jpem8gYSBsYSBVbml2ZXJzaWRhZCBkZSBsb3MgQW5kZXMgcGFyYSBxdWUgcmVhbGljZSBsYSBwdWJsaWNhY2nDs24gZW4gZWwgU2lzdGVtYSBkZSBCaWJsaW90ZWNhcyBvIGVuIGN1YWxxdWllciBvdHJvIHNpc3RlbWEgbyBiYXNlIGRlIGRhdG9zIHByb3BpbyBvIGFqZW5vIGEgbGEgVW5pdmVyc2lkYWQgeSBwYXJhIHF1ZSBlbiBsb3MgdMOpcm1pbm9zIGVzdGFibGVjaWRvcyBlbiBsYSBMZXkgMjMgZGUgMTk4MiwgTGV5IDQ0IGRlIDE5OTMsIERlY2lzacOzbiBBbmRpbmEgMzUxIGRlIDE5OTMsIERlY3JldG8gNDYwIGRlIDE5OTUgeSBkZW3DoXMgbm9ybWFzIGdlbmVyYWxlcyBzb2JyZSBsYSBtYXRlcmlhLCB1dGlsaWNlIGVuIHRvZGFzIHN1cyBmb3JtYXMsIGxvcyBkZXJlY2hvcyBwYXRyaW1vbmlhbGVzIGRlIHJlcHJvZHVjY2nDs24sIGNvbXVuaWNhY2nDs24gcMO6YmxpY2EsIHRyYW5zZm9ybWFjacOzbiB5IGRpc3RyaWJ1Y2nDs24gKGFscXVpbGVyLCBwcsOpc3RhbW8gcMO6YmxpY28gZSBpbXBvcnRhY2nDs24pIHF1ZSBtZSBjb3JyZXNwb25kZW4gY29tbyBjcmVhZG9yIGRlIGxhIG9icmEgb2JqZXRvIGRlbCBwcmVzZW50ZSBkb2N1bWVudG8uPC9wPgo8cD5MYSBwcmVzZW50ZSBhdXRvcml6YWNpw7NuIHNlIGVtaXRlIGVuIGNhbGlkYWQgZGUgYXV0b3IgZGUgbGEgb2JyYSBvYmpldG8gZGVsIHByZXNlbnRlIGRvY3VtZW50byB5IG5vIGNvcnJlc3BvbmRlIGEgY2VzacOzbiBkZSBkZXJlY2hvcywgc2lubyBhIGxhIGF1dG9yaXphY2nDs24gZGUgdXNvIGFjYWTDqW1pY28gZGUgY29uZm9ybWlkYWQgY29uIGxvIGFudGVyaW9ybWVudGUgc2XDsWFsYWRvLiBMYSBwcmVzZW50ZSBhdXRvcml6YWNpw7NuIHNlIGhhY2UgZXh0ZW5zaXZhIG5vIHNvbG8gYSBsYXMgZmFjdWx0YWRlcyB5IGRlcmVjaG9zIGRlIHVzbyBzb2JyZSBsYSBvYnJhIGVuIGZvcm1hdG8gbyBzb3BvcnRlIG1hdGVyaWFsLCBzaW5vIHRhbWJpw6luIHBhcmEgZm9ybWF0byBlbGVjdHLDs25pY28sIHkgZW4gZ2VuZXJhbCBwYXJhIGN1YWxxdWllciBmb3JtYXRvIGNvbm9jaWRvIG8gcG9yIGNvbm9jZXIuPC9wPgo8cD5FbCBhdXRvciwgbWFuaWZpZXN0YSBxdWUgbGEgb2JyYSBvYmpldG8gZGUgbGEgcHJlc2VudGUgYXV0b3JpemFjacOzbiBlcyBvcmlnaW5hbCB5IGxhIHJlYWxpesOzIHNpbiB2aW9sYXIgbyB1c3VycGFyIGRlcmVjaG9zIGRlIGF1dG9yIGRlIHRlcmNlcm9zLCBwb3IgbG8gdGFudG8sIGxhIG9icmEgZXMgZGUgc3UgZXhjbHVzaXZhIGF1dG9yw61hIHkgdGllbmUgbGEgdGl0dWxhcmlkYWQgc29icmUgbGEgbWlzbWEuPC9wPgo8cD5FbiBjYXNvIGRlIHByZXNlbnRhcnNlIGN1YWxxdWllciByZWNsYW1hY2nDs24gbyBhY2Npw7NuIHBvciBwYXJ0ZSBkZSB1biB0ZXJjZXJvIGVuIGN1YW50byBhIGxvcyBkZXJlY2hvcyBkZSBhdXRvciBzb2JyZSBsYSBvYnJhIGVuIGN1ZXN0acOzbiwgZWwgYXV0b3IgYXN1bWlyw6EgdG9kYSBsYSByZXNwb25zYWJpbGlkYWQsIHkgc2FsZHLDoSBkZSBkZWZlbnNhIGRlIGxvcyBkZXJlY2hvcyBhcXXDrSBhdXRvcml6YWRvcywgcGFyYSB0b2RvcyBsb3MgZWZlY3RvcyBsYSBVbml2ZXJzaWRhZCBhY3TDumEgY29tbyB1biB0ZXJjZXJvIGRlIGJ1ZW5hIGZlLjwvcD4KPHA+U2kgdGllbmUgYWxndW5hIGR1ZGEgc29icmUgbGEgbGljZW5jaWEsIHBvciBmYXZvciwgY29udGFjdGUgY29uIGVsIDxhIGhyZWY9Im1haWx0bzpiaWJsaW90ZWNhQHVuaWFuZGVzLmVkdS5jbyIgdGFyZ2V0PSJfYmxhbmsiPkFkbWluaXN0cmFkb3IgZGVsIFNpc3RlbWEuPC9hPjwvcD4K