Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading

Este estudio explora las implicaciones de la implementación de técnicas de apren­dizaje reforzado para el trading de acciones parte del índice S&P 500 al 15 de octubre de 2022, bajo una estrategia de pair-trading. A través de un proceso de selección de pares de acciones se investiga si m...

Full description

Autores:
Quintero González , Cristian
Tipo de recurso:
Article of journal
Fecha de publicación:
2024
Institución:
Universidad Externado de Colombia
Repositorio:
Biblioteca Digital Universidad Externado de Colombia
Idioma:
spa
OAI Identifier:
oai:bdigital.uexternado.edu.co:001/25300
Acceso en línea:
https://bdigital.uexternado.edu.co/handle/001/25300
https://doi.org/10.18601/17941113.n26.04
Palabra clave:
Reinforcement learning;
trading;
statistical arbitrage;
pair-trading
aprendizaje reforzado;
arbitraje estadístico;
pair-trading;
trading
Rights
openAccess
License
Cristian Quintero González - 2024
id uexternad2_da4e72296a3eac893fb9fe922b5ddc98
oai_identifier_str oai:bdigital.uexternado.edu.co:001/25300
network_acronym_str uexternad2
network_name_str Biblioteca Digital Universidad Externado de Colombia
repository_id_str
dc.title.spa.fl_str_mv Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
dc.title.translated.eng.fl_str_mv Reinforcement learning in pair-trading Application for a pair-trading strategy
title Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
spellingShingle Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
Reinforcement learning;
trading;
statistical arbitrage;
pair-trading
aprendizaje reforzado;
arbitraje estadístico;
pair-trading;
trading
title_short Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
title_full Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
title_fullStr Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
title_full_unstemmed Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
title_sort Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
dc.creator.fl_str_mv Quintero González , Cristian
dc.contributor.author.spa.fl_str_mv Quintero González , Cristian
dc.subject.eng.fl_str_mv Reinforcement learning;
trading;
statistical arbitrage;
pair-trading
topic Reinforcement learning;
trading;
statistical arbitrage;
pair-trading
aprendizaje reforzado;
arbitraje estadístico;
pair-trading;
trading
dc.subject.spa.fl_str_mv aprendizaje reforzado;
arbitraje estadístico;
pair-trading;
trading
description Este estudio explora las implicaciones de la implementación de técnicas de apren­dizaje reforzado para el trading de acciones parte del índice S&P 500 al 15 de octubre de 2022, bajo una estrategia de pair-trading. A través de un proceso de selección de pares de acciones se investiga si modelos de aprendizaje reforzado ofrecen una ventaja frente estrategias más simples. Los resultados indicaron sorpresivamente que modelos entrenados con entornos sencillos como el que no permite posiciones en corto, producen una mayor y constante rentabilidad, si se compara con los agentes entrenados en entornos con mayor complejidad lógica como lo son el de proporción del saldo disponible para entrar en posiciones según el conjunto de acciones y β-balanceado. Adicionalmente se observó que un incremento en el número de pasos por episodio, que generalmente lleva a con­sumir un mayor tiempo de entrenamiento para el hardware usado, no es garantía de mejorar considerablemente la varianza de la distribución de rentabilidades potenciales en los datos de trading, como tampoco es una variable que permita mejorar significativamente la media del retorno u otros indicadores, lo que se evidencia también en los valores value loss y policy loss, los cuales se tornaban explosivos y más volátiles luego de un valor de episodios determinado.
publishDate 2024
dc.date.accessioned.none.fl_str_mv 2024-12-05T12:44:37Z
2025-04-09T17:21:27Z
dc.date.available.none.fl_str_mv 2024-12-05T12:44:37Z
2025-04-09T17:21:27Z
dc.date.issued.none.fl_str_mv 2024-12-05
dc.type.spa.fl_str_mv Artículo de revista
dc.type.coar.fl_str_mv http://purl.org/coar/resource_type/c_2df8fbb1
dc.type.coar.spa.fl_str_mv http://purl.org/coar/resource_type/c_6501
dc.type.coarversion.spa.fl_str_mv http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.content.spa.fl_str_mv Text
dc.type.driver.spa.fl_str_mv info:eu-repo/semantics/article
dc.type.local.eng.fl_str_mv Journal article
dc.type.redcol.spa.fl_str_mv http://purl.org/redcol/resource_type/ARTREF
dc.type.version.spa.fl_str_mv info:eu-repo/semantics/publishedVersion
format http://purl.org/coar/resource_type/c_6501
status_str publishedVersion
dc.identifier.doi.none.fl_str_mv 10.18601/17941113.n26.04
dc.identifier.eissn.none.fl_str_mv 2346-2140
dc.identifier.issn.none.fl_str_mv 1794-1113
dc.identifier.uri.none.fl_str_mv https://bdigital.uexternado.edu.co/handle/001/25300
dc.identifier.url.none.fl_str_mv https://doi.org/10.18601/17941113.n26.04
identifier_str_mv 10.18601/17941113.n26.04
2346-2140
1794-1113
url https://bdigital.uexternado.edu.co/handle/001/25300
https://doi.org/10.18601/17941113.n26.04
dc.language.iso.spa.fl_str_mv spa
language spa
dc.relation.bitstream.none.fl_str_mv https://revistas.uexternado.edu.co/index.php/odeon/article/download/10070/17165
dc.relation.citationedition.spa.fl_str_mv Núm. 26 , Año 2024 : Enero-Junio
dc.relation.citationendpage.none.fl_str_mv 93
dc.relation.citationissue.spa.fl_str_mv 26
dc.relation.citationstartpage.none.fl_str_mv 55
dc.relation.ispartofjournal.spa.fl_str_mv ODEON
dc.relation.references.spa.fl_str_mv Ait-Sahala, Y. (2002). Maximum likelihood estimation of discretely sampled diffusions: A closed-form approximation approach. Econometrica, 70(1), 223-262.
Bertram, W. (2009). Optimal trading Strategies for Ito diffusion processes. Physica A: Statistical mechanics and its applications, 338, 2865-2873.
Bertram, W. (2010). Analytic solution for optimal statistical arbitrage trading. Physica A: Statistical mechanics and its applications, 389, 2234-2243.
Carapuco, J., Neves, R. y Horta, N. (2018). Reinforcement learning applied to forex trading. Applied Soft Computing Journal, 73, 783-794.
Carr, P. y Wu, L. (2004). Time-changed Levy processes and option pricing. Journal of financial economics, 1(71), 113-141.
Carta, S., Corriga, A., Ferreira, A. y Podda, A. (2021). A multi-layer and multi-ensemble stock trader using deep learning. Applied Science, 51, 889-905.
Chakole, J., Kolhe, M., Mahapurush, G., Yadav, A. y Kurhekar, M. (2021). A Q-learning agent for automated trading in equity stock markets. Expert Systems with Applications, 163, 1-12.
Do, B. y Faff, R. (2010). Does simple pairs trading still work? Financial Analysts Journal, CFA Institute, 66(4), 83-95.
Goncu, A. y Akildirim, E. (2016). A stochastic model for commoditiy pairs trading. Quantitative Finance, 16(12), 1843-1857.
Haress, E. M. y Yaozhong, H. (2021). Estimation of all parameters in the fractional Ornstein-Uhlenbeck model under discrete observations. Statistical inference for stochastic processes, 24, 327-351.
Huang, C. Y. (2018). Financial trading as a game: A deep reinforcement learning approach. arXiv preprint arXiv, 1807(02787), 1-15.
Konlack, V. y Wilcox, D. (2014). A comparison of generalized hyperbolic distribution models for equity returns. Journal of applied mathematics (15).
Kowalik, P., Kjellevold, A. y Gropen, S. (2019). A deep reinforcement learning approach for stock trading [Tesis de maestría]. Norwegian University of Science y Technology.
Krauss, C. (2015). Statistical arbitrage pairs trading strategies: Review and outlook. En Working Paper 09. Institut für Wirtschaftspolitik und Quantitative Wirtschaftsforschung.
Leung, T. y Xin, L. (2016). Optimal mean reversion: Mathematical analysis and practical applications. World Scientific.
Liang, Z., Chen, H., Zhu, J., Jiang K. y Li, Y. (2018). Adversarial deep reinforcement learning in portfolio management. En arXiv.
Madan, D., Carr, P. y Chang, E. (1999). The Variance Gamma process and option pricing. European Finance Review, 2(1), 79-105.
Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A., Veness, J., Bellemare, M. […] Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529-533.
Mnih, V., Puigdome`nech, A., Mirza, M., Graves, A., Lillicrap, T., Harley, T., Silver, D. y Kavukcuoglu, K. (2016). Asynchronous Methods for Deep Reinforcement Learning. CoRR. arXiv, 1602(01783). http://arxiv.org/abs/1602. 01783
Plaat, A. (2022). Deep reinforcement learning. Springer.
Schulman, J., Wolski, F., Dhariwal, P., Radford, A. y Klimov, O. (2017). “Proximal Policy Optimization Algorithms”. CoRR abs, 1707(06347). http://arxiv.org/abs/1707.06347
Schwartz, E. (1997). Stochastic behavior of commodity prices: Implications for valuation and hedging. Journal of Finance, 52(2), 923-973.
Stock, J. y Watson, M. (1988). Testing for common trends. Journal of american Statistical Association, 83(404), 1097-1107.
Sun, S., Wang, R. y An, B. (2021). Reinforcement learning for quantitative trading. arXiv ePrint.
Vidyamurthi, G. (2004). Pairs trading: Quantitative methods and analysis. Wiley Finance.
Yang, H., Liu, X., Zhong, S. y Walid, A. (2020). Deep Reinforcement Learning for Automated Stock Trading: An Ensemble Strategy. SSRN. 10.2139/ssrn.3690996.
Zeng, Z. y Lee, C. C. (2014). Pairs trading: optimal threshold and profitability. Quantitative Finance, 14(11), 1881-1893.
dc.rights.spa.fl_str_mv Cristian Quintero González - 2024
dc.rights.accessrights.spa.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.spa.fl_str_mv http://purl.org/coar/access_right/c_abf2
dc.rights.uri.spa.fl_str_mv http://creativecommons.org/licenses/by-nc-sa/4.0
rights_invalid_str_mv Cristian Quintero González - 2024
http://purl.org/coar/access_right/c_abf2
http://creativecommons.org/licenses/by-nc-sa/4.0
eu_rights_str_mv openAccess
dc.format.mimetype.spa.fl_str_mv application/pdf
dc.publisher.spa.fl_str_mv Universidad Externado de Colombia
dc.source.spa.fl_str_mv https://revistas.uexternado.edu.co/index.php/odeon/article/view/10070
institution Universidad Externado de Colombia
bitstream.url.fl_str_mv https://bdigital.uexternado.edu.co/bitstreams/bc32aefb-7eb7-46cc-95ab-ba711e7ffee9/download
bitstream.checksum.fl_str_mv ee733339a9afd65b650806e1a850df2b
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Universidad Externado de Colombia
repository.mail.fl_str_mv metabiblioteca@metabiblioteca.org
_version_ 1834110523830960128
spelling Quintero González , Cristian2024-12-05T12:44:37Z2025-04-09T17:21:27Z2024-12-05T12:44:37Z2025-04-09T17:21:27Z2024-12-05Este estudio explora las implicaciones de la implementación de técnicas de apren­dizaje reforzado para el trading de acciones parte del índice S&P 500 al 15 de octubre de 2022, bajo una estrategia de pair-trading. A través de un proceso de selección de pares de acciones se investiga si modelos de aprendizaje reforzado ofrecen una ventaja frente estrategias más simples. Los resultados indicaron sorpresivamente que modelos entrenados con entornos sencillos como el que no permite posiciones en corto, producen una mayor y constante rentabilidad, si se compara con los agentes entrenados en entornos con mayor complejidad lógica como lo son el de proporción del saldo disponible para entrar en posiciones según el conjunto de acciones y β-balanceado. Adicionalmente se observó que un incremento en el número de pasos por episodio, que generalmente lleva a con­sumir un mayor tiempo de entrenamiento para el hardware usado, no es garantía de mejorar considerablemente la varianza de la distribución de rentabilidades potenciales en los datos de trading, como tampoco es una variable que permita mejorar significativamente la media del retorno u otros indicadores, lo que se evidencia también en los valores value loss y policy loss, los cuales se tornaban explosivos y más volátiles luego de un valor de episodios determinado.This study explores the implications of implementing reinforcement learn­ing algorithms on pair-trading strategies. Through a detailed analysis of three selected learning environments, it investigates how algortihms such as A2C and PPO perform when learning by being rewarded based on profit and loss. Findings suggest that a pure pair-trading strategy cannot outoperform a straigforward/ classical approach on pair-trading strategy, named delta distance. This paper discusses the challenges and opportunities associated with this implementation letting the reader to perform an extension considering the challenges presented thereof. The results surprisingly showed that models trained in simple environ­ments, such as the one that does not allow short positions, produce greater and constant profitability compared to agents trained in environments of greater logical complexity, such as the proportion of the balance available to enter. in positions according to the set of actions and β-balanced. In addition, it was observed that increasing the number of steps per episode, which generally leads to consuming a greater training time for the hardware used, does not guarantee a significant improvement in the variance of the distribution of potential returns in the trading data, such as Nor is it a variable that allows a significant improve­ment in the average return or other indicators, also evidenced by the value loss and policy loss values, which became explosive and more volatile after a certain value of episodes.application/pdf10.18601/17941113.n26.042346-21401794-1113https://bdigital.uexternado.edu.co/handle/001/25300https://doi.org/10.18601/17941113.n26.04spaUniversidad Externado de Colombiahttps://revistas.uexternado.edu.co/index.php/odeon/article/download/10070/17165Núm. 26 , Año 2024 : Enero-Junio932655ODEONAit-Sahala, Y. (2002). Maximum likelihood estimation of discretely sampled diffusions: A closed-form approximation approach. Econometrica, 70(1), 223-262.Bertram, W. (2009). Optimal trading Strategies for Ito diffusion processes. Physica A: Statistical mechanics and its applications, 338, 2865-2873.Bertram, W. (2010). Analytic solution for optimal statistical arbitrage trading. Physica A: Statistical mechanics and its applications, 389, 2234-2243.Carapuco, J., Neves, R. y Horta, N. (2018). Reinforcement learning applied to forex trading. Applied Soft Computing Journal, 73, 783-794.Carr, P. y Wu, L. (2004). Time-changed Levy processes and option pricing. Journal of financial economics, 1(71), 113-141.Carta, S., Corriga, A., Ferreira, A. y Podda, A. (2021). A multi-layer and multi-ensemble stock trader using deep learning. Applied Science, 51, 889-905.Chakole, J., Kolhe, M., Mahapurush, G., Yadav, A. y Kurhekar, M. (2021). A Q-learning agent for automated trading in equity stock markets. Expert Systems with Applications, 163, 1-12.Do, B. y Faff, R. (2010). Does simple pairs trading still work? Financial Analysts Journal, CFA Institute, 66(4), 83-95.Goncu, A. y Akildirim, E. (2016). A stochastic model for commoditiy pairs trading. Quantitative Finance, 16(12), 1843-1857.Haress, E. M. y Yaozhong, H. (2021). Estimation of all parameters in the fractional Ornstein-Uhlenbeck model under discrete observations. Statistical inference for stochastic processes, 24, 327-351.Huang, C. Y. (2018). Financial trading as a game: A deep reinforcement learning approach. arXiv preprint arXiv, 1807(02787), 1-15.Konlack, V. y Wilcox, D. (2014). A comparison of generalized hyperbolic distribution models for equity returns. Journal of applied mathematics (15).Kowalik, P., Kjellevold, A. y Gropen, S. (2019). A deep reinforcement learning approach for stock trading [Tesis de maestría]. Norwegian University of Science y Technology.Krauss, C. (2015). Statistical arbitrage pairs trading strategies: Review and outlook. En Working Paper 09. Institut für Wirtschaftspolitik und Quantitative Wirtschaftsforschung.Leung, T. y Xin, L. (2016). Optimal mean reversion: Mathematical analysis and practical applications. World Scientific.Liang, Z., Chen, H., Zhu, J., Jiang K. y Li, Y. (2018). Adversarial deep reinforcement learning in portfolio management. En arXiv.Madan, D., Carr, P. y Chang, E. (1999). The Variance Gamma process and option pricing. European Finance Review, 2(1), 79-105.Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A., Veness, J., Bellemare, M. […] Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529-533.Mnih, V., Puigdome`nech, A., Mirza, M., Graves, A., Lillicrap, T., Harley, T., Silver, D. y Kavukcuoglu, K. (2016). Asynchronous Methods for Deep Reinforcement Learning. CoRR. arXiv, 1602(01783). http://arxiv.org/abs/1602. 01783Plaat, A. (2022). Deep reinforcement learning. Springer.Schulman, J., Wolski, F., Dhariwal, P., Radford, A. y Klimov, O. (2017). “Proximal Policy Optimization Algorithms”. CoRR abs, 1707(06347). http://arxiv.org/abs/1707.06347Schwartz, E. (1997). Stochastic behavior of commodity prices: Implications for valuation and hedging. Journal of Finance, 52(2), 923-973.Stock, J. y Watson, M. (1988). Testing for common trends. Journal of american Statistical Association, 83(404), 1097-1107.Sun, S., Wang, R. y An, B. (2021). Reinforcement learning for quantitative trading. arXiv ePrint.Vidyamurthi, G. (2004). Pairs trading: Quantitative methods and analysis. Wiley Finance.Yang, H., Liu, X., Zhong, S. y Walid, A. (2020). Deep Reinforcement Learning for Automated Stock Trading: An Ensemble Strategy. SSRN. 10.2139/ssrn.3690996.Zeng, Z. y Lee, C. C. (2014). Pairs trading: optimal threshold and profitability. Quantitative Finance, 14(11), 1881-1893.Cristian Quintero González - 2024info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.http://creativecommons.org/licenses/by-nc-sa/4.0https://revistas.uexternado.edu.co/index.php/odeon/article/view/10070Reinforcement learning;trading;statistical arbitrage;pair-tradingaprendizaje reforzado;arbitraje estadístico;pair-trading;tradingAprendizaje reforzado en pair-trading Aplicación para una estrategia pair-tradingReinforcement learning in pair-trading Application for a pair-trading strategyArtículo de revistahttp://purl.org/coar/resource_type/c_6501http://purl.org/coar/resource_type/c_2df8fbb1http://purl.org/coar/version/c_970fb48d4fbd8a85Textinfo:eu-repo/semantics/articleJournal articlehttp://purl.org/redcol/resource_type/ARTREFinfo:eu-repo/semantics/publishedVersionPublicationOREORE.xmltext/xml2537https://bdigital.uexternado.edu.co/bitstreams/bc32aefb-7eb7-46cc-95ab-ba711e7ffee9/downloadee733339a9afd65b650806e1a850df2bMD51001/25300oai:bdigital.uexternado.edu.co:001/253002025-04-09 12:21:27.321http://creativecommons.org/licenses/by-nc-sa/4.0Cristian Quintero González - 2024https://bdigital.uexternado.edu.coUniversidad Externado de Colombiametabiblioteca@metabiblioteca.org

Publicaciones similares