Separación de fuentes auditivas para pedagogía musical

Harmonics espera apoyar a la pedagogía musical, ofreciendo un producto concreto con el cual los interesados en aprender a tocar un instrumento puedan practicar. Se entrenó un modelo para identificar y aislar las pistas singulares de una canción, por medio de TensorFlow y herramientas para realizar l...

Full description

Autores:: Lancheros Molano, Randy Darrell
Triana Perez, Juan Sebastián
Castañeda Chaparro, Juan Felipe
Gutiérrez Naranjo, Felipe Andrés
Rueda Olarte, Andrea del Pilar

Tipo de recurso:: Article of investigation

Fecha de publicación:: 2021

Institución:: Universidad Autónoma de Bucaramanga - UNAB

Repositorio:: Repositorio UNAB

Idioma:: spa

id	UNAB2_7ce02230197b8d14acbe24ebedbdeca0
oai_identifier_str	oai:repository.unab.edu.co:20.500.12749/26460
network_acronym_str	UNAB2
network_name_str	Repositorio UNAB
repository_id_str
dc.title.spa.fl_str_mv	Separación de fuentes auditivas para pedagogía musical
dc.title.translated.eng.fl_str_mv	Sound source separation for musical pedagogy
title	Separación de fuentes auditivas para pedagogía musical
spellingShingle	Separación de fuentes auditivas para pedagogía musical Aprendizaje de máquina Separación de fuentes auditivas Generación de partituras Aplicación web Machine learning Sound source separation Sheet music generation Web application
title_short	Separación de fuentes auditivas para pedagogía musical
title_full	Separación de fuentes auditivas para pedagogía musical
title_fullStr	Separación de fuentes auditivas para pedagogía musical
title_full_unstemmed	Separación de fuentes auditivas para pedagogía musical
title_sort	Separación de fuentes auditivas para pedagogía musical
dc.creator.fl_str_mv	Lancheros Molano, Randy Darrell Triana Perez, Juan Sebastián Castañeda Chaparro, Juan Felipe Gutiérrez Naranjo, Felipe Andrés Rueda Olarte, Andrea del Pilar
dc.contributor.author.none.fl_str_mv	Lancheros Molano, Randy Darrell Triana Perez, Juan Sebastián Castañeda Chaparro, Juan Felipe Gutiérrez Naranjo, Felipe Andrés Rueda Olarte, Andrea del Pilar
dc.subject.spa.fl_str_mv	Aprendizaje de máquina Separación de fuentes auditivas Generación de partituras Aplicación web
topic	Aprendizaje de máquina Separación de fuentes auditivas Generación de partituras Aplicación web Machine learning Sound source separation Sheet music generation Web application
dc.subject.keywords.eng.fl_str_mv	Machine learning Sound source separation Sheet music generation Web application
description	Harmonics espera apoyar a la pedagogía musical, ofreciendo un producto concreto con el cual los interesados en aprender a tocar un instrumento puedan practicar. Se entrenó un modelo para identificar y aislar las pistas singulares de una canción, por medio de TensorFlow y herramientas para realizar la separación de fuentes auditivas y producir partituras genuinas, basadas en un algoritmo de transcripción musical (para pianos, bajos, batería y voz, específicamente), que los principiantes puedan visualizar, editar y descargar (en formatos .PDF y .MIDI), ajustándose a su ritmo de práctica. Se consideraron tres métodos de separación de fuentes, bajo las siguientes restricciones: emplear una única canción como archivo de entrada, que ésta fuera moderadamente compleja (compuesta por un conjunto de entre tres y seis instrumentos) y que la cantidad de muestras –canciones compuestas por instrumentos relevantes y pistas de cada instrumento por separado– aptas para el entrenamiento del modelo, sean sumamente escasas.
publishDate	2021
dc.date.issued.none.fl_str_mv	2021-04-15
dc.date.accessioned.none.fl_str_mv	2024-09-10T20:47:37Z
dc.date.available.none.fl_str_mv	2024-09-10T20:47:37Z
dc.type.coarversion.fl_str_mv	http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.driver.none.fl_str_mv	info:eu-repo/semantics/article
dc.type.local.spa.fl_str_mv	Artículo
dc.type.coar.none.fl_str_mv	http://purl.org/coar/resource_type/c_2df8fbb1
dc.type.redcol.none.fl_str_mv	http://purl.org/redcol/resource_type/ART
format	http://purl.org/coar/resource_type/c_2df8fbb1
dc.identifier.issn.spa.fl_str_mv	ISSN: 1657-2831 e-ISSN: 2539-2115
dc.identifier.uri.none.fl_str_mv	http://hdl.handle.net/20.500.12749/26460
dc.identifier.instname.spa.fl_str_mv	instname:Universidad Autónoma de Bucaramanga UNAB
dc.identifier.repourl.spa.fl_str_mv	repourl:https://repository.unab.edu.co
dc.identifier.doi.none.fl_str_mv	https://doi.org/10.29375/25392115.4151
identifier_str_mv	ISSN: 1657-2831 e-ISSN: 2539-2115 instname:Universidad Autónoma de Bucaramanga UNAB repourl:https://repository.unab.edu.co
url	http://hdl.handle.net/20.500.12749/26460 https://doi.org/10.29375/25392115.4151
dc.language.iso.spa.fl_str_mv	spa
language	spa
dc.relation.spa.fl_str_mv	https://revistas.unab.edu.co/index.php/rcc/article/view/4151/3404
dc.relation.uri.spa.fl_str_mv	https://revistas.unab.edu.co/index.php/rcc/issue/view/273
dc.relation.references.none.fl_str_mv	Agile Alliance. (2021). Kanban. https://www.agilealliance.org/glossary/kanban/ Byrne, R. W., & Russon, A. E. (1998). Learning by imitation: A hierarchical approach. Behavioral and Brain Sciences, 21(5), 667–684. https://doi.org/10.1017/S0140525X98001745 Cano, E., FitzGerald, D., Liutkus, A., Plumbley, M. D., & Stoter, F.-R. (2019). Musical Source Separation: An Introduction. IEEE Signal Processing Magazine, 36(1), 31–40. https://doi.org/10.1109/MSP.2018.2874719 Duan, Z., Mysore, G. J., & Smaragdis, P. (2012). Online PLCA for Real-Time Semi-supervised Source Separation. In F. Theis, A. Cichocki, A. Yeredor, & M. Zibulevsky (Eds.), Latent Variable Analysis and Signal Separation. LVA/ICA 2012. Lecture Notes in Computer Science (pp. 34–41). Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-28551-6_5 Encode OSS. (2021). Django REST framework. https://www.django-rest-framework.org Gao, B., Woo, W. L., & Dlay, S. S. (2008). Single channel audio source separation. WSEAS Transactions on Signal Processing, 4(4), 173–182. Gómez, E., Grachten, M., Hanjalic, A., Janer, J., Jordà, S., Julià, C. F., Liem, C., Martorell, A., Schedl, M., & Widmer, G. (2013). PHENICX: Performances as Highly Enriched aNd Interactive Concert Experiences. SMAC Stockholm Music Acoustics Conference 2013 and SMC Sound and Music Computing Conference 2013, 1–8. He, P., She, T., Li, W., & Yuan, W. (2018). Single channel blind source separation on the instantaneous mixed signal of multiple dynamic sources. Mechanical Systems and Signal Processing, 113, 22–35. https://doi.org/10.1016/j.ymssp.2017.04.004 Hennequin, R., Khlif, A., Voituret, F., & Moussallam, M. (2020). Spleeter: a fast and efficient music source separation tool with pre-trained models. Journal of Open Source Software, 5(50), 2154. https://doi.org/10.21105/joss.02154 Jansson, A., Humphrey, E., Montecchio, N., Bittner, R., Kumar, A., & Weyde, T. (2017). Singing voice separation with deep U-Net convolutional networks. Proceedings of the 18th International Society for Music Information Retrieval Conference, ISMIR 2017, 745–751. Jouny, I. (2007). Improving music algorithm using BSS. 2007 IEEE Antennas and Propagation Society International Symposium, 5267–5270. https://doi.org/10.1109/APS.2007.4396735 Lebler, D. (2008). Popular music pedagogy: peer learning in practice. Music Education Research, 10(2), 193–213. https://doi.org/10.1080/14613800802079056 Naik, G. R., & Wang, W. (2014). Blind Source Separation. Advances in Theory, Algorithms and Applications (G. R. Naik & W. Wang (eds.)). Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-642-55016-4 Pepino, L., & Bender, L. (2018). Separación de fuentes musicales mediante redes neuronales convolucionales con múltiples decodificadores. IV Jornadas JAAS 2018, 1–7. Peretz, I. (2006). The nature of music from a biological perspective. Cognition, 100(1), 1–32. https://doi.org/10.1016/j.cognition.2005.11.004 Rafii, Z., Liutkus, A., Stöter, F.-R., Mimilakis, S. I., & Bittner, R. (2017). The MUSDB18 corpus for music separation. https://doi.org/10.5281/zenodo.1117372 Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional Networks for Biomedical Image Segmentation. In Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science (pp. 234–241). Springer, Cham. https://doi.org/10.1007/978-3-319-24574-4_28 Roulston, K., Jutras, P., & Kim, S. J. (2015). Adult perspectives of learning musical instruments. International Journal of Music Education, 33(3), 325–335. https://doi.org/10.1177/0255761415584291 Salamon, J., & Gomez, E. (2012). Melody Extraction From Polyphonic Music Signals Using Pitch Contour Characteristics. IEEE Transactions on Audio, Speech, and Language Processing, 20(6), 1759–1770. https://doi.org/10.1109/TASL.2012.2188515 Shinde, P. P., & Shah, S. (2018). A Review of Machine Learning and Deep Learning Applications. 2018 Fourth International Conference on Computing Communication Control and Automation (ICCUBEA), 1–6. https://doi.org/10.1109/ICCUBEA.2018.8697857 Wytock, M., & Kolter, J. (2014). Contextually Supervised Source Separation with Application to Energy Disaggregation. Proceedings of the AAAI Conference on Artificial Intelligence, 486–492. https://ojs.aaai.org/index.php/AAAI/article/view/8769 Yu, X., Hu, D., & Xu, J. (2013). Blind Source Separation: Theory and Applications. John Wiley & Sons, Inc.
dc.rights.coar.fl_str_mv	http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv	http://purl.org/coar/access_right/c_abf2
dc.format.mimetype.spa.fl_str_mv	application/pdf
dc.publisher.spa.fl_str_mv	Universidad Autónoma de Bucaramanga UNAB
dc.source.spa.fl_str_mv	Vol. 22 Núm. 1 (2021): Revista Colombiana de Computación (Enero-Junio); 22-33
institution	Universidad Autónoma de Bucaramanga - UNAB
bitstream.url.fl_str_mv	https://repository.unab.edu.co/bitstream/20.500.12749/26460/2/license.txt https://repository.unab.edu.co/bitstream/20.500.12749/26460/1/Art%c3%adculo.pdf https://repository.unab.edu.co/bitstream/20.500.12749/26460/3/Art%c3%adculo.pdf.jpg
bitstream.checksum.fl_str_mv	855f7d18ea80f5df821f7004dff2f316 6218ff200a4cfdca971ae3904a8062a0 ee3a9ff76487746f07f06a42a4385597
bitstream.checksumAlgorithm.fl_str_mv	MD5 MD5 MD5
repository.name.fl_str_mv	Repositorio Institucional \| Universidad Autónoma de Bucaramanga - UNAB
repository.mail.fl_str_mv	repositorio@unab.edu.co
_version_	1814277546549706752
spelling	Lancheros Molano, Randy Darrell28688b7b-e3a1-4208-b5ff-1a6b4d077a54Triana Perez, Juan Sebastián90a465e8-6276-4969-bee7-4e70512cfa61Castañeda Chaparro, Juan Felipe9094acb9-5798-4480-b66c-8ce532a2a99cGutiérrez Naranjo, Felipe Andrés52003f7d-6352-4a3b-bb19-cb44fc53ff49Rueda Olarte, Andrea del Pilarb8120305-552d-4ac2-8d60-9bbb9b11d0892024-09-10T20:47:37Z2024-09-10T20:47:37Z2021-04-15ISSN: 1657-2831e-ISSN: 2539-2115http://hdl.handle.net/20.500.12749/26460instname:Universidad Autónoma de Bucaramanga UNABrepourl:https://repository.unab.edu.cohttps://doi.org/10.29375/25392115.4151Harmonics espera apoyar a la pedagogía musical, ofreciendo un producto concreto con el cual los interesados en aprender a tocar un instrumento puedan practicar. Se entrenó un modelo para identificar y aislar las pistas singulares de una canción, por medio de TensorFlow y herramientas para realizar la separación de fuentes auditivas y producir partituras genuinas, basadas en un algoritmo de transcripción musical (para pianos, bajos, batería y voz, específicamente), que los principiantes puedan visualizar, editar y descargar (en formatos .PDF y .MIDI), ajustándose a su ritmo de práctica. Se consideraron tres métodos de separación de fuentes, bajo las siguientes restricciones: emplear una única canción como archivo de entrada, que ésta fuera moderadamente compleja (compuesta por un conjunto de entre tres y seis instrumentos) y que la cantidad de muestras –canciones compuestas por instrumentos relevantes y pistas de cada instrumento por separado– aptas para el entrenamiento del modelo, sean sumamente escasas.Harmonics hopes to support musical pedagogy, offering a concrete product with which those interested in learning to play an instrument can practice. We trained a model to identify and isolate the singular tracks of a song through TensorFlow and tools to make the separation of auditory sources and produce genuine sheet music, based on a musical transcription algorithm (specifically for pianos, basses, drums, and voice) that beginners can visualize, edit, and download (in .PDF and .MIDI formats), adjusting at their own pace. Three methods of source separation were considered, under the following restrictions: Use a single song as an input file, which it was moderately complex (composed of a set of between three and six instruments), and that the number of samples -songs composed by relevant instruments and tracks of each standalone instrument - suitable for model training, would be extremely scarce.application/pdfspaUniversidad Autónoma de Bucaramanga UNABhttps://revistas.unab.edu.co/index.php/rcc/article/view/4151/3404https://revistas.unab.edu.co/index.php/rcc/issue/view/273Agile Alliance. (2021). Kanban. https://www.agilealliance.org/glossary/kanban/Byrne, R. W., & Russon, A. E. (1998). Learning by imitation: A hierarchical approach. Behavioral and Brain Sciences, 21(5), 667–684. https://doi.org/10.1017/S0140525X98001745Cano, E., FitzGerald, D., Liutkus, A., Plumbley, M. D., & Stoter, F.-R. (2019). Musical Source Separation: An Introduction. IEEE Signal Processing Magazine, 36(1), 31–40. https://doi.org/10.1109/MSP.2018.2874719Duan, Z., Mysore, G. J., & Smaragdis, P. (2012). Online PLCA for Real-Time Semi-supervised Source Separation. In F. Theis, A. Cichocki, A. Yeredor, & M. Zibulevsky (Eds.), Latent Variable Analysis and Signal Separation. LVA/ICA 2012. Lecture Notes in Computer Science (pp. 34–41). Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-28551-6_5Encode OSS. (2021). Django REST framework. https://www.django-rest-framework.orgGao, B., Woo, W. L., & Dlay, S. S. (2008). Single channel audio source separation. WSEAS Transactions on Signal Processing, 4(4), 173–182.Gómez, E., Grachten, M., Hanjalic, A., Janer, J., Jordà, S., Julià, C. F., Liem, C., Martorell, A., Schedl, M., & Widmer, G. (2013). PHENICX: Performances as Highly Enriched aNd Interactive Concert Experiences. SMAC Stockholm Music Acoustics Conference 2013 and SMC Sound and Music Computing Conference 2013, 1–8.He, P., She, T., Li, W., & Yuan, W. (2018). Single channel blind source separation on the instantaneous mixed signal of multiple dynamic sources. Mechanical Systems and Signal Processing, 113, 22–35. https://doi.org/10.1016/j.ymssp.2017.04.004Hennequin, R., Khlif, A., Voituret, F., & Moussallam, M. (2020). Spleeter: a fast and efficient music source separation tool with pre-trained models. Journal of Open Source Software, 5(50), 2154. https://doi.org/10.21105/joss.02154Jansson, A., Humphrey, E., Montecchio, N., Bittner, R., Kumar, A., & Weyde, T. (2017). Singing voice separation with deep U-Net convolutional networks. Proceedings of the 18th International Society for Music Information Retrieval Conference, ISMIR 2017, 745–751.Jouny, I. (2007). Improving music algorithm using BSS. 2007 IEEE Antennas and Propagation Society International Symposium, 5267–5270. https://doi.org/10.1109/APS.2007.4396735Lebler, D. (2008). Popular music pedagogy: peer learning in practice. Music Education Research, 10(2), 193–213. https://doi.org/10.1080/14613800802079056Naik, G. R., & Wang, W. (2014). Blind Source Separation. Advances in Theory, Algorithms and Applications (G. R. Naik & W. Wang (eds.)). Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-642-55016-4Pepino, L., & Bender, L. (2018). Separación de fuentes musicales mediante redes neuronales convolucionales con múltiples decodificadores. IV Jornadas JAAS 2018, 1–7.Peretz, I. (2006). The nature of music from a biological perspective. Cognition, 100(1), 1–32. https://doi.org/10.1016/j.cognition.2005.11.004Rafii, Z., Liutkus, A., Stöter, F.-R., Mimilakis, S. I., & Bittner, R. (2017). The MUSDB18 corpus for music separation. https://doi.org/10.5281/zenodo.1117372Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional Networks for Biomedical Image Segmentation. In Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science (pp. 234–241). Springer, Cham. https://doi.org/10.1007/978-3-319-24574-4_28Roulston, K., Jutras, P., & Kim, S. J. (2015). Adult perspectives of learning musical instruments. International Journal of Music Education, 33(3), 325–335. https://doi.org/10.1177/0255761415584291Salamon, J., & Gomez, E. (2012). Melody Extraction From Polyphonic Music Signals Using Pitch Contour Characteristics. IEEE Transactions on Audio, Speech, and Language Processing, 20(6), 1759–1770. https://doi.org/10.1109/TASL.2012.2188515Shinde, P. P., & Shah, S. (2018). A Review of Machine Learning and Deep Learning Applications. 2018 Fourth International Conference on Computing Communication Control and Automation (ICCUBEA), 1–6. https://doi.org/10.1109/ICCUBEA.2018.8697857Wytock, M., & Kolter, J. (2014). Contextually Supervised Source Separation with Application to Energy Disaggregation. Proceedings of the AAAI Conference on Artificial Intelligence, 486–492. https://ojs.aaai.org/index.php/AAAI/article/view/8769Yu, X., Hu, D., & Xu, J. (2013). Blind Source Separation: Theory and Applications. John Wiley & Sons, Inc.Vol. 22 Núm. 1 (2021): Revista Colombiana de Computación (Enero-Junio); 22-33Aprendizaje de máquinaSeparación de fuentes auditivasGeneración de partiturasAplicación webMachine learningSound source separationSheet music generationWeb applicationSeparación de fuentes auditivas para pedagogía musicalSound source separation for musical pedagogyinfo:eu-repo/semantics/articleArtículohttp://purl.org/coar/resource_type/c_2df8fbb1http://purl.org/redcol/resource_type/ARThttp://purl.org/coar/version/c_970fb48d4fbd8a85http://purl.org/coar/access_right/c_abf2LICENSElicense.txtlicense.txttext/plain; charset=utf-8347https://repository.unab.edu.co/bitstream/20.500.12749/26460/2/license.txt855f7d18ea80f5df821f7004dff2f316MD52open accessORIGINALArtículo.pdfArtículo.pdfArtículoapplication/pdf1387802https://repository.unab.edu.co/bitstream/20.500.12749/26460/1/Art%c3%adculo.pdf6218ff200a4cfdca971ae3904a8062a0MD51open accessTHUMBNAILArtículo.pdf.jpgArtículo.pdf.jpgIM Thumbnailimage/jpeg10116https://repository.unab.edu.co/bitstream/20.500.12749/26460/3/Art%c3%adculo.pdf.jpgee3a9ff76487746f07f06a42a4385597MD53open access20.500.12749/26460oai:repository.unab.edu.co:20.500.12749/264602024-09-10 22:01:26.246open accessRepositorio Institucional \| Universidad Autónoma de Bucaramanga - UNABrepositorio@unab.edu.coTGEgUmV2aXN0YSBDb2xvbWJpYW5hIGRlIENvbXB1dGFjacOzbiBlcyBmaW5hbmNpYWRhIHBvciBsYSBVbml2ZXJzaWRhZCBBdXTDs25vbWEgZGUgQnVjYXJhbWFuZ2EuIEVzdGEgUmV2aXN0YSBubyBjb2JyYSB0YXNhIGRlIHN1bWlzacOzbiB5IHB1YmxpY2FjacOzbiBkZSBhcnTDrWN1bG9zLiBQcm92ZWUgYWNjZXNvIGxpYnJlIGlubWVkaWF0byBhIHN1IGNvbnRlbmlkbyBiYWpvIGVsIHByaW5jaXBpbyBkZSBxdWUgaGFjZXIgZGlzcG9uaWJsZSBncmF0dWl0YW1lbnRlIGludmVzdGlnYWNpw7NuIGFsIHDDumJsaWNvIGFwb3lhIGEgdW4gbWF5b3IgaW50ZXJjYW1iaW8gZGUgY29ub2NpbWllbnRvIGdsb2JhbC4=

Separación de fuentes auditivas para pedagogía musical

Publicaciones similares