Estrategias para desplegar modelos de Machine Learning en sistemas embebidos

En este documento se analiza y compara el desempeño y precisión de la inferencia de un caso de estudio sencillo de Machine Learning implementado en plataformas dónde se usan técnicas de paralelización, cuantificación y compresión, con el fin de establecer estrategias y recomendaciones para desplegar...

Full description

Autores:
Díaz Delgado, Juan David
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2022
Institución:
Universidad de los Andes
Repositorio:
Séneca: repositorio Uniandes
Idioma:
spa
OAI Identifier:
oai:repositorio.uniandes.edu.co:1992/64159
Acceso en línea:
http://hdl.handle.net/1992/64159
Palabra clave:
Técnicas de compresión
Poda de parámetros
Cuantificación
FPGA
Knowledge distillation
Sistemas embebidos
Ingeniería
Rights
openAccess
License
Atribución-NoComercial 4.0 Internacional
id UNIANDES2_c0b9714ecf2c8fcc1b355a05606fcf58
oai_identifier_str oai:repositorio.uniandes.edu.co:1992/64159
network_acronym_str UNIANDES2
network_name_str Séneca: repositorio Uniandes
repository_id_str
dc.title.none.fl_str_mv Estrategias para desplegar modelos de Machine Learning en sistemas embebidos
title Estrategias para desplegar modelos de Machine Learning en sistemas embebidos
spellingShingle Estrategias para desplegar modelos de Machine Learning en sistemas embebidos
Técnicas de compresión
Poda de parámetros
Cuantificación
FPGA
Knowledge distillation
Sistemas embebidos
Ingeniería
title_short Estrategias para desplegar modelos de Machine Learning en sistemas embebidos
title_full Estrategias para desplegar modelos de Machine Learning en sistemas embebidos
title_fullStr Estrategias para desplegar modelos de Machine Learning en sistemas embebidos
title_full_unstemmed Estrategias para desplegar modelos de Machine Learning en sistemas embebidos
title_sort Estrategias para desplegar modelos de Machine Learning en sistemas embebidos
dc.creator.fl_str_mv Díaz Delgado, Juan David
dc.contributor.advisor.none.fl_str_mv García Cárdenas, Juan José
Segura Quijano, Fredy Enrique
dc.contributor.author.none.fl_str_mv Díaz Delgado, Juan David
dc.contributor.jury.none.fl_str_mv Sotelo Neira, Diana Marcela
dc.subject.keyword.none.fl_str_mv Técnicas de compresión
Poda de parámetros
Cuantificación
FPGA
Knowledge distillation
Sistemas embebidos
topic Técnicas de compresión
Poda de parámetros
Cuantificación
FPGA
Knowledge distillation
Sistemas embebidos
Ingeniería
dc.subject.themes.es_CO.fl_str_mv Ingeniería
description En este documento se analiza y compara el desempeño y precisión de la inferencia de un caso de estudio sencillo de Machine Learning implementado en plataformas dónde se usan técnicas de paralelización, cuantificación y compresión, con el fin de establecer estrategias y recomendaciones para desplegar redes neuronales en sistemas embebidos. Adicionalmente, se explora el uso de diferentes herramientas que facilitan la implementación de estos modelos en los sistemas embebidos.
publishDate 2022
dc.date.issued.none.fl_str_mv 2022-12-15
dc.date.accessioned.none.fl_str_mv 2023-01-25T19:25:16Z
dc.date.available.none.fl_str_mv 2023-01-25T19:25:16Z
dc.type.es_CO.fl_str_mv Trabajo de grado - Pregrado
dc.type.driver.none.fl_str_mv info:eu-repo/semantics/bachelorThesis
dc.type.version.none.fl_str_mv info:eu-repo/semantics/acceptedVersion
dc.type.coar.none.fl_str_mv http://purl.org/coar/resource_type/c_7a1f
dc.type.content.es_CO.fl_str_mv Text
dc.type.redcol.none.fl_str_mv http://purl.org/redcol/resource_type/TP
format http://purl.org/coar/resource_type/c_7a1f
status_str acceptedVersion
dc.identifier.uri.none.fl_str_mv http://hdl.handle.net/1992/64159
dc.identifier.instname.es_CO.fl_str_mv instname:Universidad de los Andes
dc.identifier.reponame.es_CO.fl_str_mv reponame:Repositorio Institucional Séneca
dc.identifier.repourl.es_CO.fl_str_mv repourl:https://repositorio.uniandes.edu.co/
url http://hdl.handle.net/1992/64159
identifier_str_mv instname:Universidad de los Andes
reponame:Repositorio Institucional Séneca
repourl:https://repositorio.uniandes.edu.co/
dc.language.iso.es_CO.fl_str_mv spa
language spa
dc.relation.references.es_CO.fl_str_mv S. Sierra Alarcón, "Split learning on low power devices for collaborative inference," Segura Quijano, Fredy Enrique, 2022.
Y. Cheng, D. Wang, P. Zhou, and T. Zhang, "A survey of model compression and acceleration for deep neural networks," Oct. 2017.
G. Hinton, O. Vinyals, and J. Dean, "Distilling the knowledge in a neural network," Mar. 2015.
STMicroelectronics, "Getting started with x-cube-ai expansion package for artificial intelligence (ai)," 2022.
M. Lebedev and P. Belecky, "A survey of open-source tools for FPGA-based inference of artificial neural networks," in 2021 Ivannikov Memorial Workshop (IVMEM). IEEE, sep 2021.
TensorFlow Developers, "Tensorflow," 2022.
Intel, "Fitter resource usage summary report," 2017. [Online]. Available: https://www.intel.com/content/www/us/en/programmable/quartushelp/17.0/mapIdTopics/mwh1465496451103.htm
Intel, "Dsp block definition," 2017. [Online]. Available: https://www.intel.com/content/www/us/en/programmable/quartushelp/17.0/reference/glossary/def_dsp_block.htm
R. Yu, A. Li, C.-F. Chen, J.-H. Lai, V. I. Morariu, X. Han, M. Gao, C.-Y. Lin, and L. S. Davis, "Nisp: Pruning networks using neuron importance score propagation," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 9194-9203.
J. Duarte, S. Han, P. Harris, S. Jindariani, E. Kreinar, B. Kreis, J. Ngadiuba, M. Pierini, R. Rivera, N. Tran et al., "Fast inference of deep neural networks in fpgas for particle physics," Journal of Instrumentation, vol. 13, no. 07, p. P07027, 2018.
A. Muthuramalingam, S. Himavathi, and E. Srinivasan, "Neural network implementation using fpga: issues and application," International Journal of Electrical and Computer Engineering, vol. 2, no. 12, pp. 2802-2808, 2008.
A. R. Omondi and J. C. Rajapakse, FPGA implementations of neural networks. Springer, 2006, vol. 365.
J. D. García Hernández, "Comparación de métodos de compresión de redes neuronales," Lozano Martínez, Fernando Enrique, 2020.
MATLAB, 9.9.0.1524771 (R2020b). Natick, Massachusetts: The MathWorks Inc., 2020.
D. Dua and C. Graff, "UCI machine learning repository," 2017. [Online]. Available: http://archive.ics.uci.edu/ml
S. Bhattiprolu, "Tutorial 91 - binary classification - breast cancer," 2021. [Online]. Available: https://colab.research.google.com/drive/1WEZxybgoxQz8Lmp_r6Zq6OHYdvwaz2Df?usp=sharing
K. Borup, "Implementation of classical knowledge distillation," 2020. [Online]. Available: https://keras.io/examples/vision/knowledge distillation/
S. Stanton, P. Izmailov, P. Kirichenko, A. A. Alemi, and A. G. Wilson, "Does knowledge distillation really work?" Jun. 2021.
dc.rights.license.spa.fl_str_mv Atribución-NoComercial 4.0 Internacional
dc.rights.uri.*.fl_str_mv http://creativecommons.org/licenses/by-nc/4.0/
dc.rights.accessrights.spa.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.spa.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv Atribución-NoComercial 4.0 Internacional
http://creativecommons.org/licenses/by-nc/4.0/
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.extent.es_CO.fl_str_mv 23 páginas
dc.format.mimetype.es_CO.fl_str_mv application/pdf
dc.publisher.es_CO.fl_str_mv Universidad de los Andes
dc.publisher.program.es_CO.fl_str_mv Ingeniería Electrónica
dc.publisher.faculty.es_CO.fl_str_mv Facultad de Ingeniería
dc.publisher.department.es_CO.fl_str_mv Departamento de Ingeniería Eléctrica y Electrónica
institution Universidad de los Andes
bitstream.url.fl_str_mv https://repositorio.uniandes.edu.co/bitstreams/cbb398f5-f25b-4ce8-a215-0fa2b0b08169/download
https://repositorio.uniandes.edu.co/bitstreams/80502566-b418-4f11-afe6-16a8f07bc51a/download
https://repositorio.uniandes.edu.co/bitstreams/82d1c375-5ca2-4b28-89a4-dfe75b24cbd9/download
https://repositorio.uniandes.edu.co/bitstreams/90d6c9a7-6787-492d-a22e-add628a6cc4e/download
https://repositorio.uniandes.edu.co/bitstreams/a280418d-a39d-4051-8569-3bd6dc05759b/download
https://repositorio.uniandes.edu.co/bitstreams/fc51bb73-a061-4d9d-a513-82cda0e17be1/download
https://repositorio.uniandes.edu.co/bitstreams/c517b155-7884-4c89-bcc1-95a178b1f42b/download
https://repositorio.uniandes.edu.co/bitstreams/17670a97-9b47-4c57-b09a-85ab5c092ffe/download
bitstream.checksum.fl_str_mv 5aa5c691a1ffe97abd12c2966efcb8d6
cb943c62ce0ebea2735a3e06d2a2a103
8c674aaba4f089e1b5e7d9fb5b1494ca
1065295061f73de575e40ad8ddda7282
623a62004ebc6e3e7358e37ffeac42c2
24013099e9e6abb1575dc6ce0855efd5
fb96d73d5c991574b892e27ea34415fe
4ef21a32597249d32f4fe8c6d0808ddb
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositorio institucional Séneca
repository.mail.fl_str_mv adminrepositorio@uniandes.edu.co
_version_ 1808390230256910336
spelling Atribución-NoComercial 4.0 Internacionalhttp://creativecommons.org/licenses/by-nc/4.0/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2García Cárdenas, Juan José4206bdff-0bdc-42b5-9c6d-691e503363a8600Segura Quijano, Fredy Enriquevirtual::4388-1Díaz Delgado, Juan Davidd67c7962-11a6-482b-a12b-fa4a39485f48600Sotelo Neira, Diana Marcela2023-01-25T19:25:16Z2023-01-25T19:25:16Z2022-12-15http://hdl.handle.net/1992/64159instname:Universidad de los Andesreponame:Repositorio Institucional Sénecarepourl:https://repositorio.uniandes.edu.co/En este documento se analiza y compara el desempeño y precisión de la inferencia de un caso de estudio sencillo de Machine Learning implementado en plataformas dónde se usan técnicas de paralelización, cuantificación y compresión, con el fin de establecer estrategias y recomendaciones para desplegar redes neuronales en sistemas embebidos. Adicionalmente, se explora el uso de diferentes herramientas que facilitan la implementación de estos modelos en los sistemas embebidos.Ingeniero ElectrónicoPregradoMachine Learning en Sistemas Embebidos23 páginasapplication/pdfspaUniversidad de los AndesIngeniería ElectrónicaFacultad de IngenieríaDepartamento de Ingeniería Eléctrica y ElectrónicaEstrategias para desplegar modelos de Machine Learning en sistemas embebidosTrabajo de grado - Pregradoinfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/acceptedVersionhttp://purl.org/coar/resource_type/c_7a1fTexthttp://purl.org/redcol/resource_type/TPTécnicas de compresiónPoda de parámetrosCuantificaciónFPGAKnowledge distillationSistemas embebidosIngenieríaS. Sierra Alarcón, "Split learning on low power devices for collaborative inference," Segura Quijano, Fredy Enrique, 2022.Y. Cheng, D. Wang, P. Zhou, and T. Zhang, "A survey of model compression and acceleration for deep neural networks," Oct. 2017.G. Hinton, O. Vinyals, and J. Dean, "Distilling the knowledge in a neural network," Mar. 2015.STMicroelectronics, "Getting started with x-cube-ai expansion package for artificial intelligence (ai)," 2022.M. Lebedev and P. Belecky, "A survey of open-source tools for FPGA-based inference of artificial neural networks," in 2021 Ivannikov Memorial Workshop (IVMEM). IEEE, sep 2021.TensorFlow Developers, "Tensorflow," 2022.Intel, "Fitter resource usage summary report," 2017. [Online]. Available: https://www.intel.com/content/www/us/en/programmable/quartushelp/17.0/mapIdTopics/mwh1465496451103.htmIntel, "Dsp block definition," 2017. [Online]. Available: https://www.intel.com/content/www/us/en/programmable/quartushelp/17.0/reference/glossary/def_dsp_block.htmR. Yu, A. Li, C.-F. Chen, J.-H. Lai, V. I. Morariu, X. Han, M. Gao, C.-Y. Lin, and L. S. Davis, "Nisp: Pruning networks using neuron importance score propagation," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 9194-9203.J. Duarte, S. Han, P. Harris, S. Jindariani, E. Kreinar, B. Kreis, J. Ngadiuba, M. Pierini, R. Rivera, N. Tran et al., "Fast inference of deep neural networks in fpgas for particle physics," Journal of Instrumentation, vol. 13, no. 07, p. P07027, 2018.A. Muthuramalingam, S. Himavathi, and E. Srinivasan, "Neural network implementation using fpga: issues and application," International Journal of Electrical and Computer Engineering, vol. 2, no. 12, pp. 2802-2808, 2008.A. R. Omondi and J. C. Rajapakse, FPGA implementations of neural networks. Springer, 2006, vol. 365.J. D. García Hernández, "Comparación de métodos de compresión de redes neuronales," Lozano Martínez, Fernando Enrique, 2020.MATLAB, 9.9.0.1524771 (R2020b). Natick, Massachusetts: The MathWorks Inc., 2020.D. Dua and C. Graff, "UCI machine learning repository," 2017. [Online]. Available: http://archive.ics.uci.edu/mlS. Bhattiprolu, "Tutorial 91 - binary classification - breast cancer," 2021. [Online]. Available: https://colab.research.google.com/drive/1WEZxybgoxQz8Lmp_r6Zq6OHYdvwaz2Df?usp=sharingK. Borup, "Implementation of classical knowledge distillation," 2020. [Online]. Available: https://keras.io/examples/vision/knowledge distillation/S. Stanton, P. Izmailov, P. Kirichenko, A. A. Alemi, and A. G. Wilson, "Does knowledge distillation really work?" Jun. 2021.201816076Publicationhttps://scholar.google.es/citations?user=xw2k1CIAAAAJvirtual::4388-10000-0001-7757-1432virtual::4388-1https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000051497virtual::4388-17684cb09-6991-4ac4-aff9-b29fe065439fvirtual::4388-17684cb09-6991-4ac4-aff9-b29fe065439fvirtual::4388-1LICENSElicense.txtlicense.txttext/plain; charset=utf-81810https://repositorio.uniandes.edu.co/bitstreams/cbb398f5-f25b-4ce8-a215-0fa2b0b08169/download5aa5c691a1ffe97abd12c2966efcb8d6MD51ORIGINALProyecto_de_Grado-JuanDavidDiaz.pdfProyecto_de_Grado-JuanDavidDiaz.pdfDocumento Proyecto de Gradoapplication/pdf1085348https://repositorio.uniandes.edu.co/bitstreams/80502566-b418-4f11-afe6-16a8f07bc51a/downloadcb943c62ce0ebea2735a3e06d2a2a103MD54Formato de Autorizacion.pdfFormato de Autorizacion.pdfHIDEapplication/pdf81678https://repositorio.uniandes.edu.co/bitstreams/82d1c375-5ca2-4b28-89a4-dfe75b24cbd9/download8c674aaba4f089e1b5e7d9fb5b1494caMD53TEXTProyecto_de_Grado-JuanDavidDiaz.pdf.txtProyecto_de_Grado-JuanDavidDiaz.pdf.txtExtracted texttext/plain80490https://repositorio.uniandes.edu.co/bitstreams/90d6c9a7-6787-492d-a22e-add628a6cc4e/download1065295061f73de575e40ad8ddda7282MD55Formato de Autorizacion.pdf.txtFormato de Autorizacion.pdf.txtExtracted texttext/plain1236https://repositorio.uniandes.edu.co/bitstreams/a280418d-a39d-4051-8569-3bd6dc05759b/download623a62004ebc6e3e7358e37ffeac42c2MD57CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8914https://repositorio.uniandes.edu.co/bitstreams/fc51bb73-a061-4d9d-a513-82cda0e17be1/download24013099e9e6abb1575dc6ce0855efd5MD52THUMBNAILProyecto_de_Grado-JuanDavidDiaz.pdf.jpgProyecto_de_Grado-JuanDavidDiaz.pdf.jpgIM Thumbnailimage/jpeg10455https://repositorio.uniandes.edu.co/bitstreams/c517b155-7884-4c89-bcc1-95a178b1f42b/downloadfb96d73d5c991574b892e27ea34415feMD56Formato de Autorizacion.pdf.jpgFormato de Autorizacion.pdf.jpgIM Thumbnailimage/jpeg13528https://repositorio.uniandes.edu.co/bitstreams/17670a97-9b47-4c57-b09a-85ab5c092ffe/download4ef21a32597249d32f4fe8c6d0808ddbMD581992/64159oai:repositorio.uniandes.edu.co:1992/641592024-03-13 12:40:36.195http://creativecommons.org/licenses/by-nc/4.0/open.accesshttps://repositorio.uniandes.edu.coRepositorio institucional Sénecaadminrepositorio@uniandes.edu.coWW8sIGVuIG1pIGNhbGlkYWQgZGUgYXV0b3IgZGVsIHRyYWJham8gZGUgdGVzaXMsIG1vbm9ncmFmw61hIG8gdHJhYmFqbyBkZSBncmFkbywgaGFnbyBlbnRyZWdhIGRlbCBlamVtcGxhciByZXNwZWN0aXZvIHkgZGUgc3VzIGFuZXhvcyBkZSBzZXIgZWwgY2FzbywgZW4gZm9ybWF0byBkaWdpdGFsIHkvbyBlbGVjdHLDs25pY28geSBhdXRvcml6byBhIGxhIFVuaXZlcnNpZGFkIGRlIGxvcyBBbmRlcyBwYXJhIHF1ZSByZWFsaWNlIGxhIHB1YmxpY2FjacOzbiBlbiBlbCBTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIG8gZW4gY3VhbHF1aWVyIG90cm8gc2lzdGVtYSBvIGJhc2UgZGUgZGF0b3MgcHJvcGlvIG8gYWplbm8gYSBsYSBVbml2ZXJzaWRhZCB5IHBhcmEgcXVlIGVuIGxvcyB0w6lybWlub3MgZXN0YWJsZWNpZG9zIGVuIGxhIExleSAyMyBkZSAxOTgyLCBMZXkgNDQgZGUgMTk5MywgRGVjaXNpw7NuIEFuZGluYSAzNTEgZGUgMTk5MywgRGVjcmV0byA0NjAgZGUgMTk5NSB5IGRlbcOhcyBub3JtYXMgZ2VuZXJhbGVzIHNvYnJlIGxhIG1hdGVyaWEsIHV0aWxpY2UgZW4gdG9kYXMgc3VzIGZvcm1hcywgbG9zIGRlcmVjaG9zIHBhdHJpbW9uaWFsZXMgZGUgcmVwcm9kdWNjacOzbiwgY29tdW5pY2FjacOzbiBww7pibGljYSwgdHJhbnNmb3JtYWNpw7NuIHkgZGlzdHJpYnVjacOzbiAoYWxxdWlsZXIsIHByw6lzdGFtbyBww7pibGljbyBlIGltcG9ydGFjacOzbikgcXVlIG1lIGNvcnJlc3BvbmRlbiBjb21vIGNyZWFkb3IgZGUgbGEgb2JyYSBvYmpldG8gZGVsIHByZXNlbnRlIGRvY3VtZW50by4gIAoKCkxhIHByZXNlbnRlIGF1dG9yaXphY2nDs24gc2UgZW1pdGUgZW4gY2FsaWRhZCBkZSBhdXRvciBkZSBsYSBvYnJhIG9iamV0byBkZWwgcHJlc2VudGUgZG9jdW1lbnRvIHkgbm8gY29ycmVzcG9uZGUgYSBjZXNpw7NuIGRlIGRlcmVjaG9zLCBzaW5vIGEgbGEgYXV0b3JpemFjacOzbiBkZSB1c28gYWNhZMOpbWljbyBkZSBjb25mb3JtaWRhZCBjb24gbG8gYW50ZXJpb3JtZW50ZSBzZcOxYWxhZG8uIExhIHByZXNlbnRlIGF1dG9yaXphY2nDs24gc2UgaGFjZSBleHRlbnNpdmEgbm8gc29sbyBhIGxhcyBmYWN1bHRhZGVzIHkgZGVyZWNob3MgZGUgdXNvIHNvYnJlIGxhIG9icmEgZW4gZm9ybWF0byBvIHNvcG9ydGUgbWF0ZXJpYWwsIHNpbm8gdGFtYmnDqW4gcGFyYSBmb3JtYXRvIGVsZWN0csOzbmljbywgeSBlbiBnZW5lcmFsIHBhcmEgY3VhbHF1aWVyIGZvcm1hdG8gY29ub2NpZG8gbyBwb3IgY29ub2Nlci4gCgoKRWwgYXV0b3IsIG1hbmlmaWVzdGEgcXVlIGxhIG9icmEgb2JqZXRvIGRlIGxhIHByZXNlbnRlIGF1dG9yaXphY2nDs24gZXMgb3JpZ2luYWwgeSBsYSByZWFsaXrDsyBzaW4gdmlvbGFyIG8gdXN1cnBhciBkZXJlY2hvcyBkZSBhdXRvciBkZSB0ZXJjZXJvcywgcG9yIGxvIHRhbnRvLCBsYSBvYnJhIGVzIGRlIHN1IGV4Y2x1c2l2YSBhdXRvcsOtYSB5IHRpZW5lIGxhIHRpdHVsYXJpZGFkIHNvYnJlIGxhIG1pc21hLiAKCgpFbiBjYXNvIGRlIHByZXNlbnRhcnNlIGN1YWxxdWllciByZWNsYW1hY2nDs24gbyBhY2Npw7NuIHBvciBwYXJ0ZSBkZSB1biB0ZXJjZXJvIGVuIGN1YW50byBhIGxvcyBkZXJlY2hvcyBkZSBhdXRvciBzb2JyZSBsYSBvYnJhIGVuIGN1ZXN0acOzbiwgZWwgYXV0b3IgYXN1bWlyw6EgdG9kYSBsYSByZXNwb25zYWJpbGlkYWQsIHkgc2FsZHLDoSBkZSBkZWZlbnNhIGRlIGxvcyBkZXJlY2hvcyBhcXXDrSBhdXRvcml6YWRvcywgcGFyYSB0b2RvcyBsb3MgZWZlY3RvcyBsYSBVbml2ZXJzaWRhZCBhY3TDumEgY29tbyB1biB0ZXJjZXJvIGRlIGJ1ZW5hIGZlLiAKCg==