The state of MLOps

This paper describes the current state of DevOps for Machine Learning (ML). We analyze the relationship between software engineering and data science in the ML development life cycle which has brought the necessity for specialized DevOps for ML. We review some of the recently emerged pipeline-like a...

Full description

Autores:
Varón Maya, Andrés Felipe
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2021
Institución:
Universidad de los Andes
Repositorio:
Séneca: repositorio Uniandes
Idioma:
eng
OAI Identifier:
oai:repositorio.uniandes.edu.co:1992/51495
Acceso en línea:
http://hdl.handle.net/1992/51495
Palabra clave:
Aprendizaje automático (Inteligencia artificial)
Ingeniería de software
Ciencia de datos
Ingeniería
Rights
openAccess
License
http://creativecommons.org/licenses/by-nc-nd/4.0/
id UNIANDES2_4bdaf4ef66c4bbcada9485d7c89bb3f2
oai_identifier_str oai:repositorio.uniandes.edu.co:1992/51495
network_acronym_str UNIANDES2
network_name_str Séneca: repositorio Uniandes
repository_id_str
spelling Al consultar y hacer uso de este recurso, está aceptando las condiciones de uso establecidas por los autores.http://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Casallas Gutiérrez, Rubbyvirtual::4942-1Varón Maya, Andrés Felipeab667376-fa2d-4826-908d-78a2e13e615a5002021-08-10T18:27:41Z2021-08-10T18:27:41Z2021http://hdl.handle.net/1992/5149523642.pdfinstname:Universidad de los Andesreponame:Repositorio Institucional Sénecarepourl:https://repositorio.uniandes.edu.co/This paper describes the current state of DevOps for Machine Learning (ML). We analyze the relationship between software engineering and data science in the ML development life cycle which has brought the necessity for specialized DevOps for ML. We review some of the recently emerged pipeline-like architectures and the most common components. Furthermore, we examine the most common toolchains used in DevOps and how they correlate with the tools used in MLOps. It is important to note that MLOps community has developed a vast landscape of tools to support these processes. We show many examples of how the tools tackle (or not) problems for the ML domain. We present some proposed possible solution that we found with the adoption of DevOps in the ML world. We conclude that to ensure the correct development and deployment of the ever-growing quantity of models used in the real world it is necessarily to use...Este artículo describe el estado actual de DevOps para Machine Learning (ML). En él analizamos la relación entre la ingeniería de software y la ciencia de datos en el ciclo de vida del desarrollo de ML. Esto ha provocado la necesidad de un DevOps especializado para ML. Revisamos algunas de las arquitecturas de flujos que han surgido recientemente y sus componentes más comunes. Además, examinamos los conjuntos de herramientas más utilizados en DevOps y la manera como se relacionan con las herramientas actualmente utilizadas en MLOps. Señalamos que la comunidad de MLOps ha desarrollado un amplio panorama de herramientas para apoyar estos procesos. Mostramos múltiples ejemplos de como las herramientas abordan (o no) problemas del dominio del ML. Presentamos algunas soluciones propuestas con la adopción de DevOps en el mundo del ML. Concluimos que para asegurar el correcto desarrollo y despliegue de la creciente cantidad de modelos utilizados en el mundo...Ingeniero de Sistemas y ComputaciónPregrado26 hojasapplication/pdfengUniversidad de los AndesIngeniería de Sistemas y ComputaciónFacultad de IngenieríaDepartamento de Ingeniería de Sistemas y ComputaciónThe state of MLOpsTrabajo de grado - Pregradoinfo:eu-repo/semantics/bachelorThesishttp://purl.org/coar/resource_type/c_7a1fhttp://purl.org/coar/version/c_970fb48d4fbd8a85Texthttp://purl.org/redcol/resource_type/TPAprendizaje automático (Inteligencia artificial)Ingeniería de softwareCiencia de datosIngeniería201626174Publicationhttps://scholar.google.es/citations?user=WVzxlbUAAAAJvirtual::4942-10000-0002-8857-3609virtual::4942-1https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000143049virtual::4942-12f1ccb4d-a3d1-4b1e-822e-643394f0803avirtual::4942-12f1ccb4d-a3d1-4b1e-822e-643394f0803avirtual::4942-1ORIGINAL23642.pdfapplication/pdf1738187https://repositorio.uniandes.edu.co/bitstreams/d169e4ad-51a0-4264-a36f-9e944def070e/download0bf9d764004dd8d04d784b07f2a4f716MD51TEXT23642.pdf.txt23642.pdf.txtExtracted texttext/plain55639https://repositorio.uniandes.edu.co/bitstreams/404c72fe-9f2b-4ca3-ae34-20ebc43c4df2/download881f2ac91939e893254ae9142dc3246aMD54THUMBNAIL23642.pdf.jpg23642.pdf.jpgIM Thumbnailimage/jpeg5060https://repositorio.uniandes.edu.co/bitstreams/c9a79b5e-a874-446c-a637-84d34b5d21fa/download04c7503315022dbb98bd9f05f72751d8MD551992/51495oai:repositorio.uniandes.edu.co:1992/514952024-03-13 12:48:48.718http://creativecommons.org/licenses/by-nc-nd/4.0/open.accesshttps://repositorio.uniandes.edu.coRepositorio institucional Sénecaadminrepositorio@uniandes.edu.co
dc.title.spa.fl_str_mv The state of MLOps
title The state of MLOps
spellingShingle The state of MLOps
Aprendizaje automático (Inteligencia artificial)
Ingeniería de software
Ciencia de datos
Ingeniería
title_short The state of MLOps
title_full The state of MLOps
title_fullStr The state of MLOps
title_full_unstemmed The state of MLOps
title_sort The state of MLOps
dc.creator.fl_str_mv Varón Maya, Andrés Felipe
dc.contributor.advisor.none.fl_str_mv Casallas Gutiérrez, Rubby
dc.contributor.author.none.fl_str_mv Varón Maya, Andrés Felipe
dc.subject.armarc.none.fl_str_mv Aprendizaje automático (Inteligencia artificial)
Ingeniería de software
Ciencia de datos
topic Aprendizaje automático (Inteligencia artificial)
Ingeniería de software
Ciencia de datos
Ingeniería
dc.subject.themes.none.fl_str_mv Ingeniería
description This paper describes the current state of DevOps for Machine Learning (ML). We analyze the relationship between software engineering and data science in the ML development life cycle which has brought the necessity for specialized DevOps for ML. We review some of the recently emerged pipeline-like architectures and the most common components. Furthermore, we examine the most common toolchains used in DevOps and how they correlate with the tools used in MLOps. It is important to note that MLOps community has developed a vast landscape of tools to support these processes. We show many examples of how the tools tackle (or not) problems for the ML domain. We present some proposed possible solution that we found with the adoption of DevOps in the ML world. We conclude that to ensure the correct development and deployment of the ever-growing quantity of models used in the real world it is necessarily to use...
publishDate 2021
dc.date.accessioned.none.fl_str_mv 2021-08-10T18:27:41Z
dc.date.available.none.fl_str_mv 2021-08-10T18:27:41Z
dc.date.issued.none.fl_str_mv 2021
dc.type.spa.fl_str_mv Trabajo de grado - Pregrado
dc.type.coarversion.fl_str_mv http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.driver.spa.fl_str_mv info:eu-repo/semantics/bachelorThesis
dc.type.coar.spa.fl_str_mv http://purl.org/coar/resource_type/c_7a1f
dc.type.content.spa.fl_str_mv Text
dc.type.redcol.spa.fl_str_mv http://purl.org/redcol/resource_type/TP
format http://purl.org/coar/resource_type/c_7a1f
dc.identifier.uri.none.fl_str_mv http://hdl.handle.net/1992/51495
dc.identifier.pdf.none.fl_str_mv 23642.pdf
dc.identifier.instname.spa.fl_str_mv instname:Universidad de los Andes
dc.identifier.reponame.spa.fl_str_mv reponame:Repositorio Institucional Séneca
dc.identifier.repourl.spa.fl_str_mv repourl:https://repositorio.uniandes.edu.co/
url http://hdl.handle.net/1992/51495
identifier_str_mv 23642.pdf
instname:Universidad de los Andes
reponame:Repositorio Institucional Séneca
repourl:https://repositorio.uniandes.edu.co/
dc.language.iso.none.fl_str_mv eng
language eng
dc.rights.uri.*.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.rights.accessrights.spa.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.spa.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.extent.none.fl_str_mv 26 hojas
dc.format.mimetype.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidad de los Andes
dc.publisher.program.none.fl_str_mv Ingeniería de Sistemas y Computación
dc.publisher.faculty.none.fl_str_mv Facultad de Ingeniería
dc.publisher.department.none.fl_str_mv Departamento de Ingeniería de Sistemas y Computación
publisher.none.fl_str_mv Universidad de los Andes
institution Universidad de los Andes
bitstream.url.fl_str_mv https://repositorio.uniandes.edu.co/bitstreams/d169e4ad-51a0-4264-a36f-9e944def070e/download
https://repositorio.uniandes.edu.co/bitstreams/404c72fe-9f2b-4ca3-ae34-20ebc43c4df2/download
https://repositorio.uniandes.edu.co/bitstreams/c9a79b5e-a874-446c-a637-84d34b5d21fa/download
bitstream.checksum.fl_str_mv 0bf9d764004dd8d04d784b07f2a4f716
881f2ac91939e893254ae9142dc3246a
04c7503315022dbb98bd9f05f72751d8
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositorio institucional Séneca
repository.mail.fl_str_mv adminrepositorio@uniandes.edu.co
_version_ 1818111762168283136