Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps

Detalhes bibliográficos
Autor(a) principal: Oliveira, Joao Paulo Marques
Data de Publicação: 2023
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFRN
Texto Completo: https://repositorio.ufrn.br/handle/123456789/56421
Resumo: A integração de implementações das aplicações de Aprendizagem de máquina (AM) com operações de sistemas é notoriamente mais complexa se comparada a outras aplicações no campo da Engenharia de Software. com outros tipos de aplicações na Engenharia de Software. Isto ocorre porque os sistemas de AM apresentam as mesmas dificuldades de um sistema de software comum, acrescido das dificuldades da AM. Realizar a manutenção desses sistemas também é uma tarefa complexa devido a natureza instável dos modelos de AM diante de variações nos padrões dos dados. Este trabalho realiza uma análise comparativa entre diferentes níveis de MLOps para compreender as nuances dessa integração. Adotando uma metodologia comparativa experimental, conduzimos uma revisão bibliográfica sobre MLOps e preparamos um ambiente de trabalho na Amazon Web Services (AWS). Implementamos um sistema de classificação em três diferentes níveis de MLOps, avaliando eficiência, qualidade e facilidade de manutenção. Os resultados revelam que ferramentas como MLFlow para rastreamento de métricas e registros, juntamente com soluções como Evidently para monitoramento de dados em produção, desempenham papéis cruciais na criação de um ecossistema de AM robusto e confiável. Este estudo oferece insights valiosos sobre as diferenças entre os níveis de MLOps, sublinhando a importância dessas metodologias no contexto mais amplo da integração de sistemas de aprendizado de máquina.
id UFRN_23700491a57e50a7748be56395f9b3d9
oai_identifier_str oai:https://repositorio.ufrn.br:123456789/56421
network_acronym_str UFRN
network_name_str Repositório Institucional da UFRN
repository_id_str
spelling Oliveira, Joao Paulo Marqueshttps://orcid.org/0000-0003-1138-4276http://lattes.cnpq.br/7712686175574736Júnior, Luiz Gonzaga de Queiroz Silveirahttps://orcid.org/0000-0001-6167-1893http://lattes.cnpq.br/5714183212530259Fernandes, Felipe Ricardo dos Santoshttps://orcid.org/0000-0003-0805-1796http://lattes.cnpq.br/9594127311197032Lins, Hertz Wilton de Castro2023-12-20T14:04:29Z2023-12-20T14:04:29Z2023-12-08OLIVEIRA, Joao Paulo Marques, Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps. 2023. 47 f. Trabalho de Conclusão de Curso (Graduação em Engenharia de Telecomunicações) - Departamento de Engenharia de Comunicações, Universidade Federal do Rio Grande do Norte, Natal, 2023.https://repositorio.ufrn.br/handle/123456789/56421A integração de implementações das aplicações de Aprendizagem de máquina (AM) com operações de sistemas é notoriamente mais complexa se comparada a outras aplicações no campo da Engenharia de Software. com outros tipos de aplicações na Engenharia de Software. Isto ocorre porque os sistemas de AM apresentam as mesmas dificuldades de um sistema de software comum, acrescido das dificuldades da AM. Realizar a manutenção desses sistemas também é uma tarefa complexa devido a natureza instável dos modelos de AM diante de variações nos padrões dos dados. Este trabalho realiza uma análise comparativa entre diferentes níveis de MLOps para compreender as nuances dessa integração. Adotando uma metodologia comparativa experimental, conduzimos uma revisão bibliográfica sobre MLOps e preparamos um ambiente de trabalho na Amazon Web Services (AWS). Implementamos um sistema de classificação em três diferentes níveis de MLOps, avaliando eficiência, qualidade e facilidade de manutenção. Os resultados revelam que ferramentas como MLFlow para rastreamento de métricas e registros, juntamente com soluções como Evidently para monitoramento de dados em produção, desempenham papéis cruciais na criação de um ecossistema de AM robusto e confiável. Este estudo oferece insights valiosos sobre as diferenças entre os níveis de MLOps, sublinhando a importância dessas metodologias no contexto mais amplo da integração de sistemas de aprendizado de máquina.The integration of machine learning (ML) application implementations with system operations is notably more complex compared to other applications in the field of Software Engineering. This is due to ML systems facing the same challenges as common software systems, compounded by the difficulties inherent in ML. Maintaining these systems is also a complex task due to the unstable nature of ML models when confronted with variations in data patterns.. This work conducts a comparative analysis between different levels of MLOps to understand the nuances of this integration. Adopting an experimental comparative methodology, we conducted a literature review on MLOps and set up a working environment on Amazon Web Services (AWS). We implemented a classification system at three different MLOps levels, assessing efficiency, quality, and ease of maintenance. The results reveal that tools like MLFlow for metric tracking and logging, along with solutions like Evidently for data monitoring in production, play crucial roles in creating a robust and reliable ML ecosystem. This study provides valuable insights into the differences between MLOps levels, emphasizing the importance of these methodologies in the broader context of integrating machine learning systems.Universidade Federal do Rio Grande do NorteEngenharia de TelecomunicaçõesUFRNBrasilDepartamento de Engenharia de ComunicaçõesAttribution 3.0 Brazilhttp://creativecommons.org/licenses/by/3.0/br/info:eu-repo/semantics/openAccessCNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::PROBABILIDADE E ESTATISTICA APLICADASMLOpsAprendizagem de máquinaDevopsIntegração ContínuaEntrega ContínuaAnálise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOpsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNORIGINALTCC___Joao_Paulo.pdfTCC___Joao_Paulo.pdfapplication/pdf2065780https://repositorio.ufrn.br/bitstream/123456789/56421/1/TCC___Joao_Paulo.pdfaea7ee2a9e52d9445a97a861b5e8dfc9MD51ficha_aprovacao.pdfficha_aprovacao.pdfapplication/pdf192918https://repositorio.ufrn.br/bitstream/123456789/56421/4/ficha_aprovacao.pdfe0757561e3f830e6ebcf0b88c034b4e6MD54CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8914https://repositorio.ufrn.br/bitstream/123456789/56421/2/license_rdf4d2950bda3d176f570a9f8b328dfbbefMD52LICENSElicense.txtlicense.txttext/plain; charset=utf-81484https://repositorio.ufrn.br/bitstream/123456789/56421/5/license.txte9597aa2854d128fd968be5edc8a28d9MD55123456789/564212023-12-20 11:04:29.813oai:https://repositorio.ufrn.br:123456789/56421Tk9OLUVYQ0xVU0lWRSBESVNUUklCVVRJT04gTElDRU5TRQoKCkJ5IHNpZ25pbmcgYW5kIGRlbGl2ZXJpbmcgdGhpcyBsaWNlbnNlLCBNci4gKGF1dGhvciBvciBjb3B5cmlnaHQgaG9sZGVyKToKCgphKSBHcmFudHMgdGhlIFVuaXZlcnNpZGFkZSBGZWRlcmFsIFJpbyBHcmFuZGUgZG8gTm9ydGUgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgb2YKcmVwcm9kdWNlLCBjb252ZXJ0IChhcyBkZWZpbmVkIGJlbG93KSwgY29tbXVuaWNhdGUgYW5kIC8gb3IKZGlzdHJpYnV0ZSB0aGUgZGVsaXZlcmVkIGRvY3VtZW50IChpbmNsdWRpbmcgYWJzdHJhY3QgLyBhYnN0cmFjdCkgaW4KZGlnaXRhbCBvciBwcmludGVkIGZvcm1hdCBhbmQgaW4gYW55IG1lZGl1bS4KCmIpIERlY2xhcmVzIHRoYXQgdGhlIGRvY3VtZW50IHN1Ym1pdHRlZCBpcyBpdHMgb3JpZ2luYWwgd29yaywgYW5kIHRoYXQKeW91IGhhdmUgdGhlIHJpZ2h0IHRvIGdyYW50IHRoZSByaWdodHMgY29udGFpbmVkIGluIHRoaXMgbGljZW5zZS4gRGVjbGFyZXMKdGhhdCB0aGUgZGVsaXZlcnkgb2YgdGhlIGRvY3VtZW50IGRvZXMgbm90IGluZnJpbmdlLCBhcyBmYXIgYXMgaXQgaXMKdGhlIHJpZ2h0cyBvZiBhbnkgb3RoZXIgcGVyc29uIG9yIGVudGl0eS4KCmMpIElmIHRoZSBkb2N1bWVudCBkZWxpdmVyZWQgY29udGFpbnMgbWF0ZXJpYWwgd2hpY2ggZG9lcyBub3QKcmlnaHRzLCBkZWNsYXJlcyB0aGF0IGl0IGhhcyBvYnRhaW5lZCBhdXRob3JpemF0aW9uIGZyb20gdGhlIGhvbGRlciBvZiB0aGUKY29weXJpZ2h0IHRvIGdyYW50IHRoZSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkbyBSaW8gR3JhbmRlIGRvIE5vcnRlIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdCB0aGlzIG1hdGVyaWFsIHdob3NlIHJpZ2h0cyBhcmUgb2YKdGhpcmQgcGFydGllcyBpcyBjbGVhcmx5IGlkZW50aWZpZWQgYW5kIHJlY29nbml6ZWQgaW4gdGhlIHRleHQgb3IKY29udGVudCBvZiB0aGUgZG9jdW1lbnQgZGVsaXZlcmVkLgoKSWYgdGhlIGRvY3VtZW50IHN1Ym1pdHRlZCBpcyBiYXNlZCBvbiBmdW5kZWQgb3Igc3VwcG9ydGVkIHdvcmsKYnkgYW5vdGhlciBpbnN0aXR1dGlvbiBvdGhlciB0aGFuIHRoZSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkbyBSaW8gR3JhbmRlIGRvIE5vcnRlLCBkZWNsYXJlcyB0aGF0IGl0IGhhcyBmdWxmaWxsZWQgYW55IG9ibGlnYXRpb25zIHJlcXVpcmVkIGJ5IHRoZSByZXNwZWN0aXZlIGFncmVlbWVudCBvciBhZ3JlZW1lbnQuCgpUaGUgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZG8gUmlvIEdyYW5kZSBkbyBOb3J0ZSB3aWxsIGNsZWFybHkgaWRlbnRpZnkgaXRzIG5hbWUgKHMpIGFzIHRoZSBhdXRob3IgKHMpIG9yIGhvbGRlciAocykgb2YgdGhlIGRvY3VtZW50J3MgcmlnaHRzCmRlbGl2ZXJlZCwgYW5kIHdpbGwgbm90IG1ha2UgYW55IGNoYW5nZXMsIG90aGVyIHRoYW4gdGhvc2UgcGVybWl0dGVkIGJ5CnRoaXMgbGljZW5zZQo=Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2023-12-20T14:04:29Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false
dc.title.pt_BR.fl_str_mv Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps
title Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps
spellingShingle Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps
Oliveira, Joao Paulo Marques
CNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::PROBABILIDADE E ESTATISTICA APLICADAS
MLOps
Aprendizagem de máquina
Devops
Integração Contínua
Entrega Contínua
title_short Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps
title_full Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps
title_fullStr Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps
title_full_unstemmed Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps
title_sort Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps
author Oliveira, Joao Paulo Marques
author_facet Oliveira, Joao Paulo Marques
author_role author
dc.contributor.advisorID.pt_BR.fl_str_mv https://orcid.org/0000-0003-1138-4276
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/7712686175574736
dc.contributor.referees1.none.fl_str_mv Júnior, Luiz Gonzaga de Queiroz Silveira
dc.contributor.referees1ID.pt_BR.fl_str_mv https://orcid.org/0000-0001-6167-1893
dc.contributor.referees1Lattes.pt_BR.fl_str_mv http://lattes.cnpq.br/5714183212530259
dc.contributor.referees2.none.fl_str_mv Fernandes, Felipe Ricardo dos Santos
dc.contributor.referees2ID.pt_BR.fl_str_mv https://orcid.org/0000-0003-0805-1796
dc.contributor.referees2Lattes.pt_BR.fl_str_mv http://lattes.cnpq.br/9594127311197032
dc.contributor.author.fl_str_mv Oliveira, Joao Paulo Marques
dc.contributor.advisor1.fl_str_mv Lins, Hertz Wilton de Castro
contributor_str_mv Lins, Hertz Wilton de Castro
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::PROBABILIDADE E ESTATISTICA APLICADAS
topic CNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::PROBABILIDADE E ESTATISTICA APLICADAS
MLOps
Aprendizagem de máquina
Devops
Integração Contínua
Entrega Contínua
dc.subject.por.fl_str_mv MLOps
Aprendizagem de máquina
Devops
Integração Contínua
Entrega Contínua
description A integração de implementações das aplicações de Aprendizagem de máquina (AM) com operações de sistemas é notoriamente mais complexa se comparada a outras aplicações no campo da Engenharia de Software. com outros tipos de aplicações na Engenharia de Software. Isto ocorre porque os sistemas de AM apresentam as mesmas dificuldades de um sistema de software comum, acrescido das dificuldades da AM. Realizar a manutenção desses sistemas também é uma tarefa complexa devido a natureza instável dos modelos de AM diante de variações nos padrões dos dados. Este trabalho realiza uma análise comparativa entre diferentes níveis de MLOps para compreender as nuances dessa integração. Adotando uma metodologia comparativa experimental, conduzimos uma revisão bibliográfica sobre MLOps e preparamos um ambiente de trabalho na Amazon Web Services (AWS). Implementamos um sistema de classificação em três diferentes níveis de MLOps, avaliando eficiência, qualidade e facilidade de manutenção. Os resultados revelam que ferramentas como MLFlow para rastreamento de métricas e registros, juntamente com soluções como Evidently para monitoramento de dados em produção, desempenham papéis cruciais na criação de um ecossistema de AM robusto e confiável. Este estudo oferece insights valiosos sobre as diferenças entre os níveis de MLOps, sublinhando a importância dessas metodologias no contexto mais amplo da integração de sistemas de aprendizado de máquina.
publishDate 2023
dc.date.accessioned.fl_str_mv 2023-12-20T14:04:29Z
dc.date.available.fl_str_mv 2023-12-20T14:04:29Z
dc.date.issued.fl_str_mv 2023-12-08
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv OLIVEIRA, Joao Paulo Marques, Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps. 2023. 47 f. Trabalho de Conclusão de Curso (Graduação em Engenharia de Telecomunicações) - Departamento de Engenharia de Comunicações, Universidade Federal do Rio Grande do Norte, Natal, 2023.
dc.identifier.uri.fl_str_mv https://repositorio.ufrn.br/handle/123456789/56421
identifier_str_mv OLIVEIRA, Joao Paulo Marques, Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps. 2023. 47 f. Trabalho de Conclusão de Curso (Graduação em Engenharia de Telecomunicações) - Departamento de Engenharia de Comunicações, Universidade Federal do Rio Grande do Norte, Natal, 2023.
url https://repositorio.ufrn.br/handle/123456789/56421
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution 3.0 Brazil
http://creativecommons.org/licenses/by/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution 3.0 Brazil
http://creativecommons.org/licenses/by/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
dc.publisher.program.fl_str_mv Engenharia de Telecomunicações
dc.publisher.initials.fl_str_mv UFRN
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Departamento de Engenharia de Comunicações
publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRN
instname:Universidade Federal do Rio Grande do Norte (UFRN)
instacron:UFRN
instname_str Universidade Federal do Rio Grande do Norte (UFRN)
instacron_str UFRN
institution UFRN
reponame_str Repositório Institucional da UFRN
collection Repositório Institucional da UFRN
bitstream.url.fl_str_mv https://repositorio.ufrn.br/bitstream/123456789/56421/1/TCC___Joao_Paulo.pdf
https://repositorio.ufrn.br/bitstream/123456789/56421/4/ficha_aprovacao.pdf
https://repositorio.ufrn.br/bitstream/123456789/56421/2/license_rdf
https://repositorio.ufrn.br/bitstream/123456789/56421/5/license.txt
bitstream.checksum.fl_str_mv aea7ee2a9e52d9445a97a861b5e8dfc9
e0757561e3f830e6ebcf0b88c034b4e6
4d2950bda3d176f570a9f8b328dfbbef
e9597aa2854d128fd968be5edc8a28d9
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)
repository.mail.fl_str_mv
_version_ 1802117536279429120

Registros relacionados