Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFRN |
Texto Completo: | https://repositorio.ufrn.br/handle/123456789/56421 |
Resumo: | A integração de implementações das aplicações de Aprendizagem de máquina (AM) com operações de sistemas é notoriamente mais complexa se comparada a outras aplicações no campo da Engenharia de Software. com outros tipos de aplicações na Engenharia de Software. Isto ocorre porque os sistemas de AM apresentam as mesmas dificuldades de um sistema de software comum, acrescido das dificuldades da AM. Realizar a manutenção desses sistemas também é uma tarefa complexa devido a natureza instável dos modelos de AM diante de variações nos padrões dos dados. Este trabalho realiza uma análise comparativa entre diferentes níveis de MLOps para compreender as nuances dessa integração. Adotando uma metodologia comparativa experimental, conduzimos uma revisão bibliográfica sobre MLOps e preparamos um ambiente de trabalho na Amazon Web Services (AWS). Implementamos um sistema de classificação em três diferentes níveis de MLOps, avaliando eficiência, qualidade e facilidade de manutenção. Os resultados revelam que ferramentas como MLFlow para rastreamento de métricas e registros, juntamente com soluções como Evidently para monitoramento de dados em produção, desempenham papéis cruciais na criação de um ecossistema de AM robusto e confiável. Este estudo oferece insights valiosos sobre as diferenças entre os níveis de MLOps, sublinhando a importância dessas metodologias no contexto mais amplo da integração de sistemas de aprendizado de máquina. |
id |
UFRN_23700491a57e50a7748be56395f9b3d9 |
---|---|
oai_identifier_str |
oai:https://repositorio.ufrn.br:123456789/56421 |
network_acronym_str |
UFRN |
network_name_str |
Repositório Institucional da UFRN |
repository_id_str |
|
spelling |
Oliveira, Joao Paulo Marqueshttps://orcid.org/0000-0003-1138-4276http://lattes.cnpq.br/7712686175574736Júnior, Luiz Gonzaga de Queiroz Silveirahttps://orcid.org/0000-0001-6167-1893http://lattes.cnpq.br/5714183212530259Fernandes, Felipe Ricardo dos Santoshttps://orcid.org/0000-0003-0805-1796http://lattes.cnpq.br/9594127311197032Lins, Hertz Wilton de Castro2023-12-20T14:04:29Z2023-12-20T14:04:29Z2023-12-08OLIVEIRA, Joao Paulo Marques, Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps. 2023. 47 f. Trabalho de Conclusão de Curso (Graduação em Engenharia de Telecomunicações) - Departamento de Engenharia de Comunicações, Universidade Federal do Rio Grande do Norte, Natal, 2023.https://repositorio.ufrn.br/handle/123456789/56421A integração de implementações das aplicações de Aprendizagem de máquina (AM) com operações de sistemas é notoriamente mais complexa se comparada a outras aplicações no campo da Engenharia de Software. com outros tipos de aplicações na Engenharia de Software. Isto ocorre porque os sistemas de AM apresentam as mesmas dificuldades de um sistema de software comum, acrescido das dificuldades da AM. Realizar a manutenção desses sistemas também é uma tarefa complexa devido a natureza instável dos modelos de AM diante de variações nos padrões dos dados. Este trabalho realiza uma análise comparativa entre diferentes níveis de MLOps para compreender as nuances dessa integração. Adotando uma metodologia comparativa experimental, conduzimos uma revisão bibliográfica sobre MLOps e preparamos um ambiente de trabalho na Amazon Web Services (AWS). Implementamos um sistema de classificação em três diferentes níveis de MLOps, avaliando eficiência, qualidade e facilidade de manutenção. Os resultados revelam que ferramentas como MLFlow para rastreamento de métricas e registros, juntamente com soluções como Evidently para monitoramento de dados em produção, desempenham papéis cruciais na criação de um ecossistema de AM robusto e confiável. Este estudo oferece insights valiosos sobre as diferenças entre os níveis de MLOps, sublinhando a importância dessas metodologias no contexto mais amplo da integração de sistemas de aprendizado de máquina.The integration of machine learning (ML) application implementations with system operations is notably more complex compared to other applications in the field of Software Engineering. This is due to ML systems facing the same challenges as common software systems, compounded by the difficulties inherent in ML. Maintaining these systems is also a complex task due to the unstable nature of ML models when confronted with variations in data patterns.. This work conducts a comparative analysis between different levels of MLOps to understand the nuances of this integration. Adopting an experimental comparative methodology, we conducted a literature review on MLOps and set up a working environment on Amazon Web Services (AWS). We implemented a classification system at three different MLOps levels, assessing efficiency, quality, and ease of maintenance. The results reveal that tools like MLFlow for metric tracking and logging, along with solutions like Evidently for data monitoring in production, play crucial roles in creating a robust and reliable ML ecosystem. This study provides valuable insights into the differences between MLOps levels, emphasizing the importance of these methodologies in the broader context of integrating machine learning systems.Universidade Federal do Rio Grande do NorteEngenharia de TelecomunicaçõesUFRNBrasilDepartamento de Engenharia de ComunicaçõesAttribution 3.0 Brazilhttp://creativecommons.org/licenses/by/3.0/br/info:eu-repo/semantics/openAccessCNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::PROBABILIDADE E ESTATISTICA APLICADASMLOpsAprendizagem de máquinaDevopsIntegração ContínuaEntrega ContínuaAnálise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOpsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNORIGINALTCC___Joao_Paulo.pdfTCC___Joao_Paulo.pdfapplication/pdf2065780https://repositorio.ufrn.br/bitstream/123456789/56421/1/TCC___Joao_Paulo.pdfaea7ee2a9e52d9445a97a861b5e8dfc9MD51ficha_aprovacao.pdfficha_aprovacao.pdfapplication/pdf192918https://repositorio.ufrn.br/bitstream/123456789/56421/4/ficha_aprovacao.pdfe0757561e3f830e6ebcf0b88c034b4e6MD54CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8914https://repositorio.ufrn.br/bitstream/123456789/56421/2/license_rdf4d2950bda3d176f570a9f8b328dfbbefMD52LICENSElicense.txtlicense.txttext/plain; charset=utf-81484https://repositorio.ufrn.br/bitstream/123456789/56421/5/license.txte9597aa2854d128fd968be5edc8a28d9MD55123456789/564212023-12-20 11:04:29.813oai:https://repositorio.ufrn.br:123456789/56421Tk9OLUVYQ0xVU0lWRSBESVNUUklCVVRJT04gTElDRU5TRQoKCkJ5IHNpZ25pbmcgYW5kIGRlbGl2ZXJpbmcgdGhpcyBsaWNlbnNlLCBNci4gKGF1dGhvciBvciBjb3B5cmlnaHQgaG9sZGVyKToKCgphKSBHcmFudHMgdGhlIFVuaXZlcnNpZGFkZSBGZWRlcmFsIFJpbyBHcmFuZGUgZG8gTm9ydGUgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgb2YKcmVwcm9kdWNlLCBjb252ZXJ0IChhcyBkZWZpbmVkIGJlbG93KSwgY29tbXVuaWNhdGUgYW5kIC8gb3IKZGlzdHJpYnV0ZSB0aGUgZGVsaXZlcmVkIGRvY3VtZW50IChpbmNsdWRpbmcgYWJzdHJhY3QgLyBhYnN0cmFjdCkgaW4KZGlnaXRhbCBvciBwcmludGVkIGZvcm1hdCBhbmQgaW4gYW55IG1lZGl1bS4KCmIpIERlY2xhcmVzIHRoYXQgdGhlIGRvY3VtZW50IHN1Ym1pdHRlZCBpcyBpdHMgb3JpZ2luYWwgd29yaywgYW5kIHRoYXQKeW91IGhhdmUgdGhlIHJpZ2h0IHRvIGdyYW50IHRoZSByaWdodHMgY29udGFpbmVkIGluIHRoaXMgbGljZW5zZS4gRGVjbGFyZXMKdGhhdCB0aGUgZGVsaXZlcnkgb2YgdGhlIGRvY3VtZW50IGRvZXMgbm90IGluZnJpbmdlLCBhcyBmYXIgYXMgaXQgaXMKdGhlIHJpZ2h0cyBvZiBhbnkgb3RoZXIgcGVyc29uIG9yIGVudGl0eS4KCmMpIElmIHRoZSBkb2N1bWVudCBkZWxpdmVyZWQgY29udGFpbnMgbWF0ZXJpYWwgd2hpY2ggZG9lcyBub3QKcmlnaHRzLCBkZWNsYXJlcyB0aGF0IGl0IGhhcyBvYnRhaW5lZCBhdXRob3JpemF0aW9uIGZyb20gdGhlIGhvbGRlciBvZiB0aGUKY29weXJpZ2h0IHRvIGdyYW50IHRoZSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkbyBSaW8gR3JhbmRlIGRvIE5vcnRlIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdCB0aGlzIG1hdGVyaWFsIHdob3NlIHJpZ2h0cyBhcmUgb2YKdGhpcmQgcGFydGllcyBpcyBjbGVhcmx5IGlkZW50aWZpZWQgYW5kIHJlY29nbml6ZWQgaW4gdGhlIHRleHQgb3IKY29udGVudCBvZiB0aGUgZG9jdW1lbnQgZGVsaXZlcmVkLgoKSWYgdGhlIGRvY3VtZW50IHN1Ym1pdHRlZCBpcyBiYXNlZCBvbiBmdW5kZWQgb3Igc3VwcG9ydGVkIHdvcmsKYnkgYW5vdGhlciBpbnN0aXR1dGlvbiBvdGhlciB0aGFuIHRoZSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkbyBSaW8gR3JhbmRlIGRvIE5vcnRlLCBkZWNsYXJlcyB0aGF0IGl0IGhhcyBmdWxmaWxsZWQgYW55IG9ibGlnYXRpb25zIHJlcXVpcmVkIGJ5IHRoZSByZXNwZWN0aXZlIGFncmVlbWVudCBvciBhZ3JlZW1lbnQuCgpUaGUgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZG8gUmlvIEdyYW5kZSBkbyBOb3J0ZSB3aWxsIGNsZWFybHkgaWRlbnRpZnkgaXRzIG5hbWUgKHMpIGFzIHRoZSBhdXRob3IgKHMpIG9yIGhvbGRlciAocykgb2YgdGhlIGRvY3VtZW50J3MgcmlnaHRzCmRlbGl2ZXJlZCwgYW5kIHdpbGwgbm90IG1ha2UgYW55IGNoYW5nZXMsIG90aGVyIHRoYW4gdGhvc2UgcGVybWl0dGVkIGJ5CnRoaXMgbGljZW5zZQo=Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2023-12-20T14:04:29Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false |
dc.title.pt_BR.fl_str_mv |
Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps |
title |
Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps |
spellingShingle |
Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps Oliveira, Joao Paulo Marques CNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::PROBABILIDADE E ESTATISTICA APLICADAS MLOps Aprendizagem de máquina Devops Integração Contínua Entrega Contínua |
title_short |
Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps |
title_full |
Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps |
title_fullStr |
Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps |
title_full_unstemmed |
Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps |
title_sort |
Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps |
author |
Oliveira, Joao Paulo Marques |
author_facet |
Oliveira, Joao Paulo Marques |
author_role |
author |
dc.contributor.advisorID.pt_BR.fl_str_mv |
https://orcid.org/0000-0003-1138-4276 |
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/7712686175574736 |
dc.contributor.referees1.none.fl_str_mv |
Júnior, Luiz Gonzaga de Queiroz Silveira |
dc.contributor.referees1ID.pt_BR.fl_str_mv |
https://orcid.org/0000-0001-6167-1893 |
dc.contributor.referees1Lattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/5714183212530259 |
dc.contributor.referees2.none.fl_str_mv |
Fernandes, Felipe Ricardo dos Santos |
dc.contributor.referees2ID.pt_BR.fl_str_mv |
https://orcid.org/0000-0003-0805-1796 |
dc.contributor.referees2Lattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/9594127311197032 |
dc.contributor.author.fl_str_mv |
Oliveira, Joao Paulo Marques |
dc.contributor.advisor1.fl_str_mv |
Lins, Hertz Wilton de Castro |
contributor_str_mv |
Lins, Hertz Wilton de Castro |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::PROBABILIDADE E ESTATISTICA APLICADAS |
topic |
CNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::PROBABILIDADE E ESTATISTICA APLICADAS MLOps Aprendizagem de máquina Devops Integração Contínua Entrega Contínua |
dc.subject.por.fl_str_mv |
MLOps Aprendizagem de máquina Devops Integração Contínua Entrega Contínua |
description |
A integração de implementações das aplicações de Aprendizagem de máquina (AM) com operações de sistemas é notoriamente mais complexa se comparada a outras aplicações no campo da Engenharia de Software. com outros tipos de aplicações na Engenharia de Software. Isto ocorre porque os sistemas de AM apresentam as mesmas dificuldades de um sistema de software comum, acrescido das dificuldades da AM. Realizar a manutenção desses sistemas também é uma tarefa complexa devido a natureza instável dos modelos de AM diante de variações nos padrões dos dados. Este trabalho realiza uma análise comparativa entre diferentes níveis de MLOps para compreender as nuances dessa integração. Adotando uma metodologia comparativa experimental, conduzimos uma revisão bibliográfica sobre MLOps e preparamos um ambiente de trabalho na Amazon Web Services (AWS). Implementamos um sistema de classificação em três diferentes níveis de MLOps, avaliando eficiência, qualidade e facilidade de manutenção. Os resultados revelam que ferramentas como MLFlow para rastreamento de métricas e registros, juntamente com soluções como Evidently para monitoramento de dados em produção, desempenham papéis cruciais na criação de um ecossistema de AM robusto e confiável. Este estudo oferece insights valiosos sobre as diferenças entre os níveis de MLOps, sublinhando a importância dessas metodologias no contexto mais amplo da integração de sistemas de aprendizado de máquina. |
publishDate |
2023 |
dc.date.accessioned.fl_str_mv |
2023-12-20T14:04:29Z |
dc.date.available.fl_str_mv |
2023-12-20T14:04:29Z |
dc.date.issued.fl_str_mv |
2023-12-08 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
OLIVEIRA, Joao Paulo Marques, Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps. 2023. 47 f. Trabalho de Conclusão de Curso (Graduação em Engenharia de Telecomunicações) - Departamento de Engenharia de Comunicações, Universidade Federal do Rio Grande do Norte, Natal, 2023. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufrn.br/handle/123456789/56421 |
identifier_str_mv |
OLIVEIRA, Joao Paulo Marques, Análise comparativa da implantação de um modelo de classificação com aprendizado de máquina em diferentes níveis de MLOps. 2023. 47 f. Trabalho de Conclusão de Curso (Graduação em Engenharia de Telecomunicações) - Departamento de Engenharia de Comunicações, Universidade Federal do Rio Grande do Norte, Natal, 2023. |
url |
https://repositorio.ufrn.br/handle/123456789/56421 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
Attribution 3.0 Brazil http://creativecommons.org/licenses/by/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution 3.0 Brazil http://creativecommons.org/licenses/by/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal do Rio Grande do Norte |
dc.publisher.program.fl_str_mv |
Engenharia de Telecomunicações |
dc.publisher.initials.fl_str_mv |
UFRN |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Departamento de Engenharia de Comunicações |
publisher.none.fl_str_mv |
Universidade Federal do Rio Grande do Norte |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRN instname:Universidade Federal do Rio Grande do Norte (UFRN) instacron:UFRN |
instname_str |
Universidade Federal do Rio Grande do Norte (UFRN) |
instacron_str |
UFRN |
institution |
UFRN |
reponame_str |
Repositório Institucional da UFRN |
collection |
Repositório Institucional da UFRN |
bitstream.url.fl_str_mv |
https://repositorio.ufrn.br/bitstream/123456789/56421/1/TCC___Joao_Paulo.pdf https://repositorio.ufrn.br/bitstream/123456789/56421/4/ficha_aprovacao.pdf https://repositorio.ufrn.br/bitstream/123456789/56421/2/license_rdf https://repositorio.ufrn.br/bitstream/123456789/56421/5/license.txt |
bitstream.checksum.fl_str_mv |
aea7ee2a9e52d9445a97a861b5e8dfc9 e0757561e3f830e6ebcf0b88c034b4e6 4d2950bda3d176f570a9f8b328dfbbef e9597aa2854d128fd968be5edc8a28d9 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN) |
repository.mail.fl_str_mv |
|
_version_ |
1823686418204983296 |