Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Outros Autores: | |
Tipo de documento: | Artigo |
Idioma: | por |
Título da fonte: | Repositório Institucional PUC-Campinas |
Texto Completo: | http://repositorio.sis.puc-campinas.edu.br/xmlui/handle/123456789/17198 |
Resumo: | Modelos de aprendizado de máquina (AM) vêm sendo amplamente utilizados devido à elevada quantidade de dados produzidos diariamente. Dentre eles, destaca-se os modelos pré-treinados devido a sua eficácia, porém estes normalmente demandam um elevado custo computacional na execução de sua tarefa. A fim de contornar esse problema, técnicas de compressão de redes neurais vem sendo aplicadas para produzir modelos pré-treinados menores sem comprometer a acurácia. Com isso, neste trabalho foram utilizados dois diferentes modelos pré-treinados de AM: BERT e DistilBERT na classificação de texto. Os resultados apontam que modelos menores apresentam bons resultados quando comparados com seus equivalentes maiores. |
id |
PUC_CAMP-5_16d946e47e1b8e8ece331ae91406caaa |
---|---|
oai_identifier_str |
oai:repositorio.sis.puc-campinas.edu.br:123456789/17198 |
network_acronym_str |
PUC_CAMP-5 |
network_name_str |
Repositório Institucional PUC-Campinas |
repository_id_str |
|
spelling |
Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERTPerformance analysis of general pre-trained machine learning models: BERT vs DistilBERTModelos de aprendizado de máquina (AM) vêm sendo amplamente utilizados devido à elevada quantidade de dados produzidos diariamente. Dentre eles, destaca-se os modelos pré-treinados devido a sua eficácia, porém estes normalmente demandam um elevado custo computacional na execução de sua tarefa. A fim de contornar esse problema, técnicas de compressão de redes neurais vem sendo aplicadas para produzir modelos pré-treinados menores sem comprometer a acurácia. Com isso, neste trabalho foram utilizados dois diferentes modelos pré-treinados de AM: BERT e DistilBERT na classificação de texto. Os resultados apontam que modelos menores apresentam bons resultados quando comparados com seus equivalentes maiores.Machine learning (ML) models have been widely used due to the highamount of data produced daily. Among them, the pre-trained models stand outdue to their effectiveness, but normally these demand a high computational costin the execution of their tasks. To circumvent this problem, neural networkcompression techniques have been applied to produce smaller pre-trained mo-dels without compromising accuracy. Therefore, in this work two different pre-trained models of ML were used: BERT and DistilBERT in text classification.The results show that smaller models present good results when compared totheir larger counterparts.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)001SBC-OpenLibPontifícia Universidade Católica de Campinas (PUC-Campinas)Barbon, Rafael SilvaAkabane, Ademar Takeo2024-03-18T19:51:38Z2024-03-18T19:51:38Z2022-05-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/articleapplication/pdfhttp://repositorio.sis.puc-campinas.edu.br/xmlui/handle/123456789/1719897138912188129636781874728187325porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional PUC-Campinasinstname:Pontifícia Universidade Católica de Campinas (PUC-CAMPINAS)instacron:PUC_CAMP2024-03-18T19:58:05Zoai:repositorio.sis.puc-campinas.edu.br:123456789/17198Repositório InstitucionalPRIhttps://repositorio.sis.puc-campinas.edu.br/oai/requestsbi.bibliotecadigital@puc-campinas.edu.bropendoar:2024-03-18T19:58:05Repositório Institucional PUC-Campinas - Pontifícia Universidade Católica de Campinas (PUC-CAMPINAS)false |
dc.title.none.fl_str_mv |
Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT Performance analysis of general pre-trained machine learning models: BERT vs DistilBERT |
title |
Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT |
spellingShingle |
Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT Barbon, Rafael Silva |
title_short |
Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT |
title_full |
Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT |
title_fullStr |
Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT |
title_full_unstemmed |
Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT |
title_sort |
Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT |
author |
Barbon, Rafael Silva |
author_facet |
Barbon, Rafael Silva Akabane, Ademar Takeo |
author_role |
author |
author2 |
Akabane, Ademar Takeo |
author2_role |
author |
dc.contributor.none.fl_str_mv |
Pontifícia Universidade Católica de Campinas (PUC-Campinas) |
dc.contributor.author.fl_str_mv |
Barbon, Rafael Silva Akabane, Ademar Takeo |
description |
Modelos de aprendizado de máquina (AM) vêm sendo amplamente utilizados devido à elevada quantidade de dados produzidos diariamente. Dentre eles, destaca-se os modelos pré-treinados devido a sua eficácia, porém estes normalmente demandam um elevado custo computacional na execução de sua tarefa. A fim de contornar esse problema, técnicas de compressão de redes neurais vem sendo aplicadas para produzir modelos pré-treinados menores sem comprometer a acurácia. Com isso, neste trabalho foram utilizados dois diferentes modelos pré-treinados de AM: BERT e DistilBERT na classificação de texto. Os resultados apontam que modelos menores apresentam bons resultados quando comparados com seus equivalentes maiores. |
publishDate |
2022 |
dc.date.none.fl_str_mv |
2022-05-23 2024-03-18T19:51:38Z 2024-03-18T19:51:38Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/article |
format |
article |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://repositorio.sis.puc-campinas.edu.br/xmlui/handle/123456789/17198 9713891218812963 6781874728187325 |
url |
http://repositorio.sis.puc-campinas.edu.br/xmlui/handle/123456789/17198 |
identifier_str_mv |
9713891218812963 6781874728187325 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
SBC-OpenLib |
publisher.none.fl_str_mv |
SBC-OpenLib |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional PUC-Campinas instname:Pontifícia Universidade Católica de Campinas (PUC-CAMPINAS) instacron:PUC_CAMP |
instname_str |
Pontifícia Universidade Católica de Campinas (PUC-CAMPINAS) |
instacron_str |
PUC_CAMP |
institution |
PUC_CAMP |
reponame_str |
Repositório Institucional PUC-Campinas |
collection |
Repositório Institucional PUC-Campinas |
repository.name.fl_str_mv |
Repositório Institucional PUC-Campinas - Pontifícia Universidade Católica de Campinas (PUC-CAMPINAS) |
repository.mail.fl_str_mv |
sbi.bibliotecadigital@puc-campinas.edu.br |
_version_ |
1807210239371509760 |