Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT

Detalhes bibliográficos
Autor(a) principal: Barbon, Rafael Silva
Data de Publicação: 2022
Outros Autores: Akabane, Ademar Takeo
Tipo de documento: Artigo
Idioma: por
Título da fonte: Repositório Institucional PUC-Campinas
Texto Completo: http://repositorio.sis.puc-campinas.edu.br/xmlui/handle/123456789/17198
Resumo: Modelos de aprendizado de máquina (AM) vêm sendo amplamente utilizados devido à elevada quantidade de dados produzidos diariamente. Dentre eles, destaca-se os modelos pré-treinados devido a sua eficácia, porém estes normalmente demandam um elevado custo computacional na execução de sua tarefa. A fim de contornar esse problema, técnicas de compressão de redes neurais vem sendo aplicadas para produzir modelos pré-treinados menores sem comprometer a acurácia. Com isso, neste trabalho foram utilizados dois diferentes modelos pré-treinados de AM: BERT e DistilBERT na classificação de texto. Os resultados apontam que modelos menores apresentam bons resultados quando comparados com seus equivalentes maiores.
id PUC_CAMP-5_16d946e47e1b8e8ece331ae91406caaa
oai_identifier_str oai:repositorio.sis.puc-campinas.edu.br:123456789/17198
network_acronym_str PUC_CAMP-5
network_name_str Repositório Institucional PUC-Campinas
repository_id_str
spelling Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERTPerformance analysis of general pre-trained machine learning models: BERT vs DistilBERTModelos de aprendizado de máquina (AM) vêm sendo amplamente utilizados devido à elevada quantidade de dados produzidos diariamente. Dentre eles, destaca-se os modelos pré-treinados devido a sua eficácia, porém estes normalmente demandam um elevado custo computacional na execução de sua tarefa. A fim de contornar esse problema, técnicas de compressão de redes neurais vem sendo aplicadas para produzir modelos pré-treinados menores sem comprometer a acurácia. Com isso, neste trabalho foram utilizados dois diferentes modelos pré-treinados de AM: BERT e DistilBERT na classificação de texto. Os resultados apontam que modelos menores apresentam bons resultados quando comparados com seus equivalentes maiores.Machine learning (ML) models have been widely used due to the highamount of data produced daily. Among them, the pre-trained models stand outdue to their effectiveness, but normally these demand a high computational costin the execution of their tasks. To circumvent this problem, neural networkcompression techniques have been applied to produce smaller pre-trained mo-dels without compromising accuracy. Therefore, in this work two different pre-trained models of ML were used: BERT and DistilBERT in text classification.The results show that smaller models present good results when compared totheir larger counterparts.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)001SBC-OpenLibPontifícia Universidade Católica de Campinas (PUC-Campinas)Barbon, Rafael SilvaAkabane, Ademar Takeo2024-03-18T19:51:38Z2024-03-18T19:51:38Z2022-05-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/articleapplication/pdfhttp://repositorio.sis.puc-campinas.edu.br/xmlui/handle/123456789/1719897138912188129636781874728187325porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional PUC-Campinasinstname:Pontifícia Universidade Católica de Campinas (PUC-CAMPINAS)instacron:PUC_CAMP2024-03-18T19:58:05Zoai:repositorio.sis.puc-campinas.edu.br:123456789/17198Repositório InstitucionalPRIhttps://repositorio.sis.puc-campinas.edu.br/oai/requestsbi.bibliotecadigital@puc-campinas.edu.bropendoar:2024-03-18T19:58:05Repositório Institucional PUC-Campinas - Pontifícia Universidade Católica de Campinas (PUC-CAMPINAS)false
dc.title.none.fl_str_mv Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT
Performance analysis of general pre-trained machine learning models: BERT vs DistilBERT
title Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT
spellingShingle Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT
Barbon, Rafael Silva
title_short Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT
title_full Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT
title_fullStr Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT
title_full_unstemmed Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT
title_sort Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT
author Barbon, Rafael Silva
author_facet Barbon, Rafael Silva
Akabane, Ademar Takeo
author_role author
author2 Akabane, Ademar Takeo
author2_role author
dc.contributor.none.fl_str_mv Pontifícia Universidade Católica de Campinas (PUC-Campinas)
dc.contributor.author.fl_str_mv Barbon, Rafael Silva
Akabane, Ademar Takeo
description Modelos de aprendizado de máquina (AM) vêm sendo amplamente utilizados devido à elevada quantidade de dados produzidos diariamente. Dentre eles, destaca-se os modelos pré-treinados devido a sua eficácia, porém estes normalmente demandam um elevado custo computacional na execução de sua tarefa. A fim de contornar esse problema, técnicas de compressão de redes neurais vem sendo aplicadas para produzir modelos pré-treinados menores sem comprometer a acurácia. Com isso, neste trabalho foram utilizados dois diferentes modelos pré-treinados de AM: BERT e DistilBERT na classificação de texto. Os resultados apontam que modelos menores apresentam bons resultados quando comparados com seus equivalentes maiores.
publishDate 2022
dc.date.none.fl_str_mv 2022-05-23
2024-03-18T19:51:38Z
2024-03-18T19:51:38Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
format article
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://repositorio.sis.puc-campinas.edu.br/xmlui/handle/123456789/17198
9713891218812963
6781874728187325
url http://repositorio.sis.puc-campinas.edu.br/xmlui/handle/123456789/17198
identifier_str_mv 9713891218812963
6781874728187325
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv SBC-OpenLib
publisher.none.fl_str_mv SBC-OpenLib
dc.source.none.fl_str_mv reponame:Repositório Institucional PUC-Campinas
instname:Pontifícia Universidade Católica de Campinas (PUC-CAMPINAS)
instacron:PUC_CAMP
instname_str Pontifícia Universidade Católica de Campinas (PUC-CAMPINAS)
instacron_str PUC_CAMP
institution PUC_CAMP
reponame_str Repositório Institucional PUC-Campinas
collection Repositório Institucional PUC-Campinas
repository.name.fl_str_mv Repositório Institucional PUC-Campinas - Pontifícia Universidade Católica de Campinas (PUC-CAMPINAS)
repository.mail.fl_str_mv sbi.bibliotecadigital@puc-campinas.edu.br
_version_ 1798415784158953472

Registros relacionados