Transferência de aprendizado com embeddings contextuais para classificação de texto em cenários de baixo volume de dados

• Autor(a) principal: Felipe Freitas de Carvalho
• Data de Publicação: 2020
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/60359
• topic: Baixo volume de dados; Classificação de texto; Processamento de linguagem natural; Representações contextuais; Aprendizado de representação; Aprendizado profundo; Engenharia elétrica; Processamento da linguagem natural (Computação); Aprendizado profundo

Desenvolvimentos recentes no campo de processamento de linguagem natural demonstraram que redes profundas, baseadas na arquitetura transformer, treinadas como um modelo de linguagem em um corpus extenso de texto, de maneira não supervisionada, são capazes de transferir o aprendizado obtido através deste treinamento para tarefas relacionadas através do procedimento de ajuste fino do modelo. Em particular, as arquiteturas BERT e XLNet demonstraram resultados expressivos, atingindo performances que superam o estado da arte em diversas tarefas. Parte do mérito se deve ao fato destes modelos serem capazes de gerar melhores representações de texto, na forma de embeddings contextuais. No entanto, não muito foi explorado na literatura a capacidade de transferência de aprendizado destes modelos em cenários de baixa volumetria de dados e também como estes se comportam na tarefa de ajuste fino com diferentes quantidades de dados disponíveis para tal. Além disso, não existem muitos estudos sobre a diferença de ganhos de performance advinda da representação na forma de embeddings contextuais em comparação outros tipos de representação de texto, como por exemplo embeddings tradicionais, dado um cenário reduzido de dados. Este trabalho endereça estas questões através de uma série de experimentos que buscam, de forma empírica, avaliar o comportamento desses modelos quando sujeitos ao procedimento de ajuste fino em subconjuntos de bases de dados diversas e com volumetria progressivamente menor. Também são avaliados os ganhos de performance advindos desta nova forma de representação de dados, utilizando os modelos como extratores de características na tarefa de transferência de aprendizado. Mediante os resultados dos experimentos é possível observar que os modelos BERT e XLNet são capazes de terem performances boas, com baixa volumetria de dados disponíveis, na maioria dos casos. Além disso, é possível ver que embora exista um efeito positivo em utilizar um volume maior de dados, um volume pequeno já se mostra suficiente para obter uma performance melhor ou comparável a outros tipos de modelos treinados com mais dados. Também é possível observar que parte do poder destes métodos de fato deriva de representações mais robustas, dado que estas geram resultados melhores que embeddings tradicionais ao serem usadas como entrada para outros modelos, na maior parte dos casos. No entanto, é possível perceber que a arquitetura transformer como um todo, após o procedimento de ajuste fino, tem uma performance substancialmente melhor em baixas volumetrias de dados quando comparada a utilização destes modelos com extratores de características.