Aplicação de differentiable neural computers na resolução de problemas de processamento de linguagem natural

Detalhes bibliográficos
Autor(a) principal: Nogoseke, Luís Felipe
Data de Publicação: 2019
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPR
Texto Completo: https://hdl.handle.net/1884/64356
Resumo: Orientador: Dr. Prof. Leandro dos Santos Coelho
id UFPR_ed5e99c2822f30b64ec5177994ed9a15
oai_identifier_str oai:acervodigital.ufpr.br:1884/64356
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str 308
spelling Nogoseke, Luís FelipeUniversidade Federal do Paraná. Setor de Tecnologia. Programa de Pós-Graduação em Engenharia ElétricaCoelho, Leandro dos Santos, 1968-2021-05-25T19:51:46Z2021-05-25T19:51:46Z2019https://hdl.handle.net/1884/64356Orientador: Dr. Prof. Leandro dos Santos CoelhoDissertação (mestrado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Engenharia Elétrica. Defesa : Curitiba, 26/06/2019Inclui referências: p. 61-66Área de concentração: Sistemas EletrônicosResumo: A capacidade de programas interagirem com linguagem natural, seja para interpretar uma requisição, gerar uma resposta ou mesmo para determinar a solução para um problema em bases de linguagem natural, é cada vez mais relevante. O uso de sistemas automáticos para atendimento ao cliente está difundido mundialmente, por exemplo, os assistentes pessoais estão cada dia mais presentes no dia a dia das pessoas. O Computador Neural Diferenciável (DNC, do inglês Differentiable Neural Computer) é um modelo de Aprendizado de Máquina recente que propõe uma arquitetura similar à de um computador, com uma estrutura de memória separada da estrutura de processamento. O DNC apresenta resultados promissores em tarefas de Processamento de Linguagem Natural (PLN), incluindo problema de respostas automáticas a perguntas. Porém, até então o DNC foi aplicado apenas para problemas de PLN de escala reduzida, em contextos curtos e vocabulário reduzido. Além disso, o DNC apresentou algumas características indesejáveis como o alto custo computacional, que implica em longos tempos de treinamento e elevado consumo de memória de acesso aleatório. Nesta dissertação são apresentados experimentos desenvolvidos para avaliar alterações e melhorias que podem ser feitas ao modelo DNC para aprimorar seu desempenho, eficiência e custo computacional. Além de verificar o desempenho de modelos sobre o problema de respostas automáticas a perguntas complexas, a base de dados The Children's Book Test (CBT) apresenta questões retiradas de livros infantis e foi desenvolvida com o intuito de verificar a capacidade de um modelo de reter informações por longos períodos. Esta foi a base escolhida para os testes realizados para esta dissertação. A abordagem proposta nesta dissertação é a validação de diferentes tipos de Redes Neurais Recorrentes (RNRs) como componentes do DNC, motivada pela natureza recorrente dos modelos de linguagem. Variações na unidade de memória e na arquitetura em geral do modelo são propostas levando em consideração a importância da semelhança de conteúdo para tarefas de PLN. Os resultados encontrados mostram que é possível obter resultados relevantes em tarefas de respostas automáticas a perguntas de larga escala utilizando modelos baseados no DNC além de melhorar o seu desempenho no treinamento. Palavras-chave: Computador Neural Diferenciável, Processamento de Linguagem Natural, Aprendizado de Máquina, Respostas Automáticas a Perguntas.Abstract: The ability of programs to interact in natural language, whether to interpret a request, generate a response or even find the solution to a problem on natural language databases, is increasingly relevant. The use of automated systems for customer service is widespread worldwide, for example, personal assistants are increasingly present in people's daily lives. he Differentiable Neural Computer (DNC) is a recent Machine Learning model that proposes a computer-like architecture with a memory structure separated from processing. The DNC presented relevant results in Natural Language Processing (NLP) tasks, including question and answering problems. However, until then the DNC was applied only for small-scale NLP problems, with short contexts and reduced vocabulary. In addition, the DNC presented some undesirable characteristics such as the high computational cost, which implies high training times and high RAM memory usage. In this dissertation experiments are developed to validate changes and improvements to the DNC model to improve its performance, efficiency and computational cost. In addition to checking model performance in complex question answering databases, the Children's Book Test (CBT) presents questions drawn from children's books and was developed with the purpose of verifying the capacity of a model to retain information for long periods. This was the database chosen to execute the tests for this dissertation. The approach proposed by this dissertation is to validate different types of Recurrent Neural Networks (RNNs) as components of the DNC, motivated by the recurrent nature of language models. Variations in the memory unit and in the general architecture of the model are also proposed taking into consideration the importance of content similarity for NLP tasks. The results found show that it is possible to achieve relevant results in large scale question and answering problems using DNC based models and to improve the model's training performance. Key words: Differentiable Neural Computer, Natural Language Processing, Machine Learning, Question and Answering.66 p. : il. (algumas color.).application/pdfRedes neurais (Computação)Processamento da linguagem natural (Computação)Aprendizado do computadorEngenharia ElétricaAplicação de differentiable neural computers na resolução de problemas de processamento de linguagem naturalinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisporreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccess1884/643562021-05-25 16:51:46.877metadata only accessoai:acervodigital.ufpr.br:1884/64356Repositório de PublicaçõesPUBhttp://acervodigital.ufpr.br/oai/requestopendoar:3082021-05-25T19:51:46Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv Aplicação de differentiable neural computers na resolução de problemas de processamento de linguagem natural
title Aplicação de differentiable neural computers na resolução de problemas de processamento de linguagem natural
spellingShingle Aplicação de differentiable neural computers na resolução de problemas de processamento de linguagem natural
Nogoseke, Luís Felipe
Redes neurais (Computação)
Processamento da linguagem natural (Computação)
Aprendizado do computador
Engenharia Elétrica
title_short Aplicação de differentiable neural computers na resolução de problemas de processamento de linguagem natural
title_full Aplicação de differentiable neural computers na resolução de problemas de processamento de linguagem natural
title_fullStr Aplicação de differentiable neural computers na resolução de problemas de processamento de linguagem natural
title_full_unstemmed Aplicação de differentiable neural computers na resolução de problemas de processamento de linguagem natural
title_sort Aplicação de differentiable neural computers na resolução de problemas de processamento de linguagem natural
author Nogoseke, Luís Felipe
author_facet Nogoseke, Luís Felipe
author_role author
dc.contributor.other.pt_BR.fl_str_mv Universidade Federal do Paraná. Setor de Tecnologia. Programa de Pós-Graduação em Engenharia Elétrica
dc.contributor.author.fl_str_mv Nogoseke, Luís Felipe
dc.contributor.advisor1.fl_str_mv Coelho, Leandro dos Santos, 1968-
contributor_str_mv Coelho, Leandro dos Santos, 1968-
dc.subject.por.fl_str_mv Redes neurais (Computação)
Processamento da linguagem natural (Computação)
Aprendizado do computador
Engenharia Elétrica
topic Redes neurais (Computação)
Processamento da linguagem natural (Computação)
Aprendizado do computador
Engenharia Elétrica
description Orientador: Dr. Prof. Leandro dos Santos Coelho
publishDate 2019
dc.date.issued.fl_str_mv 2019
dc.date.accessioned.fl_str_mv 2021-05-25T19:51:46Z
dc.date.available.fl_str_mv 2021-05-25T19:51:46Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/64356
url https://hdl.handle.net/1884/64356
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 66 p. : il. (algumas color.).
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv
_version_ 1801860821923397632

Registros relacionados