Uma abordagem de aprendizado por reforço profundo para respostas a perguntas complexas de domínio aberto.

Detalhes bibliográficos
Autor(a) principal: Cação, Flávio Nakasato
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/3/3141/tde-10012024-092904/
Resumo: Recentemente, modelos compostos por apenas módulos neurais de Recuperação de Informação e Compreensão de Leitura de Máquina/Gerador de Texto baseados em modelos de linguagem pré-treinados alcançaram o estado da arte em vários conjuntos de dados desafiadores de processamento de linguagem natural. No entanto, ainda há espaço significativo para melhorias na capacidade de raciocínio desses sistemas, especialmente no domínio de perguntas e respostas complexas de domínio aberto (CODQA - Complex Open-Domain Question Answering). Neste projeto, propomos uma arquitetura que combina as principais características desses modelos dentro de uma configuração de Aprendizado por Reforço, com a capacidade extra de realizar múltiplos saltos entre documentos para responder às perguntas dos usuários. Um sistema com esta capacidade é fundamental para construir agentes conversacionais capazes de responder a perguntas complexas que requerem múltiplas consultas em uma base de conhecimento não-estruturada. Nossos sistemas alcançaram um F1-score máximo de 0.13 ± 0.3 no conjunto de teste, usando em média apenas 47% das passagens de texto totais disponíveis.
id USP_79f6e66bc16434811ebe7b3ba9551d35
oai_identifier_str oai:teses.usp.br:tde-10012024-092904
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Uma abordagem de aprendizado por reforço profundo para respostas a perguntas complexas de domínio aberto.A deep reinforcement learning approach to complex open-domain question answering.Aprendizado computacionalAprendizagem profundaComplex open-domain question answeringConversational agentsDeep reinforcement learningProcessamento de linguagem naturalRecentemente, modelos compostos por apenas módulos neurais de Recuperação de Informação e Compreensão de Leitura de Máquina/Gerador de Texto baseados em modelos de linguagem pré-treinados alcançaram o estado da arte em vários conjuntos de dados desafiadores de processamento de linguagem natural. No entanto, ainda há espaço significativo para melhorias na capacidade de raciocínio desses sistemas, especialmente no domínio de perguntas e respostas complexas de domínio aberto (CODQA - Complex Open-Domain Question Answering). Neste projeto, propomos uma arquitetura que combina as principais características desses modelos dentro de uma configuração de Aprendizado por Reforço, com a capacidade extra de realizar múltiplos saltos entre documentos para responder às perguntas dos usuários. Um sistema com esta capacidade é fundamental para construir agentes conversacionais capazes de responder a perguntas complexas que requerem múltiplas consultas em uma base de conhecimento não-estruturada. Nossos sistemas alcançaram um F1-score máximo de 0.13 ± 0.3 no conjunto de teste, usando em média apenas 47% das passagens de texto totais disponíveis.Recently, models composed of only a neural Information Retrieval and a Machine Reading Comprehension/Text Generator modules based on pretrained language models have reached the state of the art in several challenging natural language processing datasets. However, there is still significant room for improvement in the reasoning capacity of these systems, especially in the realm of complex open-domain question answering (CODQA) datasets. In this project, we propose an architecture that combines the main features of these models within a Reinforcement Learning setting, with the extra ability to perform multiple hops among documents to answer to users questions. A system with this capability is critical for building conversational agents able to answer difficult questions that require multiple queries on a non-structured database. Our systems achieved a maximum F1-score of 0.13±0.3 on the test set, using on average only 47% of the total available text passages.Biblioteca Digitais de Teses e Dissertações da USPCosta, Anna Helena RealiCação, Flávio Nakasato2023-06-19info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/3/3141/tde-10012024-092904/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-10-09T12:45:09Zoai:teses.usp.br:tde-10012024-092904Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-10-09T12:45:09Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Uma abordagem de aprendizado por reforço profundo para respostas a perguntas complexas de domínio aberto.
A deep reinforcement learning approach to complex open-domain question answering.
title Uma abordagem de aprendizado por reforço profundo para respostas a perguntas complexas de domínio aberto.
spellingShingle Uma abordagem de aprendizado por reforço profundo para respostas a perguntas complexas de domínio aberto.
Cação, Flávio Nakasato
Aprendizado computacional
Aprendizagem profunda
Complex open-domain question answering
Conversational agents
Deep reinforcement learning
Processamento de linguagem natural
title_short Uma abordagem de aprendizado por reforço profundo para respostas a perguntas complexas de domínio aberto.
title_full Uma abordagem de aprendizado por reforço profundo para respostas a perguntas complexas de domínio aberto.
title_fullStr Uma abordagem de aprendizado por reforço profundo para respostas a perguntas complexas de domínio aberto.
title_full_unstemmed Uma abordagem de aprendizado por reforço profundo para respostas a perguntas complexas de domínio aberto.
title_sort Uma abordagem de aprendizado por reforço profundo para respostas a perguntas complexas de domínio aberto.
author Cação, Flávio Nakasato
author_facet Cação, Flávio Nakasato
author_role author
dc.contributor.none.fl_str_mv Costa, Anna Helena Reali
dc.contributor.author.fl_str_mv Cação, Flávio Nakasato
dc.subject.por.fl_str_mv Aprendizado computacional
Aprendizagem profunda
Complex open-domain question answering
Conversational agents
Deep reinforcement learning
Processamento de linguagem natural
topic Aprendizado computacional
Aprendizagem profunda
Complex open-domain question answering
Conversational agents
Deep reinforcement learning
Processamento de linguagem natural
description Recentemente, modelos compostos por apenas módulos neurais de Recuperação de Informação e Compreensão de Leitura de Máquina/Gerador de Texto baseados em modelos de linguagem pré-treinados alcançaram o estado da arte em vários conjuntos de dados desafiadores de processamento de linguagem natural. No entanto, ainda há espaço significativo para melhorias na capacidade de raciocínio desses sistemas, especialmente no domínio de perguntas e respostas complexas de domínio aberto (CODQA - Complex Open-Domain Question Answering). Neste projeto, propomos uma arquitetura que combina as principais características desses modelos dentro de uma configuração de Aprendizado por Reforço, com a capacidade extra de realizar múltiplos saltos entre documentos para responder às perguntas dos usuários. Um sistema com esta capacidade é fundamental para construir agentes conversacionais capazes de responder a perguntas complexas que requerem múltiplas consultas em uma base de conhecimento não-estruturada. Nossos sistemas alcançaram um F1-score máximo de 0.13 ± 0.3 no conjunto de teste, usando em média apenas 47% das passagens de texto totais disponíveis.
publishDate 2023
dc.date.none.fl_str_mv 2023-06-19
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/3/3141/tde-10012024-092904/
url https://www.teses.usp.br/teses/disponiveis/3/3141/tde-10012024-092904/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1815256499795001344