Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos

Detalhes bibliográficos
Autor(a) principal: Silva, Sherlon Almeida da
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-11012022-102933/
Resumo: A recuperação de informações de coleções de documentos é necessária em muitos contextos, por exemplo, pesquisadores desejam recuperar artigos sobre um tópico de pesquisa, médicos procuram prontuários de pacientes relacionados a uma determinada condição, investigadores de polícia buscam relações em relatórios criminais. Em comum a esses cenários, os usuários precisam identificar informações textuais relevantes em uma coleção de documentos. A tarefa é desafiadora, especialmente quando os usuários esperam por um processo de recuperação que não perca nenhum ou poucos documentos relevantes. Abordagens de Visual Analytics (VA) são frequentemente defendidas para apoiar tarefas de recuperação de documentos. VA depende da integração de visualizações interativas e algoritmos de aprendizado de máquina para que um especialista no domínio possa gradualmente conduzir um sistema para identificar os documentos relevantes. Como exemplo, o TRIVIR é um sistema do estado da arte que permite explorar um corpus enquanto fornece feedback a um classificador que sugere documentos potencialmente relevantes a um documento de consulta de referência. Avaliar as estratégias de recuperação de informações com suporte de VA também é um desafio, pois o uso desses sistemas geralmente envolve muitos aspectos conceituais e práticos e as tarefas de recuperação de texto podem exigir um esforço cognitivo considerável. Neste trabalho, são apresentados resultados de estudos observacionais sobre Recuperação de Informação (RI) de texto apoiada por VA. Foram conduzidas sessões com alunos de pós-graduação e pesquisadores usando o TRIVIR para explorar artigos científicos para fins de revisão de literatura. Um primeiro estudo permitiu recolher opiniões e identificar alguns problemas de usabilidade e limitações práticas da implementação disponível. Depois de tratar alguns problemas críticos observados no nível da interface, foi conduzida uma segunda rodada de sessões para coletar mais opiniões de usuários sobre um processo de recuperação auxiliado por VA. Concluiu-se que a maioria dos usuários tem uma visão muito positiva da usabilidade do sistema e da sua capacidade de facilitar as tarefas de recuperação. No entanto, também observou-se que uma introdução adequada aos diferentes elementos da interface é muito importante, e que pode ser difícil transmitir o modelo conceitual subjacente e suas limitações. Observou-se uma variação significativa na avaliação das funcionalidades específicas por diferentes usuários, e alguns deles podem enfrentar dificuldades práticas para utilizar o sistema adequadamente, de forma autônoma.
id USP_3ea1e21f92965816c04011313e0e7d76
oai_identifier_str oai:teses.usp.br:tde-11012022-102933
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentosEvaluation of a visual analytics system for information retrieval in document collectionsAnálise visualColeções de documentosDocument collectionsRecuperação de informação textualText visualizationTextual information retrievalVisual analysisVisualização de textoA recuperação de informações de coleções de documentos é necessária em muitos contextos, por exemplo, pesquisadores desejam recuperar artigos sobre um tópico de pesquisa, médicos procuram prontuários de pacientes relacionados a uma determinada condição, investigadores de polícia buscam relações em relatórios criminais. Em comum a esses cenários, os usuários precisam identificar informações textuais relevantes em uma coleção de documentos. A tarefa é desafiadora, especialmente quando os usuários esperam por um processo de recuperação que não perca nenhum ou poucos documentos relevantes. Abordagens de Visual Analytics (VA) são frequentemente defendidas para apoiar tarefas de recuperação de documentos. VA depende da integração de visualizações interativas e algoritmos de aprendizado de máquina para que um especialista no domínio possa gradualmente conduzir um sistema para identificar os documentos relevantes. Como exemplo, o TRIVIR é um sistema do estado da arte que permite explorar um corpus enquanto fornece feedback a um classificador que sugere documentos potencialmente relevantes a um documento de consulta de referência. Avaliar as estratégias de recuperação de informações com suporte de VA também é um desafio, pois o uso desses sistemas geralmente envolve muitos aspectos conceituais e práticos e as tarefas de recuperação de texto podem exigir um esforço cognitivo considerável. Neste trabalho, são apresentados resultados de estudos observacionais sobre Recuperação de Informação (RI) de texto apoiada por VA. Foram conduzidas sessões com alunos de pós-graduação e pesquisadores usando o TRIVIR para explorar artigos científicos para fins de revisão de literatura. Um primeiro estudo permitiu recolher opiniões e identificar alguns problemas de usabilidade e limitações práticas da implementação disponível. Depois de tratar alguns problemas críticos observados no nível da interface, foi conduzida uma segunda rodada de sessões para coletar mais opiniões de usuários sobre um processo de recuperação auxiliado por VA. Concluiu-se que a maioria dos usuários tem uma visão muito positiva da usabilidade do sistema e da sua capacidade de facilitar as tarefas de recuperação. No entanto, também observou-se que uma introdução adequada aos diferentes elementos da interface é muito importante, e que pode ser difícil transmitir o modelo conceitual subjacente e suas limitações. Observou-se uma variação significativa na avaliação das funcionalidades específicas por diferentes usuários, e alguns deles podem enfrentar dificuldades práticas para utilizar o sistema adequadamente, de forma autônoma.Retrieving information from document collections is necessary in many contexts, for example, researchers wish to retrieve papers on a research topic, physicians search for patient records related to a certain condition, police investigators seek for relationships in criminal reports. Common to these scenarios are users in need of identifying relevant textual information in a document collection. The task is challenging, especially when users hope for a retrieval process that misses none or very few of the relevant documents. Visual Analytics (VA) approaches are often advocated to support document retrieval tasks. VA relies on integrating interactive visualizations and machine learning algorithms so that a domain expert can gradually steer a system into identifying the relevant documents. As an example, TRIVIR is a state-of-the-art system that allows exploring a corpus while providing feedback to a classifier that suggests potentially relevant documents to a reference query document. Assessing VA-supported Information Retrieval (IR) strategies is also challenging, as using these systems typically involves many conceptual and practical aspects and text retrieval tasks can demand considerable cognitive effort. In this work, we present results from observational studies on VA-supported text information retrieval. We conducted sessions with graduate students and researchers using TRIVIR to explore scientific papers for purposes of literature review. A first study allowed us to collect opinions and identify some usability issues and practical limitations of the available implementation. After handling some critical issues observed at the interface level, we conducted a second round of sessions in order to collect further user opinions regarding a retrieval process assisted with VA. We concluded that most users have a very positive view of the systems usability and its ability to facilitate their retrieval tasks. Nonetheless, we also learnt that a proper introduction to the role of the interface elements is important and that conveying the underlying conceptual model and its limitations can be difficult. We observed considerable variation in user assessment of the specific functionalities and some users may face practical difficulties in using the system autonomously in an optimal way.Biblioteca Digitais de Teses e Dissertações da USPOliveira, Maria Cristina Ferreira deSilva, Sherlon Almeida da2021-11-18info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/55/55134/tde-11012022-102933/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2022-01-11T12:38:02Zoai:teses.usp.br:tde-11012022-102933Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212022-01-11T12:38:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos
Evaluation of a visual analytics system for information retrieval in document collections
title Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos
spellingShingle Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos
Silva, Sherlon Almeida da
Análise visual
Coleções de documentos
Document collections
Recuperação de informação textual
Text visualization
Textual information retrieval
Visual analysis
Visualização de texto
title_short Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos
title_full Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos
title_fullStr Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos
title_full_unstemmed Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos
title_sort Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos
author Silva, Sherlon Almeida da
author_facet Silva, Sherlon Almeida da
author_role author
dc.contributor.none.fl_str_mv Oliveira, Maria Cristina Ferreira de
dc.contributor.author.fl_str_mv Silva, Sherlon Almeida da
dc.subject.por.fl_str_mv Análise visual
Coleções de documentos
Document collections
Recuperação de informação textual
Text visualization
Textual information retrieval
Visual analysis
Visualização de texto
topic Análise visual
Coleções de documentos
Document collections
Recuperação de informação textual
Text visualization
Textual information retrieval
Visual analysis
Visualização de texto
description A recuperação de informações de coleções de documentos é necessária em muitos contextos, por exemplo, pesquisadores desejam recuperar artigos sobre um tópico de pesquisa, médicos procuram prontuários de pacientes relacionados a uma determinada condição, investigadores de polícia buscam relações em relatórios criminais. Em comum a esses cenários, os usuários precisam identificar informações textuais relevantes em uma coleção de documentos. A tarefa é desafiadora, especialmente quando os usuários esperam por um processo de recuperação que não perca nenhum ou poucos documentos relevantes. Abordagens de Visual Analytics (VA) são frequentemente defendidas para apoiar tarefas de recuperação de documentos. VA depende da integração de visualizações interativas e algoritmos de aprendizado de máquina para que um especialista no domínio possa gradualmente conduzir um sistema para identificar os documentos relevantes. Como exemplo, o TRIVIR é um sistema do estado da arte que permite explorar um corpus enquanto fornece feedback a um classificador que sugere documentos potencialmente relevantes a um documento de consulta de referência. Avaliar as estratégias de recuperação de informações com suporte de VA também é um desafio, pois o uso desses sistemas geralmente envolve muitos aspectos conceituais e práticos e as tarefas de recuperação de texto podem exigir um esforço cognitivo considerável. Neste trabalho, são apresentados resultados de estudos observacionais sobre Recuperação de Informação (RI) de texto apoiada por VA. Foram conduzidas sessões com alunos de pós-graduação e pesquisadores usando o TRIVIR para explorar artigos científicos para fins de revisão de literatura. Um primeiro estudo permitiu recolher opiniões e identificar alguns problemas de usabilidade e limitações práticas da implementação disponível. Depois de tratar alguns problemas críticos observados no nível da interface, foi conduzida uma segunda rodada de sessões para coletar mais opiniões de usuários sobre um processo de recuperação auxiliado por VA. Concluiu-se que a maioria dos usuários tem uma visão muito positiva da usabilidade do sistema e da sua capacidade de facilitar as tarefas de recuperação. No entanto, também observou-se que uma introdução adequada aos diferentes elementos da interface é muito importante, e que pode ser difícil transmitir o modelo conceitual subjacente e suas limitações. Observou-se uma variação significativa na avaliação das funcionalidades específicas por diferentes usuários, e alguns deles podem enfrentar dificuldades práticas para utilizar o sistema adequadamente, de forma autônoma.
publishDate 2021
dc.date.none.fl_str_mv 2021-11-18
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/55/55134/tde-11012022-102933/
url https://www.teses.usp.br/teses/disponiveis/55/55134/tde-11012022-102933/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809090603554701312