Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | https://www.teses.usp.br/teses/disponiveis/55/55134/tde-11012022-102933/ |
Resumo: | A recuperação de informações de coleções de documentos é necessária em muitos contextos, por exemplo, pesquisadores desejam recuperar artigos sobre um tópico de pesquisa, médicos procuram prontuários de pacientes relacionados a uma determinada condição, investigadores de polícia buscam relações em relatórios criminais. Em comum a esses cenários, os usuários precisam identificar informações textuais relevantes em uma coleção de documentos. A tarefa é desafiadora, especialmente quando os usuários esperam por um processo de recuperação que não perca nenhum ou poucos documentos relevantes. Abordagens de Visual Analytics (VA) são frequentemente defendidas para apoiar tarefas de recuperação de documentos. VA depende da integração de visualizações interativas e algoritmos de aprendizado de máquina para que um especialista no domínio possa gradualmente conduzir um sistema para identificar os documentos relevantes. Como exemplo, o TRIVIR é um sistema do estado da arte que permite explorar um corpus enquanto fornece feedback a um classificador que sugere documentos potencialmente relevantes a um documento de consulta de referência. Avaliar as estratégias de recuperação de informações com suporte de VA também é um desafio, pois o uso desses sistemas geralmente envolve muitos aspectos conceituais e práticos e as tarefas de recuperação de texto podem exigir um esforço cognitivo considerável. Neste trabalho, são apresentados resultados de estudos observacionais sobre Recuperação de Informação (RI) de texto apoiada por VA. Foram conduzidas sessões com alunos de pós-graduação e pesquisadores usando o TRIVIR para explorar artigos científicos para fins de revisão de literatura. Um primeiro estudo permitiu recolher opiniões e identificar alguns problemas de usabilidade e limitações práticas da implementação disponível. Depois de tratar alguns problemas críticos observados no nível da interface, foi conduzida uma segunda rodada de sessões para coletar mais opiniões de usuários sobre um processo de recuperação auxiliado por VA. Concluiu-se que a maioria dos usuários tem uma visão muito positiva da usabilidade do sistema e da sua capacidade de facilitar as tarefas de recuperação. No entanto, também observou-se que uma introdução adequada aos diferentes elementos da interface é muito importante, e que pode ser difícil transmitir o modelo conceitual subjacente e suas limitações. Observou-se uma variação significativa na avaliação das funcionalidades específicas por diferentes usuários, e alguns deles podem enfrentar dificuldades práticas para utilizar o sistema adequadamente, de forma autônoma. |
id |
USP_3ea1e21f92965816c04011313e0e7d76 |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-11012022-102933 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentosEvaluation of a visual analytics system for information retrieval in document collectionsAnálise visualColeções de documentosDocument collectionsRecuperação de informação textualText visualizationTextual information retrievalVisual analysisVisualização de textoA recuperação de informações de coleções de documentos é necessária em muitos contextos, por exemplo, pesquisadores desejam recuperar artigos sobre um tópico de pesquisa, médicos procuram prontuários de pacientes relacionados a uma determinada condição, investigadores de polícia buscam relações em relatórios criminais. Em comum a esses cenários, os usuários precisam identificar informações textuais relevantes em uma coleção de documentos. A tarefa é desafiadora, especialmente quando os usuários esperam por um processo de recuperação que não perca nenhum ou poucos documentos relevantes. Abordagens de Visual Analytics (VA) são frequentemente defendidas para apoiar tarefas de recuperação de documentos. VA depende da integração de visualizações interativas e algoritmos de aprendizado de máquina para que um especialista no domínio possa gradualmente conduzir um sistema para identificar os documentos relevantes. Como exemplo, o TRIVIR é um sistema do estado da arte que permite explorar um corpus enquanto fornece feedback a um classificador que sugere documentos potencialmente relevantes a um documento de consulta de referência. Avaliar as estratégias de recuperação de informações com suporte de VA também é um desafio, pois o uso desses sistemas geralmente envolve muitos aspectos conceituais e práticos e as tarefas de recuperação de texto podem exigir um esforço cognitivo considerável. Neste trabalho, são apresentados resultados de estudos observacionais sobre Recuperação de Informação (RI) de texto apoiada por VA. Foram conduzidas sessões com alunos de pós-graduação e pesquisadores usando o TRIVIR para explorar artigos científicos para fins de revisão de literatura. Um primeiro estudo permitiu recolher opiniões e identificar alguns problemas de usabilidade e limitações práticas da implementação disponível. Depois de tratar alguns problemas críticos observados no nível da interface, foi conduzida uma segunda rodada de sessões para coletar mais opiniões de usuários sobre um processo de recuperação auxiliado por VA. Concluiu-se que a maioria dos usuários tem uma visão muito positiva da usabilidade do sistema e da sua capacidade de facilitar as tarefas de recuperação. No entanto, também observou-se que uma introdução adequada aos diferentes elementos da interface é muito importante, e que pode ser difícil transmitir o modelo conceitual subjacente e suas limitações. Observou-se uma variação significativa na avaliação das funcionalidades específicas por diferentes usuários, e alguns deles podem enfrentar dificuldades práticas para utilizar o sistema adequadamente, de forma autônoma.Retrieving information from document collections is necessary in many contexts, for example, researchers wish to retrieve papers on a research topic, physicians search for patient records related to a certain condition, police investigators seek for relationships in criminal reports. Common to these scenarios are users in need of identifying relevant textual information in a document collection. The task is challenging, especially when users hope for a retrieval process that misses none or very few of the relevant documents. Visual Analytics (VA) approaches are often advocated to support document retrieval tasks. VA relies on integrating interactive visualizations and machine learning algorithms so that a domain expert can gradually steer a system into identifying the relevant documents. As an example, TRIVIR is a state-of-the-art system that allows exploring a corpus while providing feedback to a classifier that suggests potentially relevant documents to a reference query document. Assessing VA-supported Information Retrieval (IR) strategies is also challenging, as using these systems typically involves many conceptual and practical aspects and text retrieval tasks can demand considerable cognitive effort. In this work, we present results from observational studies on VA-supported text information retrieval. We conducted sessions with graduate students and researchers using TRIVIR to explore scientific papers for purposes of literature review. A first study allowed us to collect opinions and identify some usability issues and practical limitations of the available implementation. After handling some critical issues observed at the interface level, we conducted a second round of sessions in order to collect further user opinions regarding a retrieval process assisted with VA. We concluded that most users have a very positive view of the systems usability and its ability to facilitate their retrieval tasks. Nonetheless, we also learnt that a proper introduction to the role of the interface elements is important and that conveying the underlying conceptual model and its limitations can be difficult. We observed considerable variation in user assessment of the specific functionalities and some users may face practical difficulties in using the system autonomously in an optimal way.Biblioteca Digitais de Teses e Dissertações da USPOliveira, Maria Cristina Ferreira deSilva, Sherlon Almeida da2021-11-18info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/55/55134/tde-11012022-102933/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2022-01-11T12:38:02Zoai:teses.usp.br:tde-11012022-102933Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212022-01-11T12:38:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos Evaluation of a visual analytics system for information retrieval in document collections |
title |
Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos |
spellingShingle |
Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos Silva, Sherlon Almeida da Análise visual Coleções de documentos Document collections Recuperação de informação textual Text visualization Textual information retrieval Visual analysis Visualização de texto |
title_short |
Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos |
title_full |
Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos |
title_fullStr |
Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos |
title_full_unstemmed |
Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos |
title_sort |
Avaliação de um sistema de analítica visual para recuperação de informação em coleções de documentos |
author |
Silva, Sherlon Almeida da |
author_facet |
Silva, Sherlon Almeida da |
author_role |
author |
dc.contributor.none.fl_str_mv |
Oliveira, Maria Cristina Ferreira de |
dc.contributor.author.fl_str_mv |
Silva, Sherlon Almeida da |
dc.subject.por.fl_str_mv |
Análise visual Coleções de documentos Document collections Recuperação de informação textual Text visualization Textual information retrieval Visual analysis Visualização de texto |
topic |
Análise visual Coleções de documentos Document collections Recuperação de informação textual Text visualization Textual information retrieval Visual analysis Visualização de texto |
description |
A recuperação de informações de coleções de documentos é necessária em muitos contextos, por exemplo, pesquisadores desejam recuperar artigos sobre um tópico de pesquisa, médicos procuram prontuários de pacientes relacionados a uma determinada condição, investigadores de polícia buscam relações em relatórios criminais. Em comum a esses cenários, os usuários precisam identificar informações textuais relevantes em uma coleção de documentos. A tarefa é desafiadora, especialmente quando os usuários esperam por um processo de recuperação que não perca nenhum ou poucos documentos relevantes. Abordagens de Visual Analytics (VA) são frequentemente defendidas para apoiar tarefas de recuperação de documentos. VA depende da integração de visualizações interativas e algoritmos de aprendizado de máquina para que um especialista no domínio possa gradualmente conduzir um sistema para identificar os documentos relevantes. Como exemplo, o TRIVIR é um sistema do estado da arte que permite explorar um corpus enquanto fornece feedback a um classificador que sugere documentos potencialmente relevantes a um documento de consulta de referência. Avaliar as estratégias de recuperação de informações com suporte de VA também é um desafio, pois o uso desses sistemas geralmente envolve muitos aspectos conceituais e práticos e as tarefas de recuperação de texto podem exigir um esforço cognitivo considerável. Neste trabalho, são apresentados resultados de estudos observacionais sobre Recuperação de Informação (RI) de texto apoiada por VA. Foram conduzidas sessões com alunos de pós-graduação e pesquisadores usando o TRIVIR para explorar artigos científicos para fins de revisão de literatura. Um primeiro estudo permitiu recolher opiniões e identificar alguns problemas de usabilidade e limitações práticas da implementação disponível. Depois de tratar alguns problemas críticos observados no nível da interface, foi conduzida uma segunda rodada de sessões para coletar mais opiniões de usuários sobre um processo de recuperação auxiliado por VA. Concluiu-se que a maioria dos usuários tem uma visão muito positiva da usabilidade do sistema e da sua capacidade de facilitar as tarefas de recuperação. No entanto, também observou-se que uma introdução adequada aos diferentes elementos da interface é muito importante, e que pode ser difícil transmitir o modelo conceitual subjacente e suas limitações. Observou-se uma variação significativa na avaliação das funcionalidades específicas por diferentes usuários, e alguns deles podem enfrentar dificuldades práticas para utilizar o sistema adequadamente, de forma autônoma. |
publishDate |
2021 |
dc.date.none.fl_str_mv |
2021-11-18 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/55/55134/tde-11012022-102933/ |
url |
https://www.teses.usp.br/teses/disponiveis/55/55134/tde-11012022-102933/ |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1815256851900530688 |