Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas

Detalhes bibliográficos
Autor(a) principal: Pinto, Guilherme Ferreira
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10362/159779
Resumo: Cada vez mais, existe a necessidade de criar e desenvolver sistemas que respondam às necessidades e requisitos do utilizador. Sistemas que sejam capazes de resolver de forma mais eficaz e eficiente possível as tarefas pretendidas, dando, em simultâneo, ao utilizador um nível de satisfação elevado. Para isso, é necessário realizar avaliações de usabilidade capazes de testar os sistemas sob o ponto de vista do utilizador. Ao longo dos anos, desenvolveram-se vários métodos capazes de o fazer. Assim, o objetivo deste estudo é comparar as métricas obtidas por dois desses métodos, o Cognitive Walkthrough (CW) e o Eye Tracking (ET), e determinar que relação existe entre os dois num âmbito de avaliação de usabilidade de sistemas. O CW é um método de referência na área de usabilidade que, devido às suas características, é capaz de avaliar a usabilidade de um sistema com um grau de precisão elevado, revelando problemas que precisam de correção e a opinião do potencial utilizador final. O ET é uma tecnologia que consiste em determinar a posição do olhar do utilizador no espaço. Já tem sido utilizada em vários estudos de usabilidade, mas, até agora, sem uma relação direta com o CW. Assim, foram realizados testes de usabilidade com 54 indivíduos (entre as idades de 18 anos e 68 anos), na plataforma Google Calendar. As métricas obtidas pelo CW foram o número de cliques e o número de erros. As métricas obtidas pelo ET foram o número de saccades e o número e duração das fixações. Os resultados foram analisados recorrendo às técnicas estatísticas gráficas (histograma e Q-Q Plot) e analíticas (Kolmogorov-Smirov, Shapiro-Wilk, teste de Levene, transformação Box- Cox, teste One-Way ANOVA, teste Kruskal-Wallis e correlação de Pearson) que sugerem que a correlação entre os dois métodos seja estatisticamente significativa. Além disso, foi realizada uma análise complementar através de heat maps que completou o resultado obtido.
id RCAP_cdbde3196b45f42d85a96696a06b348f
oai_identifier_str oai:run.unl.pt:10362/159779
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de SistemasUsabilidadeCognitive WalkthroughEye TrackingDomínio/Área Científica::Engenharia e Tecnologia::Outras Engenharias e TecnologiasCada vez mais, existe a necessidade de criar e desenvolver sistemas que respondam às necessidades e requisitos do utilizador. Sistemas que sejam capazes de resolver de forma mais eficaz e eficiente possível as tarefas pretendidas, dando, em simultâneo, ao utilizador um nível de satisfação elevado. Para isso, é necessário realizar avaliações de usabilidade capazes de testar os sistemas sob o ponto de vista do utilizador. Ao longo dos anos, desenvolveram-se vários métodos capazes de o fazer. Assim, o objetivo deste estudo é comparar as métricas obtidas por dois desses métodos, o Cognitive Walkthrough (CW) e o Eye Tracking (ET), e determinar que relação existe entre os dois num âmbito de avaliação de usabilidade de sistemas. O CW é um método de referência na área de usabilidade que, devido às suas características, é capaz de avaliar a usabilidade de um sistema com um grau de precisão elevado, revelando problemas que precisam de correção e a opinião do potencial utilizador final. O ET é uma tecnologia que consiste em determinar a posição do olhar do utilizador no espaço. Já tem sido utilizada em vários estudos de usabilidade, mas, até agora, sem uma relação direta com o CW. Assim, foram realizados testes de usabilidade com 54 indivíduos (entre as idades de 18 anos e 68 anos), na plataforma Google Calendar. As métricas obtidas pelo CW foram o número de cliques e o número de erros. As métricas obtidas pelo ET foram o número de saccades e o número e duração das fixações. Os resultados foram analisados recorrendo às técnicas estatísticas gráficas (histograma e Q-Q Plot) e analíticas (Kolmogorov-Smirov, Shapiro-Wilk, teste de Levene, transformação Box- Cox, teste One-Way ANOVA, teste Kruskal-Wallis e correlação de Pearson) que sugerem que a correlação entre os dois métodos seja estatisticamente significativa. Além disso, foi realizada uma análise complementar através de heat maps que completou o resultado obtido.Increasingly, there is a need to create and develop systems that meet the user's needs and requirements. Systems that are able to solve the intended tasks as effectively and efficiently as possible, while giving the user a high level of satisfaction. Thus, it is necessary to perform usability evaluations capable of testing the systems from the user's point of view. Over the years, several methods capable of doing this have been developed. Thus, the purpose of this study is to compare the metrics obtained by two such methods, the Cognitive Walkthrough (CW) and Eye Tracking (ET), and to determine what relationship exists between the two in a system usability evaluation. CW is a reference method in the field of usability that, due to its characteristics, is able to evaluate the usability of a system with a high degree of accuracy, revealing problems that need correction and the opinion of the potential end user. ET is a technology that consists in determining the position of the user's gaze in space. It has already been used in several usability studies, but, until now, without a direct relationship to CW. Thus, usability tests were conducted with 54 individuals (between the ages of 18 years and 68 years), on the Google Calendar platform. The metrics obtained by CW were the number of clicks and the number of errors. The metrics obtained by ET were the number of saccades and the number and duration of fixations. The results were analyzed using graphical (histogram and Q-Q Plot) and analytical (Kolmogorov- Smirov, Shapiro-Wilk, Levene’s test, Box-Cox transformation, One-Way ANOVA, Kruskal-Wallis’ test, and Pearson correlation) statistical techniques which suggest that the correlation between the two methods is statistically significant. In addition, a complementary analysis was performed through heat maps that completed the obtained result.Gabriel, AnaCabral, IzunildoRUNPinto, Guilherme Ferreira2023-11-10T11:07:28Z2023-012023-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10362/159779porinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-03-11T05:42:15Zoai:run.unl.pt:10362/159779Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T03:57:42.514841Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas
title Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas
spellingShingle Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas
Pinto, Guilherme Ferreira
Usabilidade
Cognitive Walkthrough
Eye Tracking
Domínio/Área Científica::Engenharia e Tecnologia::Outras Engenharias e Tecnologias
title_short Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas
title_full Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas
title_fullStr Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas
title_full_unstemmed Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas
title_sort Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas
author Pinto, Guilherme Ferreira
author_facet Pinto, Guilherme Ferreira
author_role author
dc.contributor.none.fl_str_mv Gabriel, Ana
Cabral, Izunildo
RUN
dc.contributor.author.fl_str_mv Pinto, Guilherme Ferreira
dc.subject.por.fl_str_mv Usabilidade
Cognitive Walkthrough
Eye Tracking
Domínio/Área Científica::Engenharia e Tecnologia::Outras Engenharias e Tecnologias
topic Usabilidade
Cognitive Walkthrough
Eye Tracking
Domínio/Área Científica::Engenharia e Tecnologia::Outras Engenharias e Tecnologias
description Cada vez mais, existe a necessidade de criar e desenvolver sistemas que respondam às necessidades e requisitos do utilizador. Sistemas que sejam capazes de resolver de forma mais eficaz e eficiente possível as tarefas pretendidas, dando, em simultâneo, ao utilizador um nível de satisfação elevado. Para isso, é necessário realizar avaliações de usabilidade capazes de testar os sistemas sob o ponto de vista do utilizador. Ao longo dos anos, desenvolveram-se vários métodos capazes de o fazer. Assim, o objetivo deste estudo é comparar as métricas obtidas por dois desses métodos, o Cognitive Walkthrough (CW) e o Eye Tracking (ET), e determinar que relação existe entre os dois num âmbito de avaliação de usabilidade de sistemas. O CW é um método de referência na área de usabilidade que, devido às suas características, é capaz de avaliar a usabilidade de um sistema com um grau de precisão elevado, revelando problemas que precisam de correção e a opinião do potencial utilizador final. O ET é uma tecnologia que consiste em determinar a posição do olhar do utilizador no espaço. Já tem sido utilizada em vários estudos de usabilidade, mas, até agora, sem uma relação direta com o CW. Assim, foram realizados testes de usabilidade com 54 indivíduos (entre as idades de 18 anos e 68 anos), na plataforma Google Calendar. As métricas obtidas pelo CW foram o número de cliques e o número de erros. As métricas obtidas pelo ET foram o número de saccades e o número e duração das fixações. Os resultados foram analisados recorrendo às técnicas estatísticas gráficas (histograma e Q-Q Plot) e analíticas (Kolmogorov-Smirov, Shapiro-Wilk, teste de Levene, transformação Box- Cox, teste One-Way ANOVA, teste Kruskal-Wallis e correlação de Pearson) que sugerem que a correlação entre os dois métodos seja estatisticamente significativa. Além disso, foi realizada uma análise complementar através de heat maps que completou o resultado obtido.
publishDate 2023
dc.date.none.fl_str_mv 2023-11-10T11:07:28Z
2023-01
2023-01-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10362/159779
url http://hdl.handle.net/10362/159779
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799138159471099904