Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/10362/159779 |
Resumo: | Cada vez mais, existe a necessidade de criar e desenvolver sistemas que respondam às necessidades e requisitos do utilizador. Sistemas que sejam capazes de resolver de forma mais eficaz e eficiente possível as tarefas pretendidas, dando, em simultâneo, ao utilizador um nível de satisfação elevado. Para isso, é necessário realizar avaliações de usabilidade capazes de testar os sistemas sob o ponto de vista do utilizador. Ao longo dos anos, desenvolveram-se vários métodos capazes de o fazer. Assim, o objetivo deste estudo é comparar as métricas obtidas por dois desses métodos, o Cognitive Walkthrough (CW) e o Eye Tracking (ET), e determinar que relação existe entre os dois num âmbito de avaliação de usabilidade de sistemas. O CW é um método de referência na área de usabilidade que, devido às suas características, é capaz de avaliar a usabilidade de um sistema com um grau de precisão elevado, revelando problemas que precisam de correção e a opinião do potencial utilizador final. O ET é uma tecnologia que consiste em determinar a posição do olhar do utilizador no espaço. Já tem sido utilizada em vários estudos de usabilidade, mas, até agora, sem uma relação direta com o CW. Assim, foram realizados testes de usabilidade com 54 indivíduos (entre as idades de 18 anos e 68 anos), na plataforma Google Calendar. As métricas obtidas pelo CW foram o número de cliques e o número de erros. As métricas obtidas pelo ET foram o número de saccades e o número e duração das fixações. Os resultados foram analisados recorrendo às técnicas estatísticas gráficas (histograma e Q-Q Plot) e analíticas (Kolmogorov-Smirov, Shapiro-Wilk, teste de Levene, transformação Box- Cox, teste One-Way ANOVA, teste Kruskal-Wallis e correlação de Pearson) que sugerem que a correlação entre os dois métodos seja estatisticamente significativa. Além disso, foi realizada uma análise complementar através de heat maps que completou o resultado obtido. |
id |
RCAP_cdbde3196b45f42d85a96696a06b348f |
---|---|
oai_identifier_str |
oai:run.unl.pt:10362/159779 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de SistemasUsabilidadeCognitive WalkthroughEye TrackingDomínio/Área Científica::Engenharia e Tecnologia::Outras Engenharias e TecnologiasCada vez mais, existe a necessidade de criar e desenvolver sistemas que respondam às necessidades e requisitos do utilizador. Sistemas que sejam capazes de resolver de forma mais eficaz e eficiente possível as tarefas pretendidas, dando, em simultâneo, ao utilizador um nível de satisfação elevado. Para isso, é necessário realizar avaliações de usabilidade capazes de testar os sistemas sob o ponto de vista do utilizador. Ao longo dos anos, desenvolveram-se vários métodos capazes de o fazer. Assim, o objetivo deste estudo é comparar as métricas obtidas por dois desses métodos, o Cognitive Walkthrough (CW) e o Eye Tracking (ET), e determinar que relação existe entre os dois num âmbito de avaliação de usabilidade de sistemas. O CW é um método de referência na área de usabilidade que, devido às suas características, é capaz de avaliar a usabilidade de um sistema com um grau de precisão elevado, revelando problemas que precisam de correção e a opinião do potencial utilizador final. O ET é uma tecnologia que consiste em determinar a posição do olhar do utilizador no espaço. Já tem sido utilizada em vários estudos de usabilidade, mas, até agora, sem uma relação direta com o CW. Assim, foram realizados testes de usabilidade com 54 indivíduos (entre as idades de 18 anos e 68 anos), na plataforma Google Calendar. As métricas obtidas pelo CW foram o número de cliques e o número de erros. As métricas obtidas pelo ET foram o número de saccades e o número e duração das fixações. Os resultados foram analisados recorrendo às técnicas estatísticas gráficas (histograma e Q-Q Plot) e analíticas (Kolmogorov-Smirov, Shapiro-Wilk, teste de Levene, transformação Box- Cox, teste One-Way ANOVA, teste Kruskal-Wallis e correlação de Pearson) que sugerem que a correlação entre os dois métodos seja estatisticamente significativa. Além disso, foi realizada uma análise complementar através de heat maps que completou o resultado obtido.Increasingly, there is a need to create and develop systems that meet the user's needs and requirements. Systems that are able to solve the intended tasks as effectively and efficiently as possible, while giving the user a high level of satisfaction. Thus, it is necessary to perform usability evaluations capable of testing the systems from the user's point of view. Over the years, several methods capable of doing this have been developed. Thus, the purpose of this study is to compare the metrics obtained by two such methods, the Cognitive Walkthrough (CW) and Eye Tracking (ET), and to determine what relationship exists between the two in a system usability evaluation. CW is a reference method in the field of usability that, due to its characteristics, is able to evaluate the usability of a system with a high degree of accuracy, revealing problems that need correction and the opinion of the potential end user. ET is a technology that consists in determining the position of the user's gaze in space. It has already been used in several usability studies, but, until now, without a direct relationship to CW. Thus, usability tests were conducted with 54 individuals (between the ages of 18 years and 68 years), on the Google Calendar platform. The metrics obtained by CW were the number of clicks and the number of errors. The metrics obtained by ET were the number of saccades and the number and duration of fixations. The results were analyzed using graphical (histogram and Q-Q Plot) and analytical (Kolmogorov- Smirov, Shapiro-Wilk, Levene’s test, Box-Cox transformation, One-Way ANOVA, Kruskal-Wallis’ test, and Pearson correlation) statistical techniques which suggest that the correlation between the two methods is statistically significant. In addition, a complementary analysis was performed through heat maps that completed the obtained result.Gabriel, AnaCabral, IzunildoRUNPinto, Guilherme Ferreira2023-11-10T11:07:28Z2023-012023-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10362/159779porinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-03-11T05:42:15Zoai:run.unl.pt:10362/159779Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T03:57:42.514841Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas |
title |
Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas |
spellingShingle |
Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas Pinto, Guilherme Ferreira Usabilidade Cognitive Walkthrough Eye Tracking Domínio/Área Científica::Engenharia e Tecnologia::Outras Engenharias e Tecnologias |
title_short |
Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas |
title_full |
Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas |
title_fullStr |
Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas |
title_full_unstemmed |
Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas |
title_sort |
Estudo Comparativo entre o Cognitive Walkthrough e o Eye Tracker na Avaliação de Usabilidade de Sistemas |
author |
Pinto, Guilherme Ferreira |
author_facet |
Pinto, Guilherme Ferreira |
author_role |
author |
dc.contributor.none.fl_str_mv |
Gabriel, Ana Cabral, Izunildo RUN |
dc.contributor.author.fl_str_mv |
Pinto, Guilherme Ferreira |
dc.subject.por.fl_str_mv |
Usabilidade Cognitive Walkthrough Eye Tracking Domínio/Área Científica::Engenharia e Tecnologia::Outras Engenharias e Tecnologias |
topic |
Usabilidade Cognitive Walkthrough Eye Tracking Domínio/Área Científica::Engenharia e Tecnologia::Outras Engenharias e Tecnologias |
description |
Cada vez mais, existe a necessidade de criar e desenvolver sistemas que respondam às necessidades e requisitos do utilizador. Sistemas que sejam capazes de resolver de forma mais eficaz e eficiente possível as tarefas pretendidas, dando, em simultâneo, ao utilizador um nível de satisfação elevado. Para isso, é necessário realizar avaliações de usabilidade capazes de testar os sistemas sob o ponto de vista do utilizador. Ao longo dos anos, desenvolveram-se vários métodos capazes de o fazer. Assim, o objetivo deste estudo é comparar as métricas obtidas por dois desses métodos, o Cognitive Walkthrough (CW) e o Eye Tracking (ET), e determinar que relação existe entre os dois num âmbito de avaliação de usabilidade de sistemas. O CW é um método de referência na área de usabilidade que, devido às suas características, é capaz de avaliar a usabilidade de um sistema com um grau de precisão elevado, revelando problemas que precisam de correção e a opinião do potencial utilizador final. O ET é uma tecnologia que consiste em determinar a posição do olhar do utilizador no espaço. Já tem sido utilizada em vários estudos de usabilidade, mas, até agora, sem uma relação direta com o CW. Assim, foram realizados testes de usabilidade com 54 indivíduos (entre as idades de 18 anos e 68 anos), na plataforma Google Calendar. As métricas obtidas pelo CW foram o número de cliques e o número de erros. As métricas obtidas pelo ET foram o número de saccades e o número e duração das fixações. Os resultados foram analisados recorrendo às técnicas estatísticas gráficas (histograma e Q-Q Plot) e analíticas (Kolmogorov-Smirov, Shapiro-Wilk, teste de Levene, transformação Box- Cox, teste One-Way ANOVA, teste Kruskal-Wallis e correlação de Pearson) que sugerem que a correlação entre os dois métodos seja estatisticamente significativa. Além disso, foi realizada uma análise complementar através de heat maps que completou o resultado obtido. |
publishDate |
2023 |
dc.date.none.fl_str_mv |
2023-11-10T11:07:28Z 2023-01 2023-01-01T00:00:00Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10362/159779 |
url |
http://hdl.handle.net/10362/159779 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799138159471099904 |