Assessment of bias in a crowdsourcing accessibility system using serious games
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Tese |
Idioma: | eng |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | https://www.teses.usp.br/teses/disponiveis/45/45134/tde-02012024-175653/ |
Resumo: | Can persons without disabilities be good evaluators of accessibility? This question, often posed by persons with disabilities when looking at crowdsourced accessibility maps, is related to one of the most important unresolved issues of crowdsourcing: data quality control. Many of the recent ground-breaking advancements in machine learning depend on data annotation done by humans. Existing approaches for managing inaccuracies in crowdsourcing are based on validating output against preset gold standards, but they are unsuitable for subjective contexts such as sentiment analysis, semantic annotation, or measuring accessibility. While existing accessibility maps are largely centered in Europe and the United States, we built the largest database of such kind in Latin America. We detail techniques used for engaging over 27,000 volunteers who generated more than 300,000 data points over the course of 90 months, and a novel method for validating data quality in a context that lacks a definite ground truth. We tested it by applying concepts of serious games for exposing biases of different demographic profiles, and crowdsourced a different dataset for validating data quality. We found that persons without disabilities did not have worse performance than persons with disabilities, strong evidence that crowdsourcing can be a reliable source for accessibility data. |
id |
USP_3ccb5149a405326f5ac3ec5c6a1769d6 |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-02012024-175653 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
Assessment of bias in a crowdsourcing accessibility system using serious gamesAnálise de viés em um sistema de crowdsourcing de acessibilidade utilizando jogos sériosAccessibilityAcessibilidadeComputação socialCrowdsourcingCrowdsourcingJogos sériosSerious gamesSocial computingCan persons without disabilities be good evaluators of accessibility? This question, often posed by persons with disabilities when looking at crowdsourced accessibility maps, is related to one of the most important unresolved issues of crowdsourcing: data quality control. Many of the recent ground-breaking advancements in machine learning depend on data annotation done by humans. Existing approaches for managing inaccuracies in crowdsourcing are based on validating output against preset gold standards, but they are unsuitable for subjective contexts such as sentiment analysis, semantic annotation, or measuring accessibility. While existing accessibility maps are largely centered in Europe and the United States, we built the largest database of such kind in Latin America. We detail techniques used for engaging over 27,000 volunteers who generated more than 300,000 data points over the course of 90 months, and a novel method for validating data quality in a context that lacks a definite ground truth. We tested it by applying concepts of serious games for exposing biases of different demographic profiles, and crowdsourced a different dataset for validating data quality. We found that persons without disabilities did not have worse performance than persons with disabilities, strong evidence that crowdsourcing can be a reliable source for accessibility data.Pessoas sem deficiência podem ser bons avaliadores de acessibilidade? Essa questão, frequentemente colocada por pessoas com deficiência quando olham para mapas de acessibilidade construídos via crowdsourcing, está relacionada com uma das questões não resolvidas mais importantes do crowdsourcing: o controle da qualidade dos dados. Muitos dos avanços recentes em aprendizagem de máquina dependem de anotação de dados feita por humanos. Abordagens existentes para gerenciar imprecisões em crowdsourcing baseiam-se na validação de resultados em relação a padrões-ouro predefinidos, e por isso são inadequadas para contextos subjetivos como análise de sentimento, anotação semântica ou medição de acessibilidade. Enquanto os mapas de acessibilidade existentes estão centrados na Europa e nos Estados Unidos, construímos a maior base de dados desse tipo na América Latina. Detalhamos técnicas usadas para engajar mais de 27.000 voluntários que geraram acima de 300.000 dados ao longo de 90 meses, e um novo método para validar qualidade de dados em um contexto que não tem uma verdade básica. Nós o testamos aplicando conceitos de jogos sérios para expor vieses de diferentes perfis demográficos e coletamos um conjunto de dados diferente para a avaliação de qualidade. Descobrimos que pessoas sem deficiência não tiveram um desempenho pior do que pessoas com deficiência, uma forte evidência de que crowdsourcing pode ser uma fonte confiável de dados de acessibilidade.Biblioteca Digitais de Teses e Dissertações da USPKon, FabioSilva, Flavio Soares Correa daBarguil, João Marcos de Mattos2023-11-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/45/45134/tde-02012024-175653/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesseng2024-01-16T13:44:03Zoai:teses.usp.br:tde-02012024-175653Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-01-16T13:44:03Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
Assessment of bias in a crowdsourcing accessibility system using serious games Análise de viés em um sistema de crowdsourcing de acessibilidade utilizando jogos sérios |
title |
Assessment of bias in a crowdsourcing accessibility system using serious games |
spellingShingle |
Assessment of bias in a crowdsourcing accessibility system using serious games Barguil, João Marcos de Mattos Accessibility Acessibilidade Computação social Crowdsourcing Crowdsourcing Jogos sérios Serious games Social computing |
title_short |
Assessment of bias in a crowdsourcing accessibility system using serious games |
title_full |
Assessment of bias in a crowdsourcing accessibility system using serious games |
title_fullStr |
Assessment of bias in a crowdsourcing accessibility system using serious games |
title_full_unstemmed |
Assessment of bias in a crowdsourcing accessibility system using serious games |
title_sort |
Assessment of bias in a crowdsourcing accessibility system using serious games |
author |
Barguil, João Marcos de Mattos |
author_facet |
Barguil, João Marcos de Mattos |
author_role |
author |
dc.contributor.none.fl_str_mv |
Kon, Fabio Silva, Flavio Soares Correa da |
dc.contributor.author.fl_str_mv |
Barguil, João Marcos de Mattos |
dc.subject.por.fl_str_mv |
Accessibility Acessibilidade Computação social Crowdsourcing Crowdsourcing Jogos sérios Serious games Social computing |
topic |
Accessibility Acessibilidade Computação social Crowdsourcing Crowdsourcing Jogos sérios Serious games Social computing |
description |
Can persons without disabilities be good evaluators of accessibility? This question, often posed by persons with disabilities when looking at crowdsourced accessibility maps, is related to one of the most important unresolved issues of crowdsourcing: data quality control. Many of the recent ground-breaking advancements in machine learning depend on data annotation done by humans. Existing approaches for managing inaccuracies in crowdsourcing are based on validating output against preset gold standards, but they are unsuitable for subjective contexts such as sentiment analysis, semantic annotation, or measuring accessibility. While existing accessibility maps are largely centered in Europe and the United States, we built the largest database of such kind in Latin America. We detail techniques used for engaging over 27,000 volunteers who generated more than 300,000 data points over the course of 90 months, and a novel method for validating data quality in a context that lacks a definite ground truth. We tested it by applying concepts of serious games for exposing biases of different demographic profiles, and crowdsourced a different dataset for validating data quality. We found that persons without disabilities did not have worse performance than persons with disabilities, strong evidence that crowdsourcing can be a reliable source for accessibility data. |
publishDate |
2023 |
dc.date.none.fl_str_mv |
2023-11-23 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/45/45134/tde-02012024-175653/ |
url |
https://www.teses.usp.br/teses/disponiveis/45/45134/tde-02012024-175653/ |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1809090294643163136 |