Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFU |
Texto Completo: | https://repositorio.ufu.br/handle/123456789/31086 http://doi.org/10.14393/ufu.te.2021.19 |
Resumo: | Text production is one of the most frequent activities when using a computer, a common task that can be affected by limitations for individuals with severe neuromotor disorders such as amyotrophic lateral sclerosis, sometimes aggravated into the Locked-in syndrome. Such individuals may need tools for augmentative and alternative communication, since they may in some cases have only the eye movements as a form of communication and interaction with the outside world. This thesis investigates methods of interaction based on eye movements, discussing their characteristics, possibilities and limitations of human-computer interaction through gaze direction. This work proposes the development of an eye-controlled virtual keyboard that uses gaze traces as text input, describing the development of the virtual keyboard interface, the gaze tracking method and the shape detection and decoding algorithm for words typed from a Brazilian Portuguese lexicon. The methodology of this work, exploratory and experimental, has a quantitative and qualitative nature and involves empirical tests. It comprises an extensive bibliographic survey about Augmentative and Alternative Communication methods, information input through eye gaze direction and design of virtual keyboards. The practical section of this thesis includes the development of an assistive interface based on text input through gaze gestures and the usability evaluation based on experiments with real users without training. The results achieved indicate gesture recognition accuracy above 90% with virtual keyboards in three different key layouts, and typing speed ranging from 3.56 to 7.41 words per minute for novice users and average recognition rate of 83.75%. |
id |
UFU_022c7207557cf7f5141897c11c559119 |
---|---|
oai_identifier_str |
oai:repositorio.ufu.br:123456789/31086 |
network_acronym_str |
UFU |
network_name_str |
Repositório Institucional da UFU |
repository_id_str |
|
spelling |
Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuaisDevelopment of a virtual keyboard for communication through eye gesturesTeclado ocularOcular keyboardTeclado virtualVirtual keyboardComunicação alternativa e aumentativaAugmentative and alternative communicationEsclerose lateral amiotróficaAmyotrophic lateral sclerosisInteração humano-computadorHuman computer interactionDigitação ocularEye typingCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAEngenharia elétricaText production is one of the most frequent activities when using a computer, a common task that can be affected by limitations for individuals with severe neuromotor disorders such as amyotrophic lateral sclerosis, sometimes aggravated into the Locked-in syndrome. Such individuals may need tools for augmentative and alternative communication, since they may in some cases have only the eye movements as a form of communication and interaction with the outside world. This thesis investigates methods of interaction based on eye movements, discussing their characteristics, possibilities and limitations of human-computer interaction through gaze direction. This work proposes the development of an eye-controlled virtual keyboard that uses gaze traces as text input, describing the development of the virtual keyboard interface, the gaze tracking method and the shape detection and decoding algorithm for words typed from a Brazilian Portuguese lexicon. The methodology of this work, exploratory and experimental, has a quantitative and qualitative nature and involves empirical tests. It comprises an extensive bibliographic survey about Augmentative and Alternative Communication methods, information input through eye gaze direction and design of virtual keyboards. The practical section of this thesis includes the development of an assistive interface based on text input through gaze gestures and the usability evaluation based on experiments with real users without training. The results achieved indicate gesture recognition accuracy above 90% with virtual keyboards in three different key layouts, and typing speed ranging from 3.56 to 7.41 words per minute for novice users and average recognition rate of 83.75%.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoTese (Doutorado)A produção de texto é uma das atividades mais frequentes ao se utilizar um computador, uma tarefa corriqueira que pode ser afetada por limitações para indivíduos acometidos por distúrbios neuromotores severos como a esclerose lateral amiotrófica, por vezes agravada à síndrome do encarceramento. Tais indivíduos podem necessitar de ferramentas de comunicação aumentativa e alternativa, visto que em alguns casos dispõem unicamente dos movimentos dos olhos como forma de comunicação e interação com o mundo exterior. Esta tese investiga métodos de interação baseados nos movimentos oculares, discorrendo sobre suas características, especificidades e limitações da interação humanocomputador através da direção do olhar. Este trabalho propõe o desenvolvimento de um teclado virtual ocular que utiliza a detecção do traçado do olhar como entrada de texto, descrevendo o desenvolvimento da interface do teclado virtual, do método de rastreamento do olhar e do algoritmo de detecção de forma do traçado e votação de palavras potencialmente digitadas a partir de um léxico em português brasileiro. A metodologia deste trabalho, exploratória e experimental, apresenta natureza quantiqualitativa e engloba testes empíricos. Compreende extenso levantamento bibliográfico acerca de métodos de Comunicação Aumentativa e Alternativa, entrada de informação através da direção do olhar e desenvolvimento de teclados virtuais. A seção prática desta tese inclui o desenvolvimento de uma interface assistiva baseada na entrada de texto através de gestos do olhar e a avaliação de usabilidade a partir de experimentos com usuários reais sem treinamento. Os resultados alcançados indicam precisão de reconhecimento de gestos acima de 90% utilizando teclados virtuais em três diferentes configurações de teclas, e velocidade de digitação variando de 3,56 a 7,41 palavras por minuto para usuários em condições de utilização sem treinamento e taxa média de reconhecimento correto de palavras de 83,75%.Universidade Federal de UberlândiaBrasilPrograma de Pós-graduação em Engenharia ElétricaVeiga, Antônio Cláudio Paschoarellihttp://lattes.cnpq.br/2835416571685218Loja, Luiz Fernando Batistahttp://lattes.cnpq.br/0807441004466785Cury, Lacordaire Kemel Pimentahttp://lattes.cnpq.br/9984652331518240Carrijo, Gilberto Aranteshttp://lattes.cnpq.br/1358511937659656Carneiro, Milena Bueno Pereirahttp://lattes.cnpq.br/4071349511490099Silva, Rafael Augusto da2021-01-19T13:26:39Z2021-01-19T13:26:39Z2021-01-11info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfSILVA, Rafael Augusto da. Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais. 2021. 183 f. Tese (Doutorado em Engenharia Elétrica) - Universidade Federal de Uberlândia, Uberlândia, 2021. DOI http://doi.org/10.14393/ufu.te.2021.19.https://repositorio.ufu.br/handle/123456789/31086http://doi.org/10.14393/ufu.te.2021.19porhttp://creativecommons.org/licenses/by-nc-nd/3.0/us/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFUinstname:Universidade Federal de Uberlândia (UFU)instacron:UFU2021-01-20T06:15:55Zoai:repositorio.ufu.br:123456789/31086Repositório InstitucionalONGhttp://repositorio.ufu.br/oai/requestdiinf@dirbi.ufu.bropendoar:2021-01-20T06:15:55Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)false |
dc.title.none.fl_str_mv |
Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais Development of a virtual keyboard for communication through eye gestures |
title |
Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais |
spellingShingle |
Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais Silva, Rafael Augusto da Teclado ocular Ocular keyboard Teclado virtual Virtual keyboard Comunicação alternativa e aumentativa Augmentative and alternative communication Esclerose lateral amiotrófica Amyotrophic lateral sclerosis Interação humano-computador Human computer interaction Digitação ocular Eye typing CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Engenharia elétrica |
title_short |
Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais |
title_full |
Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais |
title_fullStr |
Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais |
title_full_unstemmed |
Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais |
title_sort |
Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais |
author |
Silva, Rafael Augusto da |
author_facet |
Silva, Rafael Augusto da |
author_role |
author |
dc.contributor.none.fl_str_mv |
Veiga, Antônio Cláudio Paschoarelli http://lattes.cnpq.br/2835416571685218 Loja, Luiz Fernando Batista http://lattes.cnpq.br/0807441004466785 Cury, Lacordaire Kemel Pimenta http://lattes.cnpq.br/9984652331518240 Carrijo, Gilberto Arantes http://lattes.cnpq.br/1358511937659656 Carneiro, Milena Bueno Pereira http://lattes.cnpq.br/4071349511490099 |
dc.contributor.author.fl_str_mv |
Silva, Rafael Augusto da |
dc.subject.por.fl_str_mv |
Teclado ocular Ocular keyboard Teclado virtual Virtual keyboard Comunicação alternativa e aumentativa Augmentative and alternative communication Esclerose lateral amiotrófica Amyotrophic lateral sclerosis Interação humano-computador Human computer interaction Digitação ocular Eye typing CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Engenharia elétrica |
topic |
Teclado ocular Ocular keyboard Teclado virtual Virtual keyboard Comunicação alternativa e aumentativa Augmentative and alternative communication Esclerose lateral amiotrófica Amyotrophic lateral sclerosis Interação humano-computador Human computer interaction Digitação ocular Eye typing CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Engenharia elétrica |
description |
Text production is one of the most frequent activities when using a computer, a common task that can be affected by limitations for individuals with severe neuromotor disorders such as amyotrophic lateral sclerosis, sometimes aggravated into the Locked-in syndrome. Such individuals may need tools for augmentative and alternative communication, since they may in some cases have only the eye movements as a form of communication and interaction with the outside world. This thesis investigates methods of interaction based on eye movements, discussing their characteristics, possibilities and limitations of human-computer interaction through gaze direction. This work proposes the development of an eye-controlled virtual keyboard that uses gaze traces as text input, describing the development of the virtual keyboard interface, the gaze tracking method and the shape detection and decoding algorithm for words typed from a Brazilian Portuguese lexicon. The methodology of this work, exploratory and experimental, has a quantitative and qualitative nature and involves empirical tests. It comprises an extensive bibliographic survey about Augmentative and Alternative Communication methods, information input through eye gaze direction and design of virtual keyboards. The practical section of this thesis includes the development of an assistive interface based on text input through gaze gestures and the usability evaluation based on experiments with real users without training. The results achieved indicate gesture recognition accuracy above 90% with virtual keyboards in three different key layouts, and typing speed ranging from 3.56 to 7.41 words per minute for novice users and average recognition rate of 83.75%. |
publishDate |
2021 |
dc.date.none.fl_str_mv |
2021-01-19T13:26:39Z 2021-01-19T13:26:39Z 2021-01-11 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
SILVA, Rafael Augusto da. Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais. 2021. 183 f. Tese (Doutorado em Engenharia Elétrica) - Universidade Federal de Uberlândia, Uberlândia, 2021. DOI http://doi.org/10.14393/ufu.te.2021.19. https://repositorio.ufu.br/handle/123456789/31086 http://doi.org/10.14393/ufu.te.2021.19 |
identifier_str_mv |
SILVA, Rafael Augusto da. Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais. 2021. 183 f. Tese (Doutorado em Engenharia Elétrica) - Universidade Federal de Uberlândia, Uberlândia, 2021. DOI http://doi.org/10.14393/ufu.te.2021.19. |
url |
https://repositorio.ufu.br/handle/123456789/31086 http://doi.org/10.14393/ufu.te.2021.19 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/us/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/us/ |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal de Uberlândia Brasil Programa de Pós-graduação em Engenharia Elétrica |
publisher.none.fl_str_mv |
Universidade Federal de Uberlândia Brasil Programa de Pós-graduação em Engenharia Elétrica |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFU instname:Universidade Federal de Uberlândia (UFU) instacron:UFU |
instname_str |
Universidade Federal de Uberlândia (UFU) |
instacron_str |
UFU |
institution |
UFU |
reponame_str |
Repositório Institucional da UFU |
collection |
Repositório Institucional da UFU |
repository.name.fl_str_mv |
Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU) |
repository.mail.fl_str_mv |
diinf@dirbi.ufu.br |
_version_ |
1805569573442813952 |