Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais

Detalhes bibliográficos
Autor(a) principal: Silva, Rafael Augusto da
Data de Publicação: 2021
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UFU
Texto Completo: https://repositorio.ufu.br/handle/123456789/31086
http://doi.org/10.14393/ufu.te.2021.19
Resumo: Text production is one of the most frequent activities when using a computer, a common task that can be affected by limitations for individuals with severe neuromotor disorders such as amyotrophic lateral sclerosis, sometimes aggravated into the Locked-in syndrome. Such individuals may need tools for augmentative and alternative communication, since they may in some cases have only the eye movements as a form of communication and interaction with the outside world. This thesis investigates methods of interaction based on eye movements, discussing their characteristics, possibilities and limitations of human-computer interaction through gaze direction. This work proposes the development of an eye-controlled virtual keyboard that uses gaze traces as text input, describing the development of the virtual keyboard interface, the gaze tracking method and the shape detection and decoding algorithm for words typed from a Brazilian Portuguese lexicon. The methodology of this work, exploratory and experimental, has a quantitative and qualitative nature and involves empirical tests. It comprises an extensive bibliographic survey about Augmentative and Alternative Communication methods, information input through eye gaze direction and design of virtual keyboards. The practical section of this thesis includes the development of an assistive interface based on text input through gaze gestures and the usability evaluation based on experiments with real users without training. The results achieved indicate gesture recognition accuracy above 90% with virtual keyboards in three different key layouts, and typing speed ranging from 3.56 to 7.41 words per minute for novice users and average recognition rate of 83.75%.
id UFU_022c7207557cf7f5141897c11c559119
oai_identifier_str oai:repositorio.ufu.br:123456789/31086
network_acronym_str UFU
network_name_str Repositório Institucional da UFU
repository_id_str
spelling Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuaisDevelopment of a virtual keyboard for communication through eye gesturesTeclado ocularOcular keyboardTeclado virtualVirtual keyboardComunicação alternativa e aumentativaAugmentative and alternative communicationEsclerose lateral amiotróficaAmyotrophic lateral sclerosisInteração humano-computadorHuman computer interactionDigitação ocularEye typingCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAEngenharia elétricaText production is one of the most frequent activities when using a computer, a common task that can be affected by limitations for individuals with severe neuromotor disorders such as amyotrophic lateral sclerosis, sometimes aggravated into the Locked-in syndrome. Such individuals may need tools for augmentative and alternative communication, since they may in some cases have only the eye movements as a form of communication and interaction with the outside world. This thesis investigates methods of interaction based on eye movements, discussing their characteristics, possibilities and limitations of human-computer interaction through gaze direction. This work proposes the development of an eye-controlled virtual keyboard that uses gaze traces as text input, describing the development of the virtual keyboard interface, the gaze tracking method and the shape detection and decoding algorithm for words typed from a Brazilian Portuguese lexicon. The methodology of this work, exploratory and experimental, has a quantitative and qualitative nature and involves empirical tests. It comprises an extensive bibliographic survey about Augmentative and Alternative Communication methods, information input through eye gaze direction and design of virtual keyboards. The practical section of this thesis includes the development of an assistive interface based on text input through gaze gestures and the usability evaluation based on experiments with real users without training. The results achieved indicate gesture recognition accuracy above 90% with virtual keyboards in three different key layouts, and typing speed ranging from 3.56 to 7.41 words per minute for novice users and average recognition rate of 83.75%.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoTese (Doutorado)A produção de texto é uma das atividades mais frequentes ao se utilizar um computador, uma tarefa corriqueira que pode ser afetada por limitações para indivíduos acometidos por distúrbios neuromotores severos como a esclerose lateral amiotrófica, por vezes agravada à síndrome do encarceramento. Tais indivíduos podem necessitar de ferramentas de comunicação aumentativa e alternativa, visto que em alguns casos dispõem unicamente dos movimentos dos olhos como forma de comunicação e interação com o mundo exterior. Esta tese investiga métodos de interação baseados nos movimentos oculares, discorrendo sobre suas características, especificidades e limitações da interação humanocomputador através da direção do olhar. Este trabalho propõe o desenvolvimento de um teclado virtual ocular que utiliza a detecção do traçado do olhar como entrada de texto, descrevendo o desenvolvimento da interface do teclado virtual, do método de rastreamento do olhar e do algoritmo de detecção de forma do traçado e votação de palavras potencialmente digitadas a partir de um léxico em português brasileiro. A metodologia deste trabalho, exploratória e experimental, apresenta natureza quantiqualitativa e engloba testes empíricos. Compreende extenso levantamento bibliográfico acerca de métodos de Comunicação Aumentativa e Alternativa, entrada de informação através da direção do olhar e desenvolvimento de teclados virtuais. A seção prática desta tese inclui o desenvolvimento de uma interface assistiva baseada na entrada de texto através de gestos do olhar e a avaliação de usabilidade a partir de experimentos com usuários reais sem treinamento. Os resultados alcançados indicam precisão de reconhecimento de gestos acima de 90% utilizando teclados virtuais em três diferentes configurações de teclas, e velocidade de digitação variando de 3,56 a 7,41 palavras por minuto para usuários em condições de utilização sem treinamento e taxa média de reconhecimento correto de palavras de 83,75%.Universidade Federal de UberlândiaBrasilPrograma de Pós-graduação em Engenharia ElétricaVeiga, Antônio Cláudio Paschoarellihttp://lattes.cnpq.br/2835416571685218Loja, Luiz Fernando Batistahttp://lattes.cnpq.br/0807441004466785Cury, Lacordaire Kemel Pimentahttp://lattes.cnpq.br/9984652331518240Carrijo, Gilberto Aranteshttp://lattes.cnpq.br/1358511937659656Carneiro, Milena Bueno Pereirahttp://lattes.cnpq.br/4071349511490099Silva, Rafael Augusto da2021-01-19T13:26:39Z2021-01-19T13:26:39Z2021-01-11info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfSILVA, Rafael Augusto da. Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais. 2021. 183 f. Tese (Doutorado em Engenharia Elétrica) - Universidade Federal de Uberlândia, Uberlândia, 2021. DOI http://doi.org/10.14393/ufu.te.2021.19.https://repositorio.ufu.br/handle/123456789/31086http://doi.org/10.14393/ufu.te.2021.19porhttp://creativecommons.org/licenses/by-nc-nd/3.0/us/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFUinstname:Universidade Federal de Uberlândia (UFU)instacron:UFU2021-01-20T06:15:55Zoai:repositorio.ufu.br:123456789/31086Repositório InstitucionalONGhttp://repositorio.ufu.br/oai/requestdiinf@dirbi.ufu.bropendoar:2021-01-20T06:15:55Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)false
dc.title.none.fl_str_mv Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais
Development of a virtual keyboard for communication through eye gestures
title Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais
spellingShingle Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais
Silva, Rafael Augusto da
Teclado ocular
Ocular keyboard
Teclado virtual
Virtual keyboard
Comunicação alternativa e aumentativa
Augmentative and alternative communication
Esclerose lateral amiotrófica
Amyotrophic lateral sclerosis
Interação humano-computador
Human computer interaction
Digitação ocular
Eye typing
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia elétrica
title_short Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais
title_full Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais
title_fullStr Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais
title_full_unstemmed Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais
title_sort Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais
author Silva, Rafael Augusto da
author_facet Silva, Rafael Augusto da
author_role author
dc.contributor.none.fl_str_mv Veiga, Antônio Cláudio Paschoarelli
http://lattes.cnpq.br/2835416571685218
Loja, Luiz Fernando Batista
http://lattes.cnpq.br/0807441004466785
Cury, Lacordaire Kemel Pimenta
http://lattes.cnpq.br/9984652331518240
Carrijo, Gilberto Arantes
http://lattes.cnpq.br/1358511937659656
Carneiro, Milena Bueno Pereira
http://lattes.cnpq.br/4071349511490099
dc.contributor.author.fl_str_mv Silva, Rafael Augusto da
dc.subject.por.fl_str_mv Teclado ocular
Ocular keyboard
Teclado virtual
Virtual keyboard
Comunicação alternativa e aumentativa
Augmentative and alternative communication
Esclerose lateral amiotrófica
Amyotrophic lateral sclerosis
Interação humano-computador
Human computer interaction
Digitação ocular
Eye typing
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia elétrica
topic Teclado ocular
Ocular keyboard
Teclado virtual
Virtual keyboard
Comunicação alternativa e aumentativa
Augmentative and alternative communication
Esclerose lateral amiotrófica
Amyotrophic lateral sclerosis
Interação humano-computador
Human computer interaction
Digitação ocular
Eye typing
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia elétrica
description Text production is one of the most frequent activities when using a computer, a common task that can be affected by limitations for individuals with severe neuromotor disorders such as amyotrophic lateral sclerosis, sometimes aggravated into the Locked-in syndrome. Such individuals may need tools for augmentative and alternative communication, since they may in some cases have only the eye movements as a form of communication and interaction with the outside world. This thesis investigates methods of interaction based on eye movements, discussing their characteristics, possibilities and limitations of human-computer interaction through gaze direction. This work proposes the development of an eye-controlled virtual keyboard that uses gaze traces as text input, describing the development of the virtual keyboard interface, the gaze tracking method and the shape detection and decoding algorithm for words typed from a Brazilian Portuguese lexicon. The methodology of this work, exploratory and experimental, has a quantitative and qualitative nature and involves empirical tests. It comprises an extensive bibliographic survey about Augmentative and Alternative Communication methods, information input through eye gaze direction and design of virtual keyboards. The practical section of this thesis includes the development of an assistive interface based on text input through gaze gestures and the usability evaluation based on experiments with real users without training. The results achieved indicate gesture recognition accuracy above 90% with virtual keyboards in three different key layouts, and typing speed ranging from 3.56 to 7.41 words per minute for novice users and average recognition rate of 83.75%.
publishDate 2021
dc.date.none.fl_str_mv 2021-01-19T13:26:39Z
2021-01-19T13:26:39Z
2021-01-11
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SILVA, Rafael Augusto da. Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais. 2021. 183 f. Tese (Doutorado em Engenharia Elétrica) - Universidade Federal de Uberlândia, Uberlândia, 2021. DOI http://doi.org/10.14393/ufu.te.2021.19.
https://repositorio.ufu.br/handle/123456789/31086
http://doi.org/10.14393/ufu.te.2021.19
identifier_str_mv SILVA, Rafael Augusto da. Desenvolvimento de um teclado virtual para comunicação por meio de gestos visuais. 2021. 183 f. Tese (Doutorado em Engenharia Elétrica) - Universidade Federal de Uberlândia, Uberlândia, 2021. DOI http://doi.org/10.14393/ufu.te.2021.19.
url https://repositorio.ufu.br/handle/123456789/31086
http://doi.org/10.14393/ufu.te.2021.19
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/us/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/us/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Uberlândia
Brasil
Programa de Pós-graduação em Engenharia Elétrica
publisher.none.fl_str_mv Universidade Federal de Uberlândia
Brasil
Programa de Pós-graduação em Engenharia Elétrica
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFU
instname:Universidade Federal de Uberlândia (UFU)
instacron:UFU
instname_str Universidade Federal de Uberlândia (UFU)
instacron_str UFU
institution UFU
reponame_str Repositório Institucional da UFU
collection Repositório Institucional da UFU
repository.name.fl_str_mv Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)
repository.mail.fl_str_mv diinf@dirbi.ufu.br
_version_ 1805569573442813952