Comparação de técnicas de aprendizado de máquina para a classificação de gestos para um sistema de interface homem-máquina sem contato

• Autor(a) principal: Hoss, João Pedro Jacques
• Data de Publicação: 2022
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFRGS
• Texto Completo: http://hdl.handle.net/10183/251792
• topic: Aprendizado de máquina; Reconhecimento de padrões; Interação homem-máquina; Hyper parameters optimization; Machine learning; XGBoost; Man-machine interface

O reconhecimento de gestos de mão é um aspecto importante na comunicação interpessoal e com avanços tecnológicos na área de interação homem-máquina, tornou-se possível utilizar esses gestos como uma maneira do usuário interagir e controlar dispositivos. Nos últimos anos, diversos ramos da indústria veem desenvolvendo aplicações que utilizam o reconhecimento de gestos, como o ramo automotivo, ramo de robótica e ramo de realidade virtual, por exemplo. Levando em consideração estes últimos avanços importantes, esse trabalho explora a coleta de bases de dados, a análise dos dados coletados, o treinamento de diversos modelos de aprendizado de máquina sobre os dados até o desenvolvimento de uma aplicação simples utilizando um sistema de interface homem-máquina controlada por gestos. Para isso, duas bases de dados foram coletadas onde cada amostra representa o esqueleto da mão do voluntário, obtido utilizando a ferramenta MediaPipe, formado por 21 pontos. Além disso, para ambas as bases de dados, foram realizadas coletadas de amostras a uma distância de 50 cm, 75 cm e 100 cm da webcam. Uma base de dados segue um projeto de experimento com aleatorização na coleta de dados tendo a participação de 5 voluntários para coletar um total de 450 amostras para cada um dos 10 gestos propostos. A outra não seguiu um projeto com aleatorização na coleta e contou com a participação de um único voluntário para coletar 4.500 amostras por gesto. Sobre essas bases de dados, foram criados modelos inteligentes capazes de classificar os gestos utilizando oito técnicas de aprendizado de máquina, sendo elas regressão logística, classificador Bayes ingênuo, máquina de suporte de vetor, árvore de decisão, floresta aleatória, XGBoost, rede neural simples e uma MLP. Sobre cada técnica foi realiza um processo de otimização de hiper parâmetros. Dessa forma, a técnica que resultou nos modelos com o melhor desempenho foi a técnica XGBoost. O modelo XGBoost treinado sobre a base de dados aleatorizada obteve uma taxa de acerto de 99,425 ± 0,135% e um valor F1-score de 99,375 ± 0,175%, e o modelo treinado sobre os dados não aleatorizado obteve 99,400 ± 0,069% e 99,355 ± 0,075% respectivamente como taxa de acerto e F1-score. Por fim, foi desenvolvido uma simples aplicação que utilize esse modelo onde o usuário consegue realizar comandos de controle em um computador.