Deep-based recurrent approaches for gesture recognition

• Autor(a) principal: Igor Leonardo Oliveira Bastos
• Data de Publicação: 2020
• Tipo de documento: Tese
• Idioma: eng
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/39110; https://orcid.org/0000-0001-6998-4771
• topic: Gesture recognition; Recurrent neural networks; Spatiotemporal information; Isolated gestures; Unsegmented videos; Computação - Teses,; Redes eurais recorrentes - Teses.; Reonhecimento de gestos - Teses.; Reonhecimento de padrões - Teses.

O reconhecimento de gestos corresponde a uma interpretação matemática de um movimento humano por parte de uma máquina. Este movimento envolve diferentes aspectos e partes do corpo, tais como variações no posicionamento de mãos e braços, expressões faciais e corporais, posicionamento da cabeça, postura do tronco, entre outros. Por levar em consideração tanto a aparência (aparência das partes do corpo, por exemplo) quanto o movimento, o reconhecimento de gestos mostra-se relacionado a abordagens que contemplam a extração e uso de informação espaço-temporal em vídeos, tendo destaque em diferentes áreas e aplicações. Devido a esta alta aplicabilidade, diversas pesquisas têm se voltado para este tema, as quais variam em termos de características e algoritmos de aprendizado utilizados para a tarefa. No entanto, apesar da existência de uma grande gama de trabalhos relacionados ao reconhecimento de gestos, nota-se uma lacuna no tocante a elaboração de abordagens que levem em consideração aspectos como escalabilidade (em termos do número de gestos), capacidade de incorporar novos gestos com baixo custo de tempo, além de atuação em vídeos não-segmentados, ou seja, vídeos que contemplam múltiplos gestos e não possuem informação sobre o começo e fim de cada gesto. Desta forma, este trabalho visa apresentar estratégias que preenchem estas lacunas, dividindo-se em duas linhas:(i) criação de modelos escaláveis para aplicação incremental em grandes bases de dados; (ii) formulação de um modelo para realização concomitante da detecção temporal de gestos em vídeos não-segmentados e seu respectivo reconhecimento. Para uma eficiente atuação em vídeos que representam gestos, deve-se levar em consideração a estrutura temporal bem definida destes, a qual defende a existência de uma ordem de ocorrência de sub-eventos. Devido a isso, propõe-se a formulação de modelos não somente capazes de extrair informação espaço-temporal, mas também de atentar para esta estrutura temporal, ponderando a contribuição de entradas anteriores (trechos anteriores dos vídeos), para avaliar o que se apresenta a seguir. Assim, estes modelos correlacionam informação de diferentes partes dos vídeos, produzindo representações mais ricas dos gestos, as quais são usadas para um reconhecimento mais acurado. Por fim, de maneira a avaliar as abordagens propostas, os resultados da aplicação dos modelos descritos neste documento são apresentados. Estes foram obtidos considerando bases de dados amplamente utilizadas por trabalhos da área, assim como as métricas de avaliação empregadas para avaliar desempenho em cada uma destas bases. No ChaLearn Isolated Gestures (ChaLearn IsoGD) and Sheffield Kinect Gestures (SKIG), o método proposto neste documento alcançou valores de acurácia de69,44% e 99,53%, respectivamente. Já no ChaLearn Looking at People Multimodal Gesture Recognition (ChaLearn Montalbano) e ChaLearn Continuous Gestures (ChaLearn ConGD), o método contemplado neste documento obteve 0,919 e 0,623 de Jaccard Score, respectivamente. Comparações com abordagens da literatura evidenciam a boa performance dos métodos propostos, os quais rivalizam com as pesquisas que são o estado da arte em todas as bases de dados avaliadas.