| spelling |
William Robson Schwartzhttp://lattes.cnpq.br/0704592200063682Erickson Rangel do NascimentoGuillermo Camara ChávezLeandro Augusto Frata FernandesRicardo da Silva Torreshttp://lattes.cnpq.br/4055541539548031Igor Leonardo Oliveira Bastos2022-01-17T16:48:08Z2022-01-17T16:48:08Z2020-06-12http://hdl.handle.net/1843/39110https://orcid.org/0000-0001-6998-4771O reconhecimento de gestos corresponde a uma interpretação matemática de um movimento humano por parte de uma máquina. Este movimento envolve diferentes aspectos e partes do corpo, tais como variações no posicionamento de mãos e braços, expressões faciais e corporais, posicionamento da cabeça, postura do tronco, entre outros. Por levar em consideração tanto a aparência (aparência das partes do corpo, por exemplo) quanto o movimento, o reconhecimento de gestos mostra-se relacionado a abordagens que contemplam a extração e uso de informação espaço-temporal em vídeos, tendo destaque em diferentes áreas e aplicações. Devido a esta alta aplicabilidade, diversas pesquisas têm se voltado para este tema, as quais variam em termos de características e algoritmos de aprendizado utilizados para a tarefa. No entanto, apesar da existência de uma grande gama de trabalhos relacionados ao reconhecimento de gestos, nota-se uma lacuna no tocante a elaboração de abordagens que levem em consideração aspectos como escalabilidade (em termos do número de gestos), capacidade de incorporar novos gestos com baixo custo de tempo, além de atuação em vídeos não-segmentados, ou seja, vídeos que contemplam múltiplos gestos e não possuem informação sobre o começo e fim de cada gesto. Desta forma, este trabalho visa apresentar estratégias que preenchem estas lacunas, dividindo-se em duas linhas:(i) criação de modelos escaláveis para aplicação incremental em grandes bases de dados; (ii) formulação de um modelo para realização concomitante da detecção temporal de gestos em vídeos não-segmentados e seu respectivo reconhecimento. Para uma eficiente atuação em vídeos que representam gestos, deve-se levar em consideração a estrutura temporal bem definida destes, a qual defende a existência de uma ordem de ocorrência de sub-eventos. Devido a isso, propõe-se a formulação de modelos não somente capazes de extrair informação espaço-temporal, mas também de atentar para esta estrutura temporal, ponderando a contribuição de entradas anteriores (trechos anteriores dos vídeos), para avaliar o que se apresenta a seguir. Assim, estes modelos correlacionam informação de diferentes partes dos vídeos, produzindo representações mais ricas dos gestos, as quais são usadas para um reconhecimento mais acurado. Por fim, de maneira a avaliar as abordagens propostas, os resultados da aplicação dos modelos descritos neste documento são apresentados. Estes foram obtidos considerando bases de dados amplamente utilizadas por trabalhos da área, assim como as métricas de avaliação empregadas para avaliar desempenho em cada uma destas bases. No ChaLearn Isolated Gestures (ChaLearn IsoGD) and Sheffield Kinect Gestures (SKIG), o método proposto neste documento alcançou valores de acurácia de69,44% e 99,53%, respectivamente. Já no ChaLearn Looking at People Multimodal Gesture Recognition (ChaLearn Montalbano) e ChaLearn Continuous Gestures (ChaLearn ConGD), o método contemplado neste documento obteve 0,919 e 0,623 de Jaccard Score, respectivamente. Comparações com abordagens da literatura evidenciam a boa performance dos métodos propostos, os quais rivalizam com as pesquisas que são o estado da arte em todas as bases de dados avaliadas.The recognition of gestures corresponds to a mathematical interpretation of a human motion by a machine. It involves different aspects and parts of human body, such as variations in the positioning of hands and arms, facial and body expressions, head positioning and trunk posture. Since gesture recognition takes into account both appearance (appearance of body parts, for example) and movement, it is related to the extraction of spatiotemporal information in videos, leading to a wide range of applications. As a consequence, many approaches focus on this topic, presenting variations in terms of employed features and learning algorithms used on the task. However, despite the existence of a wide range of approaches related to the recognition of gestures, gaps are noticed regarding aspects such as scalability (in terms of the number of gestures), time to incorporate new gestures; and actuation over unsegmented videos, i.e., videos containing multiple gestures and no information about the start and end of these gestures. Thus, this work aims at presenting strategies that fill these gaps, addressed in two different lines: (i) creation of scalable models for incremental application in large databases; (ii) formulation of a model to detect and recognize gestures concomitantly, considering unsegmented videos. For an efficient performance on gesture videos, it is important to take into account the well-defined temporal structure of gestures, which preaches for the existence of ordered sub-events. To handle this order of sub-events, we propose models that are capable of extracting spatiotemporal information and also weigh this temporal structure, contemplating the contribution of previous inputs (previous videos snippets) to evaluate subsequent ones. Thereby, our models correlate information from different video parts, producing richer representations of gestures that are used for a more accurate recognition. Finally, to evaluate the proposed approach, we present the results obtained from the application of the models described in this document. These outcomes were obtained from tests on widely used databases, considering the metrics employed to evaluate performance on each of them. On ChaLearn LAP Isolated Gestures (ChaLearn IsoGD) and Sheffield Kinect Gestures (SKIG), the method proposed in this document achieved 69.44% and 99.53% of accuracy, respectively. On ChaLearn Multimodal Gesture Recognition (ChaLearn Montalbano) and ChaLearn Continuous Gestures (ChaLearn ConGD), the method contemplated in this document obtained 0.919 and 0.623 as Jaccard Score, respectively. Comparisons with literature approaches evidence the good performance of the proposed methods, rivaling with state-of-the-art researches on all evaluated databases.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoengUniversidade Federal de Minas GeraisPrograma de Pós-Graduação em Ciência da ComputaçãoUFMGBrasilICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃOhttp://creativecommons.org/licenses/by-nc-sa/3.0/pt/info:eu-repo/semantics/openAccessComputação - Teses,Redes eurais recorrentes - Teses.Reonhecimento de gestos - Teses.Reonhecimento de padrões - Teses.Gesture recognitionRecurrent neural networksSpatiotemporal informationIsolated gesturesUnsegmented videosDeep-based recurrent approaches for gesture recognitioninfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGORIGINALTese_Igor_Bastos.pdfTese_Igor_Bastos.pdfArquivo referente à tese de doutorado de Igor Bastosapplication/pdf8008135https://repositorio.ufmg.br/bitstream/1843/39110/3/Tese_Igor_Bastos.pdf690e4254a04d3b6ae8a3ef522d3ad793MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-82118https://repositorio.ufmg.br/bitstream/1843/39110/4/license.txtcda590c95a0b51b4d15f60c9642ca272MD541843/391102022-01-17 13:48:08.433oai:repositorio.ufmg.br:1843/39110TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEgRE8gUkVQT1NJVMOTUklPIElOU1RJVFVDSU9OQUwgREEgVUZNRwoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSBhbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIChSSS1VRk1HKSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZSBpcnJldm9nw6F2ZWwgZGUgcmVwcm9kdXppciBlL291IGRpc3RyaWJ1aXIgYSBzdWEgcHVibGljYcOnw6NvIChpbmNsdWluZG8gbyByZXN1bW8pIHBvciB0b2RvIG8gbXVuZG8gbm8gZm9ybWF0byBpbXByZXNzbyBlIGVsZXRyw7RuaWNvIGUgZW0gcXVhbHF1ZXIgbWVpbywgaW5jbHVpbmRvIG9zIGZvcm1hdG9zIMOhdWRpbyBvdSB2w61kZW8uCgpWb2PDqiBkZWNsYXJhIHF1ZSBjb25oZWNlIGEgcG9sw610aWNhIGRlIGNvcHlyaWdodCBkYSBlZGl0b3JhIGRvIHNldSBkb2N1bWVudG8gZSBxdWUgY29uaGVjZSBlIGFjZWl0YSBhcyBEaXJldHJpemVzIGRvIFJJLVVGTUcuCgpWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGTUcgcG9kZSBtYW50ZXIgbWFpcyBkZSB1bWEgY8OzcGlhIGRlIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBmaW5zIGRlIHNlZ3VyYW7Dp2EsIGJhY2stdXAgZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogZGVjbGFyYSBxdWUgYSBzdWEgcHVibGljYcOnw6NvIMOpIG9yaWdpbmFsIGUgcXVlIHZvY8OqIHRlbSBvIHBvZGVyIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIG8gZGVww7NzaXRvIGRlIHN1YSBwdWJsaWNhw6fDo28gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHB1YmxpY2HDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHB1YmxpY2HDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBQVUJMSUNBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UgQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCk8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lKHMpIG91IG8ocykgbm9tZXMocykgZG8ocykgZGV0ZW50b3IoZXMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkYSBwdWJsaWNhw6fDo28sIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgYWzDqW0gZGFxdWVsYXMgY29uY2VkaWRhcyBwb3IgZXN0YSBsaWNlbsOnYS4KRepositório InstitucionalPUBhttps://repositorio.ufmg.br/oaiopendoar:2022-01-17T16:48:08Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false
|