Keyframe Based Human Activity Recognition Using Random Forests

Detalhes bibliográficos
Autor(a) principal: Nunes, Urbano Miguel Gonçalves
Data de Publicação: 2016
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/81491
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia da Universidade de Coimbra.
id RCAP_249fb42bfcf6f1445c5978a92d2e1a2c
oai_identifier_str oai:estudogeral.uc.pt:10316/81491
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Keyframe Based Human Activity Recognition Using Random ForestsReconhecimento de Atividades Humanas Baseado em Quadros Chave Usando Florestas AleatóriasReconhecimento de Atividades HumanasFlorestas AleatóriasCaracterísticas Max-Min Baseadas em EsqueletoPoses ChaveCaracterísticas Estáticas e DinâmicasHuman Activity RecognitionRandom ForestsMax-Min Skeleton-based FeaturesKey PosesStatic and Dynamic FeaturesDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia da Universidade de Coimbra.As atividades humanas são caracterizadas como sendo complexas, não só pelos seus padrões espaço-temporais, mas também devido ao facto de que cada ser humano é fisicamente diferente. A mesma atividade é efetuada diferentemente por várias pessoa e até o mesmo ser humano pode executar a mesma atividade com movimentos distintos. Neste sentido, existe a necessidade de incorporar métodos de aprendizagem máquina capazes de lidar com esta variabilidade. No entanto, mesmo com o aumento de atenção que esta área de investigação está a ter, a maior parte destas técnicas de aprendizagem, embora precisas/exatas, são bastante lentas para treinar e classificar. Esta característica torna tais ferramentas inviáveis para aplicações em tempo-real, onde um robô tem de identificar correta e rapidamente uma dada atividade, por forma a responder adequadamente.Neste contexto, é proposta uma metodologia de reconhecimento de atividades humanas que é treinada rapidamente e requer poucos exemplos de treino, consistindo em duas componentes base: uma componente de extração de características (isto é, extração de informação relevante que descreve uma certa actividade) e uma componente de aprendizagem, baseada no classificador de florestas aleatórias (random forests). Inicialmente, é explorado o conceito baseado na segmentação de cada atividade numa sequência de janelas de tamanho fixo (isto é, a classificação não é feita quadro a quadro), extraindo apenas valores máximos e mínimos de cada característica obtida baseada no esqueleto humano. Após a sua validação experimental, foi apresentada e testada uma segunda abordagem, considerando a divisão de cada atividade em janelas de tamanho variável, baseadas em poses chave. Cada janela de ação é delimitada por duas poses chave consecutivas que são identificadas automaticamente, sendo extraídas características estáticas (isto é, geométricas) e dinâmicas (isto é, temporais). Primeiro, estas abordagens foram testadas usando o Cornell Activity Dataset e o classificador de florestas aleatórias disponibilizado pelo programa Weka, obtendo-se resultados médios globais relevantes. Em seguida, foi desenvolvido de raíz um classificador de florestas aleatórias, usando o algoritmo de evolução diferencial como parte do seu núcleo. O classificador de florestas aleatórias desenvolvido foi testado e os seus resultados comparados com os previamente obtidos com o programa Weka, observando-se uma ligeira melhoria em termos dos indicadores de desempenho considerados. Foi construído um dataset, usando um sensor RGB-D, com base no qual foram testados ambos os classificadores de florestas aleatórias. Toda a estrutura foi implementada numa plataforma robótica real (em C++), após a sua validação em ambiente Matlab. Após algumas observações finais, destacam-se novas direcções de pesquisa, por forma a melhorar as características da metodologia propostade reconhecimento proposta e colmatar as suas limitações.Human activities are characterized as being complex, not only for their temporal and spacial patterns, but also because of the fact humans are physically different. When the same activity is performed by different persons, or even by the same one, they can execute the same activity with distinct motion properties. In this sense, there is the need to incorporate machine learning approaches able to integrate all this variability. However, even with the increasingly attention this field of research is getting, current learning approaches, although accurate, are very slow to train and classify. These limitations turn infeasible their use in real-time applications, where a robot must rapidly and correctly identify a performed activity, in order to respond accordingly. A human activity recognition framework, featuring fast training and requiring few training examples, is therefore proposed, consisting of two main components: a features extraction approach component (i.e. extraction of relevant information describing a certain activity) and a machine learning component, based on the random forest classifier. An initial concept of segmenting each activity into a sequence of fixed-size actions is employed (i.e. no frame-by-frame classification), extracting just maximum and minimum values of each extracted skeleton-based feature. After some experimental validation, a second approach was developed and tested, considering the division of each activity into variable-size windows, based on key poses. Each action window is delimited by two consecutive and automatically identified key poses, where static (i.e. geometrical) and maximum and minimum dynamic (i.e. temporal) features are extracted. First, these approaches were tested using the Cornell Activity Dataset and the random forest classifier provided by Weka Software,obtaining relevant overall average results. Then a custom random forest classifier was developed from scratch, using a differential evolution algorithm, as part of its core. The developed random forest was tested and its results compared to the ones obtained with Weka's random forest,suggesting a slight increase in terms of the considered performance indicators. A custom dataset was built, using data from a RGB-D sensor, and both random forest classifiers were tested. The proposed framework, after being validated using Matlab, was implemented in a real robotic platform (in C++). After some concluding remarks, new open research directions are highlighted, in order to improve the framework's characteristics and to bridge its drawbacks.2016-09-21info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/81491http://hdl.handle.net/10316/81491TID:202056961engNunes, Urbano Miguel Gonçalvesinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-01-07T09:29:03Zoai:estudogeral.uc.pt:10316/81491Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:03:33.502725Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Keyframe Based Human Activity Recognition Using Random Forests
Reconhecimento de Atividades Humanas Baseado em Quadros Chave Usando Florestas Aleatórias
title Keyframe Based Human Activity Recognition Using Random Forests
spellingShingle Keyframe Based Human Activity Recognition Using Random Forests
Nunes, Urbano Miguel Gonçalves
Reconhecimento de Atividades Humanas
Florestas Aleatórias
Características Max-Min Baseadas em Esqueleto
Poses Chave
Características Estáticas e Dinâmicas
Human Activity Recognition
Random Forests
Max-Min Skeleton-based Features
Key Poses
Static and Dynamic Features
title_short Keyframe Based Human Activity Recognition Using Random Forests
title_full Keyframe Based Human Activity Recognition Using Random Forests
title_fullStr Keyframe Based Human Activity Recognition Using Random Forests
title_full_unstemmed Keyframe Based Human Activity Recognition Using Random Forests
title_sort Keyframe Based Human Activity Recognition Using Random Forests
author Nunes, Urbano Miguel Gonçalves
author_facet Nunes, Urbano Miguel Gonçalves
author_role author
dc.contributor.author.fl_str_mv Nunes, Urbano Miguel Gonçalves
dc.subject.por.fl_str_mv Reconhecimento de Atividades Humanas
Florestas Aleatórias
Características Max-Min Baseadas em Esqueleto
Poses Chave
Características Estáticas e Dinâmicas
Human Activity Recognition
Random Forests
Max-Min Skeleton-based Features
Key Poses
Static and Dynamic Features
topic Reconhecimento de Atividades Humanas
Florestas Aleatórias
Características Max-Min Baseadas em Esqueleto
Poses Chave
Características Estáticas e Dinâmicas
Human Activity Recognition
Random Forests
Max-Min Skeleton-based Features
Key Poses
Static and Dynamic Features
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia da Universidade de Coimbra.
publishDate 2016
dc.date.none.fl_str_mv 2016-09-21
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/81491
http://hdl.handle.net/10316/81491
TID:202056961
url http://hdl.handle.net/10316/81491
identifier_str_mv TID:202056961
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133929093988352

Registros relacionados