Deep learning-based posture recognition for a holistic ergonomic assessment framework

Detalhes bibliográficos
Autor(a) principal: Martins, Diogo Renato Dias
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/88725
Resumo: Dissertação de mestrado em Biomedical Engineering Medical Electronics
id RCAP_0bc2c04ba284e86edc07cc922e381170
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/88725
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Deep learning-based posture recognition for a holistic ergonomic assessment frameworkReconhecimento de posturas baseado em deep learning para uma framework de avaliação ergonómica holísticaDeep learningInertial-based posture recognitionPosture monitoringErgonomic risk assessmentWRMSDsReconhecimento de posturas com base em dados inerciaisMonitorização da posturaAvaliação do risco ergonómicoLMERTEngenharia e Tecnologia::Engenharia MédicaDissertação de mestrado em Biomedical Engineering Medical ElectronicsWork-related musculoskeletal disorders (WRMSDs) are the most reported work-related health problem in the European Union, representing an economic burden equivalent to 2% of its gross domestic product. Several postural assessment tools try to identify ergonomic exposure factors for evaluating WRMSD risk, however, these are commonly based on observation. Thus, in an attempt to prevent WRMSD, it becomes crucial to quantify, automatise, but also complement posture risk assessment. This dissertation aims to develop a framework for a holistic and intuitive ergonomic assessment, able to, through inertial data, not only qualitatively identify posture but also to quantify the ergonomic risk, generating a report where the ergonomic score is associated with the postures adopted. This empowers the workers to comprehend which are the hazardous postures, and the ergonomists and line managers to possibly redesign the work tasks. The working postures of the two activity sectors most affected by WRMSDs were addressed as use cases, with the acquisition of an inertial dataset during the simulation of their typical tasks in circuit. The recognition of the postures performed was carried out by Deep Learning models. Different archi tectures were adapted and studied. The best results were achieved with a hybrid model that combines convolutional and recurrent layers, which attained an F1-score of 94.31% in the test. To better understand the models’ decisions, the explainability method Gradient-weighted Class Activation Mapping (Grad-CAM) was applied on the Convolutional Neural Network outputs. The continuous posture assessment, primarily based on a standard ergonomic method, also consid ered the previous postures’ impact on joint stress, by means of a kinematic wear index that can be used to define a safety threshold for how long joint angles can be maintained. As future work, the use of low-cost sensors in a self-developed smart garment and the integration of outlined haptic biofeedback strategies for the delivery of ergonomic haptic guidance are pointed out.As Lesões Musculoesqueléticas Relacionadas com o Trabalho (LMERT) são o problema de saúde relacionado com o trabalho mais reportado na União Europeia, com um encargo económico de 2% do produto interno bruto. Diversas ferramentas de avaliação postural tentam identificar fatores de exposição ergonómica para avaliar o risco de LMERT, mas são geralmente baseadas na observação. Assim, torna-se vital, para prevenir LMERT, quantificar, automatizar e também complementar a avaliação do risco postural. Esta dissertação visa desenvolver uma framework para avaliação ergonómica e intuitiva, que, a partir de dados inerciais, identifique qualitativamente a postura e quantifique o risco ergonómico, gerando um relatório onde o resultado ergonómico é associado às posturas adotadas. Isto habilita os trabalhadores a compreender quais as posturas prejudiciais e os ergonomistas e gestores de linha a possivelmente redesenhar as tarefas de trabalho. As posturas de trabalho dos dois setores de atividade mais afetados por LMERT foram endereçadas, adquirindo um dataset inercial durante tarefas típicas destes em circuito. O reconhecimento das posturas executadas foi realizado por modelos de Deep Learning. Diversas arquiteturas foram adaptadas e estudadas. Os melhores resultados foram alcançados com um modelo híbrido que combina camadas convolucionais e recorrentes, que chegou a um F1-score de 94,31% no teste. Para entender melhor as decisões dos modelos, o método de explicabilidade Gradient-weighted Class Activation Mapping (Grad-CAM) foi aplicado nos outputs de uma rede neuronal convolucional (CNN). A avaliação postural contínua, baseada, em primeiro lugar, num método ergonómico padrão, também considerou o impacto das posturas prévias no stress articular, com um índice de desgaste cinemático, que pode definir um limite de segurança para o tempo que os ângulos das articulações podem ser mantidos. Como trabalho futuro, apontam-se o uso de sensores de baixo custo num vestível inteligente e a integração das estratégias de biofeedback háptico delineadas para ajudar a conduzir para a postura neutra.Santos, CristinaUniversidade do MinhoMartins, Diogo Renato Dias2023-12-212023-12-21T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/88725eng203514670info:eu-repo/semantics/embargoedAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-02-10T01:20:20Zoai:repositorium.sdum.uminho.pt:1822/88725Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T02:37:11.110716Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Deep learning-based posture recognition for a holistic ergonomic assessment framework
Reconhecimento de posturas baseado em deep learning para uma framework de avaliação ergonómica holística
title Deep learning-based posture recognition for a holistic ergonomic assessment framework
spellingShingle Deep learning-based posture recognition for a holistic ergonomic assessment framework
Martins, Diogo Renato Dias
Deep learning
Inertial-based posture recognition
Posture monitoring
Ergonomic risk assessment
WRMSDs
Reconhecimento de posturas com base em dados inerciais
Monitorização da postura
Avaliação do risco ergonómico
LMERT
Engenharia e Tecnologia::Engenharia Médica
title_short Deep learning-based posture recognition for a holistic ergonomic assessment framework
title_full Deep learning-based posture recognition for a holistic ergonomic assessment framework
title_fullStr Deep learning-based posture recognition for a holistic ergonomic assessment framework
title_full_unstemmed Deep learning-based posture recognition for a holistic ergonomic assessment framework
title_sort Deep learning-based posture recognition for a holistic ergonomic assessment framework
author Martins, Diogo Renato Dias
author_facet Martins, Diogo Renato Dias
author_role author
dc.contributor.none.fl_str_mv Santos, Cristina
Universidade do Minho
dc.contributor.author.fl_str_mv Martins, Diogo Renato Dias
dc.subject.por.fl_str_mv Deep learning
Inertial-based posture recognition
Posture monitoring
Ergonomic risk assessment
WRMSDs
Reconhecimento de posturas com base em dados inerciais
Monitorização da postura
Avaliação do risco ergonómico
LMERT
Engenharia e Tecnologia::Engenharia Médica
topic Deep learning
Inertial-based posture recognition
Posture monitoring
Ergonomic risk assessment
WRMSDs
Reconhecimento de posturas com base em dados inerciais
Monitorização da postura
Avaliação do risco ergonómico
LMERT
Engenharia e Tecnologia::Engenharia Médica
description Dissertação de mestrado em Biomedical Engineering Medical Electronics
publishDate 2023
dc.date.none.fl_str_mv 2023-12-21
2023-12-21T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/88725
url https://hdl.handle.net/1822/88725
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 203514670
dc.rights.driver.fl_str_mv info:eu-repo/semantics/embargoedAccess
eu_rights_str_mv embargoedAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799137422953414656

Registros relacionados