Classificação com deep learning de sinais de uma interface neural HDsEMG para acionamento de neuropróteses transradiais

Detalhes bibliográficos
Autor(a) principal: Xavier, Ricardo Taoni [UNESP]
Data de Publicação: 2021
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UNESP
Texto Completo: http://hdl.handle.net/11449/215802
Resumo: Introdução: a amputação do membro superior afeta diretamente o desenvolvimento pessoal, limitando atividades da vida diária e diminuindo a qualidade de vida. Implementar próteses de membros superiores para restaurar e reabilitar funções e capacidades perdidas é um desafio de muitas pesquisas ao redor do mundo. Hoje, próteses comerciais de mãos são controladas intuitivamente por contrações musculares voluntárias. Entretanto, mesmo com a modernização e a qualidade destes sistemas protéticos o acionamento continua sendo um dos principais desafios. A integração entre o acionamento eletromiográfico e o feedback neural tem apresentando resultados consistentes. As neuropróteses são capazes de fornecer ao usuário uma gama de informações, seja para os movimentos realizados pela prótese ou para sensações somatossensoriais artificiais. Esses novos conceitos precisam de técnicas avançadas em inteligência artificial para garantir ao usuário segurança, autonomia e uma interação próxima a realidade. O objetivo deste trabalho foi comparar as classificações entre dois modelos de redes neurais convolucionais profundas, as Deep Learning utilizando métodos de Transfer Learning para o reconhecimento de movimentos por contrações musculares no acionamento de neuropróteses transradiais. Métodos: os modelos escolhidos foram a Deep Learning desenvolvida por pesquisadores da Google (GoogLeNet) e a Deep Learning Visual Geometry Group de 19 camadas (VGG19) desenvolvida por pesquisadores da Universidade de Oxford. O banco de dados utilizado neste trabalho é resultado da implementação de uma interface neural multicanal com sinais eletromiográficos de supeficie de alta densidade (HDsEMG). Contendo 64 canais de aquisição com eletrodos monopolares e uma estrutura modular vestível para o antebraço. Estes sinais foram processados e convertidos em escalogramas, representações no domínio do tempo e da frequência utilizando Transformadas de Wavelets Continuas e Discretas e também recursos para extração de características e reconhecimento de padrões, destacando-se Root mean square, Windowns Length e Slide Windowns como métodos de janelamento e sobreposição, o overlapping e um algoritmo para extração de classes dos sinais, o labelling. Nas classificações foram aplicadas nove classes para o treinamento originados de oito movimentos da mão e do punho mais a classe de repouso. Os modelos receberam a aplicação de quatro métricas de validação para garantir a eficiência dos treinamentos. Sendo elas, a acurária, a sensibilidade, a especificidade, a seletividade e o F1 Score. Resultados: foi gerado um banco de dados com imagens de escalogramas para o treinamento dos modelos investigados, apresentando acurária acima de 70%, o modelo GoogLeNet apresentou acurácia máxima de 79,46% e a modelo VGG19 apresentou acurácia máxima de 85,66%. Conclusão: esta tese fornece evidências sobre a eficiência de classificadores deep learning com os modelos GoogLeNet e VGG19, onde demonstraram seu potencial para aumentar a capacidade funcional das neupróteses de membros superiores. A estratégia de utilizar a interface neural HDsEMG com os modelos propostos melhorou efetivamente os resultados. Essas descobertas abrem perspectivas promissoras para aplicações em neuropróteses transradiais.
id UNSP_d2a15c12f9fa778376a985a5945cea6d
oai_identifier_str oai:repositorio.unesp.br:11449/215802
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str 2946
spelling Classificação com deep learning de sinais de uma interface neural HDsEMG para acionamento de neuropróteses transradiaisClassification with deep learning of signals from a HDsEMG neural interface to activation of transradial neuroprosthesesHDsEMGAmputação membro superiorMãos robóticasNeuropróteses transradiaisDeep LeaningTransfer learningUpper limb amputationTransradial neuroprosthesesRobotic handsIntrodução: a amputação do membro superior afeta diretamente o desenvolvimento pessoal, limitando atividades da vida diária e diminuindo a qualidade de vida. Implementar próteses de membros superiores para restaurar e reabilitar funções e capacidades perdidas é um desafio de muitas pesquisas ao redor do mundo. Hoje, próteses comerciais de mãos são controladas intuitivamente por contrações musculares voluntárias. Entretanto, mesmo com a modernização e a qualidade destes sistemas protéticos o acionamento continua sendo um dos principais desafios. A integração entre o acionamento eletromiográfico e o feedback neural tem apresentando resultados consistentes. As neuropróteses são capazes de fornecer ao usuário uma gama de informações, seja para os movimentos realizados pela prótese ou para sensações somatossensoriais artificiais. Esses novos conceitos precisam de técnicas avançadas em inteligência artificial para garantir ao usuário segurança, autonomia e uma interação próxima a realidade. O objetivo deste trabalho foi comparar as classificações entre dois modelos de redes neurais convolucionais profundas, as Deep Learning utilizando métodos de Transfer Learning para o reconhecimento de movimentos por contrações musculares no acionamento de neuropróteses transradiais. Métodos: os modelos escolhidos foram a Deep Learning desenvolvida por pesquisadores da Google (GoogLeNet) e a Deep Learning Visual Geometry Group de 19 camadas (VGG19) desenvolvida por pesquisadores da Universidade de Oxford. O banco de dados utilizado neste trabalho é resultado da implementação de uma interface neural multicanal com sinais eletromiográficos de supeficie de alta densidade (HDsEMG). Contendo 64 canais de aquisição com eletrodos monopolares e uma estrutura modular vestível para o antebraço. Estes sinais foram processados e convertidos em escalogramas, representações no domínio do tempo e da frequência utilizando Transformadas de Wavelets Continuas e Discretas e também recursos para extração de características e reconhecimento de padrões, destacando-se Root mean square, Windowns Length e Slide Windowns como métodos de janelamento e sobreposição, o overlapping e um algoritmo para extração de classes dos sinais, o labelling. Nas classificações foram aplicadas nove classes para o treinamento originados de oito movimentos da mão e do punho mais a classe de repouso. Os modelos receberam a aplicação de quatro métricas de validação para garantir a eficiência dos treinamentos. Sendo elas, a acurária, a sensibilidade, a especificidade, a seletividade e o F1 Score. Resultados: foi gerado um banco de dados com imagens de escalogramas para o treinamento dos modelos investigados, apresentando acurária acima de 70%, o modelo GoogLeNet apresentou acurácia máxima de 79,46% e a modelo VGG19 apresentou acurácia máxima de 85,66%. Conclusão: esta tese fornece evidências sobre a eficiência de classificadores deep learning com os modelos GoogLeNet e VGG19, onde demonstraram seu potencial para aumentar a capacidade funcional das neupróteses de membros superiores. A estratégia de utilizar a interface neural HDsEMG com os modelos propostos melhorou efetivamente os resultados. Essas descobertas abrem perspectivas promissoras para aplicações em neuropróteses transradiais.Upper limb amputation directly affects personal development, limiting activities of daily living and decreasing quality of life. Implementing upper limb prostheses to restore and rehabilitate lost functions and capabilities is a challenge for many researches around the world. Today, commercial hand prostheses are intuitively controlled by voluntary muscle contractions. However, even with the modernization and quality of these prosthetic systems, the activation remains one of the main challenges. The integration between electromyographic triggering and neural feedback has shown consistent results. Neuroprostheses are able to provide the user with a range of information, whether for the movements performed by the prosthesis or for artificial somatosensory sensations. These new concepts need advanced techniques in artificial intelligence to guarantee the user’s safety, autonomy and an interaction close to reality. The objective of this work was to compare the classification between two deep convolutional neural network models, the Deep Learning using the Transfer Learning method for the recognition of muscle contractions in the activation of transradial neuroprostheses. Methods: the chosen models were the Deep Learning developed by Google researchers (GoogLeNet) and the 19-layer Deep Learning Visual Geometry Group (VGG19) developed by researchers from the University of Oxford. The database used in this work is the result of the implementation of a multichannel neural interface with high density surface electromyographic signals (HDsEMG). Containing 64 acquisition channels with monopolar electrodes and a wearable modular structure for the forearm. These signals were processed and converted into scalograms, time and frequency domain representations using Continuous and Discrete Wavelet Transforms, as well as features for feature extraction and pattern recognition, highlighting Root mean square, Windowns Length and Slide Windowns as windowing and overlapping methods, overlapping and an algorithm for extracting classes from signals, labeling. In the classifications, nine classes for training originated from eight movements of the hand and wrist plus the rest class were applied. The models received the application of four validation metrics to ensure training efficiency. These are the accuracy, sensitivity, specificity, selectivity and the F1 Score. Results: a database with scalogram images was generated for the training of the investigated models, presenting an accuracy above 70%, the GoogLeNet model presented a maximum accuracy of 79.46% and the VGG19 model presented maximum accuracy of 85.66%. Conclusion: this thesis provides evidence on the efficiency of deep learning classifiers with the GoogLeNet and VGG19 models, where they demonstrated their potential to increase the functional capacity of upper limb neprostheses. The strategy of using the HDsEMG neural interface with the proposed models effectively improved the results. These discoveries open promising prospects for applications in transradial neuroprostheses.Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)CAPES: 001Universidade Estadual Paulista (Unesp)Carvalho, Aparecido Augusto de [UNESP]Universidade Estadual Paulista (Unesp)Xavier, Ricardo Taoni [UNESP]2022-01-10T11:07:42Z2022-01-10T11:07:42Z2021-08-13info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttp://hdl.handle.net/11449/21580233004099080P0porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2024-08-05T17:58:59Zoai:repositorio.unesp.br:11449/215802Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestopendoar:29462024-08-05T17:58:59Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false
dc.title.none.fl_str_mv Classificação com deep learning de sinais de uma interface neural HDsEMG para acionamento de neuropróteses transradiais
Classification with deep learning of signals from a HDsEMG neural interface to activation of transradial neuroprostheses
title Classificação com deep learning de sinais de uma interface neural HDsEMG para acionamento de neuropróteses transradiais
spellingShingle Classificação com deep learning de sinais de uma interface neural HDsEMG para acionamento de neuropróteses transradiais
Xavier, Ricardo Taoni [UNESP]
HDsEMG
Amputação membro superior
Mãos robóticas
Neuropróteses transradiais
Deep Leaning
Transfer learning
Upper limb amputation
Transradial neuroprostheses
Robotic hands
title_short Classificação com deep learning de sinais de uma interface neural HDsEMG para acionamento de neuropróteses transradiais
title_full Classificação com deep learning de sinais de uma interface neural HDsEMG para acionamento de neuropróteses transradiais
title_fullStr Classificação com deep learning de sinais de uma interface neural HDsEMG para acionamento de neuropróteses transradiais
title_full_unstemmed Classificação com deep learning de sinais de uma interface neural HDsEMG para acionamento de neuropróteses transradiais
title_sort Classificação com deep learning de sinais de uma interface neural HDsEMG para acionamento de neuropróteses transradiais
author Xavier, Ricardo Taoni [UNESP]
author_facet Xavier, Ricardo Taoni [UNESP]
author_role author
dc.contributor.none.fl_str_mv Carvalho, Aparecido Augusto de [UNESP]
Universidade Estadual Paulista (Unesp)
dc.contributor.author.fl_str_mv Xavier, Ricardo Taoni [UNESP]
dc.subject.por.fl_str_mv HDsEMG
Amputação membro superior
Mãos robóticas
Neuropróteses transradiais
Deep Leaning
Transfer learning
Upper limb amputation
Transradial neuroprostheses
Robotic hands
topic HDsEMG
Amputação membro superior
Mãos robóticas
Neuropróteses transradiais
Deep Leaning
Transfer learning
Upper limb amputation
Transradial neuroprostheses
Robotic hands
description Introdução: a amputação do membro superior afeta diretamente o desenvolvimento pessoal, limitando atividades da vida diária e diminuindo a qualidade de vida. Implementar próteses de membros superiores para restaurar e reabilitar funções e capacidades perdidas é um desafio de muitas pesquisas ao redor do mundo. Hoje, próteses comerciais de mãos são controladas intuitivamente por contrações musculares voluntárias. Entretanto, mesmo com a modernização e a qualidade destes sistemas protéticos o acionamento continua sendo um dos principais desafios. A integração entre o acionamento eletromiográfico e o feedback neural tem apresentando resultados consistentes. As neuropróteses são capazes de fornecer ao usuário uma gama de informações, seja para os movimentos realizados pela prótese ou para sensações somatossensoriais artificiais. Esses novos conceitos precisam de técnicas avançadas em inteligência artificial para garantir ao usuário segurança, autonomia e uma interação próxima a realidade. O objetivo deste trabalho foi comparar as classificações entre dois modelos de redes neurais convolucionais profundas, as Deep Learning utilizando métodos de Transfer Learning para o reconhecimento de movimentos por contrações musculares no acionamento de neuropróteses transradiais. Métodos: os modelos escolhidos foram a Deep Learning desenvolvida por pesquisadores da Google (GoogLeNet) e a Deep Learning Visual Geometry Group de 19 camadas (VGG19) desenvolvida por pesquisadores da Universidade de Oxford. O banco de dados utilizado neste trabalho é resultado da implementação de uma interface neural multicanal com sinais eletromiográficos de supeficie de alta densidade (HDsEMG). Contendo 64 canais de aquisição com eletrodos monopolares e uma estrutura modular vestível para o antebraço. Estes sinais foram processados e convertidos em escalogramas, representações no domínio do tempo e da frequência utilizando Transformadas de Wavelets Continuas e Discretas e também recursos para extração de características e reconhecimento de padrões, destacando-se Root mean square, Windowns Length e Slide Windowns como métodos de janelamento e sobreposição, o overlapping e um algoritmo para extração de classes dos sinais, o labelling. Nas classificações foram aplicadas nove classes para o treinamento originados de oito movimentos da mão e do punho mais a classe de repouso. Os modelos receberam a aplicação de quatro métricas de validação para garantir a eficiência dos treinamentos. Sendo elas, a acurária, a sensibilidade, a especificidade, a seletividade e o F1 Score. Resultados: foi gerado um banco de dados com imagens de escalogramas para o treinamento dos modelos investigados, apresentando acurária acima de 70%, o modelo GoogLeNet apresentou acurácia máxima de 79,46% e a modelo VGG19 apresentou acurácia máxima de 85,66%. Conclusão: esta tese fornece evidências sobre a eficiência de classificadores deep learning com os modelos GoogLeNet e VGG19, onde demonstraram seu potencial para aumentar a capacidade funcional das neupróteses de membros superiores. A estratégia de utilizar a interface neural HDsEMG com os modelos propostos melhorou efetivamente os resultados. Essas descobertas abrem perspectivas promissoras para aplicações em neuropróteses transradiais.
publishDate 2021
dc.date.none.fl_str_mv 2021-08-13
2022-01-10T11:07:42Z
2022-01-10T11:07:42Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/11449/215802
33004099080P0
url http://hdl.handle.net/11449/215802
identifier_str_mv 33004099080P0
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv
_version_ 1808128179161792512