Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico.

Detalhes bibliográficos
Autor(a) principal: Sallaberry, Lucas Henna
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/3/3141/tde-05052023-081351/
Resumo: Simuladores de Realidade Virtual (RV) voltados para a saúde possibilitam o treinamento de estudantes antes do primeiro contato com o paciente, de maneira segura e sem gasto de material. Dados coletados durante a execução do treinamento nestes simuladores favorecem a implementação de sistemas de avaliação automática, que podem tanto fornecer retorno de desempenho para o aluno durante o treinamento quanto auxiliar o professor durante avaliações de estudantes. Resultados obtidos em uma revisão sistemática da literatura apontaram que estudos que utilizam aprendizado de máquina para realizar a avaliação de aprendizes em simuladores de RV com retorno háptico ainda são escassos. Este trabalho comparou as técnicas de aprendizado de máquina Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM), Multi Layer Perceptron (MLP) e Extreme Gradient Boosting (XGB), combinadas com técnicas de seleção e fusão de características para definir um método de avaliação automática a fim de mensurar o desempenho de estudantes a partir do uso de simuladores de realidade virtual para treinamento médico. A trajetória da seringa em um simulador odontológico usando realidade virtual foi coletada e segmentada, possibilitando a extração de 98 características relacionadas ao desempenho dos participantes durante o procedimento. Foram realizadas classificações binárias com dois tipos diferentes de rotulação: com base no nível de experiência que os participantes possuíam no procedimento simulado e com base em uma avaliação da trajetória realizada por uma especialista. Foi encontrado que, em ambos os casos, o classificador SVM apresentou o melhor resultado final, com acurácia de 0,77, especificidade de 0,60 e sensibilidade de 0,94 para a rotulação realizada com base na avaliação da especialista. Os resultados obtidos neste trabalho se mostraram promissores e o modelo definido pode ser aplicado a simuladores hápticos usando RV que coletam dados de trajetórias.
id USP_e52ba947b27254bb386549a601cf8db5
oai_identifier_str oai:teses.usp.br:tde-05052023-081351
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico.Machine learning to assess apprentice\'s performance in virtual reality simulators with haptic feedback.Anestesia odontológicaApprentice assessmentAprendizado computacionalAvaliação de desempenhoDental simulatorHaptic feedbackMachine learningRealidade virtualSimulação (Aprendizagem)Virtual realitySimuladores de Realidade Virtual (RV) voltados para a saúde possibilitam o treinamento de estudantes antes do primeiro contato com o paciente, de maneira segura e sem gasto de material. Dados coletados durante a execução do treinamento nestes simuladores favorecem a implementação de sistemas de avaliação automática, que podem tanto fornecer retorno de desempenho para o aluno durante o treinamento quanto auxiliar o professor durante avaliações de estudantes. Resultados obtidos em uma revisão sistemática da literatura apontaram que estudos que utilizam aprendizado de máquina para realizar a avaliação de aprendizes em simuladores de RV com retorno háptico ainda são escassos. Este trabalho comparou as técnicas de aprendizado de máquina Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM), Multi Layer Perceptron (MLP) e Extreme Gradient Boosting (XGB), combinadas com técnicas de seleção e fusão de características para definir um método de avaliação automática a fim de mensurar o desempenho de estudantes a partir do uso de simuladores de realidade virtual para treinamento médico. A trajetória da seringa em um simulador odontológico usando realidade virtual foi coletada e segmentada, possibilitando a extração de 98 características relacionadas ao desempenho dos participantes durante o procedimento. Foram realizadas classificações binárias com dois tipos diferentes de rotulação: com base no nível de experiência que os participantes possuíam no procedimento simulado e com base em uma avaliação da trajetória realizada por uma especialista. Foi encontrado que, em ambos os casos, o classificador SVM apresentou o melhor resultado final, com acurácia de 0,77, especificidade de 0,60 e sensibilidade de 0,94 para a rotulação realizada com base na avaliação da especialista. Os resultados obtidos neste trabalho se mostraram promissores e o modelo definido pode ser aplicado a simuladores hápticos usando RV que coletam dados de trajetórias.Virtual Reality (VR) simulators for health procedures allow students to train in a safe manner and without loss of material before they have the first contact with a real patient. Data collected during training sessions using these simulators favor the implementation of automatic assessment systems, which could both provide a performance feedback to the trainee, without the need of an instructor present, and assist instructors during the evaluation of students. Results obtained through a systematic review of the literature indicated that studies using machine learning to assess apprentices in VR simulators with haptic feedback are still scarce. This work compared the machine learning techniques Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM), Multi Layer Perceptron (MLP) and Extreme Gradient Boosting (XGB), combined with techniques for feature fusion and selection to define an automatic assessment method to measure the students performance while using VR simulators for medical training. The syringe trajectory in a VR dental simulator was collected and segmented, allowing the extraction of 98 features related to the participants performance during the procedure. Binary classifications were performed with two different types of labeling: based on the level of experience the participants had in the simulated procedure and based on an experts evaluation of the trajectory. It was found that in both cases, the SVM classifier presented the best final result, with an accuracy of 0.77, specificity of 0.60, and sensitivity of 0.94 for the labeling based on the experts evaluation. The results obtained in this work are promising and the model can be applied to VR haptic simulators that collect trajectory data.Biblioteca Digitais de Teses e Dissertações da USPMarques, Fátima de Lourdes dos Santos NunesTori, RomeroSallaberry, Lucas Henna2022-12-07info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/3/3141/tde-05052023-081351/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2023-05-05T11:31:02Zoai:teses.usp.br:tde-05052023-081351Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212023-05-05T11:31:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico.
Machine learning to assess apprentice\'s performance in virtual reality simulators with haptic feedback.
title Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico.
spellingShingle Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico.
Sallaberry, Lucas Henna
Anestesia odontológica
Apprentice assessment
Aprendizado computacional
Avaliação de desempenho
Dental simulator
Haptic feedback
Machine learning
Realidade virtual
Simulação (Aprendizagem)
Virtual reality
title_short Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico.
title_full Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico.
title_fullStr Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico.
title_full_unstemmed Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico.
title_sort Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico.
author Sallaberry, Lucas Henna
author_facet Sallaberry, Lucas Henna
author_role author
dc.contributor.none.fl_str_mv Marques, Fátima de Lourdes dos Santos Nunes
Tori, Romero
dc.contributor.author.fl_str_mv Sallaberry, Lucas Henna
dc.subject.por.fl_str_mv Anestesia odontológica
Apprentice assessment
Aprendizado computacional
Avaliação de desempenho
Dental simulator
Haptic feedback
Machine learning
Realidade virtual
Simulação (Aprendizagem)
Virtual reality
topic Anestesia odontológica
Apprentice assessment
Aprendizado computacional
Avaliação de desempenho
Dental simulator
Haptic feedback
Machine learning
Realidade virtual
Simulação (Aprendizagem)
Virtual reality
description Simuladores de Realidade Virtual (RV) voltados para a saúde possibilitam o treinamento de estudantes antes do primeiro contato com o paciente, de maneira segura e sem gasto de material. Dados coletados durante a execução do treinamento nestes simuladores favorecem a implementação de sistemas de avaliação automática, que podem tanto fornecer retorno de desempenho para o aluno durante o treinamento quanto auxiliar o professor durante avaliações de estudantes. Resultados obtidos em uma revisão sistemática da literatura apontaram que estudos que utilizam aprendizado de máquina para realizar a avaliação de aprendizes em simuladores de RV com retorno háptico ainda são escassos. Este trabalho comparou as técnicas de aprendizado de máquina Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM), Multi Layer Perceptron (MLP) e Extreme Gradient Boosting (XGB), combinadas com técnicas de seleção e fusão de características para definir um método de avaliação automática a fim de mensurar o desempenho de estudantes a partir do uso de simuladores de realidade virtual para treinamento médico. A trajetória da seringa em um simulador odontológico usando realidade virtual foi coletada e segmentada, possibilitando a extração de 98 características relacionadas ao desempenho dos participantes durante o procedimento. Foram realizadas classificações binárias com dois tipos diferentes de rotulação: com base no nível de experiência que os participantes possuíam no procedimento simulado e com base em uma avaliação da trajetória realizada por uma especialista. Foi encontrado que, em ambos os casos, o classificador SVM apresentou o melhor resultado final, com acurácia de 0,77, especificidade de 0,60 e sensibilidade de 0,94 para a rotulação realizada com base na avaliação da especialista. Os resultados obtidos neste trabalho se mostraram promissores e o modelo definido pode ser aplicado a simuladores hápticos usando RV que coletam dados de trajetórias.
publishDate 2022
dc.date.none.fl_str_mv 2022-12-07
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/3/3141/tde-05052023-081351/
url https://www.teses.usp.br/teses/disponiveis/3/3141/tde-05052023-081351/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809090406781026304