Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico.
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | https://www.teses.usp.br/teses/disponiveis/3/3141/tde-05052023-081351/ |
Resumo: | Simuladores de Realidade Virtual (RV) voltados para a saúde possibilitam o treinamento de estudantes antes do primeiro contato com o paciente, de maneira segura e sem gasto de material. Dados coletados durante a execução do treinamento nestes simuladores favorecem a implementação de sistemas de avaliação automática, que podem tanto fornecer retorno de desempenho para o aluno durante o treinamento quanto auxiliar o professor durante avaliações de estudantes. Resultados obtidos em uma revisão sistemática da literatura apontaram que estudos que utilizam aprendizado de máquina para realizar a avaliação de aprendizes em simuladores de RV com retorno háptico ainda são escassos. Este trabalho comparou as técnicas de aprendizado de máquina Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM), Multi Layer Perceptron (MLP) e Extreme Gradient Boosting (XGB), combinadas com técnicas de seleção e fusão de características para definir um método de avaliação automática a fim de mensurar o desempenho de estudantes a partir do uso de simuladores de realidade virtual para treinamento médico. A trajetória da seringa em um simulador odontológico usando realidade virtual foi coletada e segmentada, possibilitando a extração de 98 características relacionadas ao desempenho dos participantes durante o procedimento. Foram realizadas classificações binárias com dois tipos diferentes de rotulação: com base no nível de experiência que os participantes possuíam no procedimento simulado e com base em uma avaliação da trajetória realizada por uma especialista. Foi encontrado que, em ambos os casos, o classificador SVM apresentou o melhor resultado final, com acurácia de 0,77, especificidade de 0,60 e sensibilidade de 0,94 para a rotulação realizada com base na avaliação da especialista. Os resultados obtidos neste trabalho se mostraram promissores e o modelo definido pode ser aplicado a simuladores hápticos usando RV que coletam dados de trajetórias. |
id |
USP_e52ba947b27254bb386549a601cf8db5 |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-05052023-081351 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico.Machine learning to assess apprentice\'s performance in virtual reality simulators with haptic feedback.Anestesia odontológicaApprentice assessmentAprendizado computacionalAvaliação de desempenhoDental simulatorHaptic feedbackMachine learningRealidade virtualSimulação (Aprendizagem)Virtual realitySimuladores de Realidade Virtual (RV) voltados para a saúde possibilitam o treinamento de estudantes antes do primeiro contato com o paciente, de maneira segura e sem gasto de material. Dados coletados durante a execução do treinamento nestes simuladores favorecem a implementação de sistemas de avaliação automática, que podem tanto fornecer retorno de desempenho para o aluno durante o treinamento quanto auxiliar o professor durante avaliações de estudantes. Resultados obtidos em uma revisão sistemática da literatura apontaram que estudos que utilizam aprendizado de máquina para realizar a avaliação de aprendizes em simuladores de RV com retorno háptico ainda são escassos. Este trabalho comparou as técnicas de aprendizado de máquina Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM), Multi Layer Perceptron (MLP) e Extreme Gradient Boosting (XGB), combinadas com técnicas de seleção e fusão de características para definir um método de avaliação automática a fim de mensurar o desempenho de estudantes a partir do uso de simuladores de realidade virtual para treinamento médico. A trajetória da seringa em um simulador odontológico usando realidade virtual foi coletada e segmentada, possibilitando a extração de 98 características relacionadas ao desempenho dos participantes durante o procedimento. Foram realizadas classificações binárias com dois tipos diferentes de rotulação: com base no nível de experiência que os participantes possuíam no procedimento simulado e com base em uma avaliação da trajetória realizada por uma especialista. Foi encontrado que, em ambos os casos, o classificador SVM apresentou o melhor resultado final, com acurácia de 0,77, especificidade de 0,60 e sensibilidade de 0,94 para a rotulação realizada com base na avaliação da especialista. Os resultados obtidos neste trabalho se mostraram promissores e o modelo definido pode ser aplicado a simuladores hápticos usando RV que coletam dados de trajetórias.Virtual Reality (VR) simulators for health procedures allow students to train in a safe manner and without loss of material before they have the first contact with a real patient. Data collected during training sessions using these simulators favor the implementation of automatic assessment systems, which could both provide a performance feedback to the trainee, without the need of an instructor present, and assist instructors during the evaluation of students. Results obtained through a systematic review of the literature indicated that studies using machine learning to assess apprentices in VR simulators with haptic feedback are still scarce. This work compared the machine learning techniques Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM), Multi Layer Perceptron (MLP) and Extreme Gradient Boosting (XGB), combined with techniques for feature fusion and selection to define an automatic assessment method to measure the students performance while using VR simulators for medical training. The syringe trajectory in a VR dental simulator was collected and segmented, allowing the extraction of 98 features related to the participants performance during the procedure. Binary classifications were performed with two different types of labeling: based on the level of experience the participants had in the simulated procedure and based on an experts evaluation of the trajectory. It was found that in both cases, the SVM classifier presented the best final result, with an accuracy of 0.77, specificity of 0.60, and sensitivity of 0.94 for the labeling based on the experts evaluation. The results obtained in this work are promising and the model can be applied to VR haptic simulators that collect trajectory data.Biblioteca Digitais de Teses e Dissertações da USPMarques, Fátima de Lourdes dos Santos NunesTori, RomeroSallaberry, Lucas Henna2022-12-07info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/3/3141/tde-05052023-081351/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-10-09T12:45:09Zoai:teses.usp.br:tde-05052023-081351Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-10-09T12:45:09Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico. Machine learning to assess apprentice\'s performance in virtual reality simulators with haptic feedback. |
title |
Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico. |
spellingShingle |
Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico. Sallaberry, Lucas Henna Anestesia odontológica Apprentice assessment Aprendizado computacional Avaliação de desempenho Dental simulator Haptic feedback Machine learning Realidade virtual Simulação (Aprendizagem) Virtual reality |
title_short |
Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico. |
title_full |
Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico. |
title_fullStr |
Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico. |
title_full_unstemmed |
Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico. |
title_sort |
Aprendizado de máquina na avaliação de desempenho de aprendizes em simuladores de realidade virtual com dispositivo háptico. |
author |
Sallaberry, Lucas Henna |
author_facet |
Sallaberry, Lucas Henna |
author_role |
author |
dc.contributor.none.fl_str_mv |
Marques, Fátima de Lourdes dos Santos Nunes Tori, Romero |
dc.contributor.author.fl_str_mv |
Sallaberry, Lucas Henna |
dc.subject.por.fl_str_mv |
Anestesia odontológica Apprentice assessment Aprendizado computacional Avaliação de desempenho Dental simulator Haptic feedback Machine learning Realidade virtual Simulação (Aprendizagem) Virtual reality |
topic |
Anestesia odontológica Apprentice assessment Aprendizado computacional Avaliação de desempenho Dental simulator Haptic feedback Machine learning Realidade virtual Simulação (Aprendizagem) Virtual reality |
description |
Simuladores de Realidade Virtual (RV) voltados para a saúde possibilitam o treinamento de estudantes antes do primeiro contato com o paciente, de maneira segura e sem gasto de material. Dados coletados durante a execução do treinamento nestes simuladores favorecem a implementação de sistemas de avaliação automática, que podem tanto fornecer retorno de desempenho para o aluno durante o treinamento quanto auxiliar o professor durante avaliações de estudantes. Resultados obtidos em uma revisão sistemática da literatura apontaram que estudos que utilizam aprendizado de máquina para realizar a avaliação de aprendizes em simuladores de RV com retorno háptico ainda são escassos. Este trabalho comparou as técnicas de aprendizado de máquina Naive Bayes (NB), Random Forest (RF), Support Vector Machine (SVM), Multi Layer Perceptron (MLP) e Extreme Gradient Boosting (XGB), combinadas com técnicas de seleção e fusão de características para definir um método de avaliação automática a fim de mensurar o desempenho de estudantes a partir do uso de simuladores de realidade virtual para treinamento médico. A trajetória da seringa em um simulador odontológico usando realidade virtual foi coletada e segmentada, possibilitando a extração de 98 características relacionadas ao desempenho dos participantes durante o procedimento. Foram realizadas classificações binárias com dois tipos diferentes de rotulação: com base no nível de experiência que os participantes possuíam no procedimento simulado e com base em uma avaliação da trajetória realizada por uma especialista. Foi encontrado que, em ambos os casos, o classificador SVM apresentou o melhor resultado final, com acurácia de 0,77, especificidade de 0,60 e sensibilidade de 0,94 para a rotulação realizada com base na avaliação da especialista. Os resultados obtidos neste trabalho se mostraram promissores e o modelo definido pode ser aplicado a simuladores hápticos usando RV que coletam dados de trajetórias. |
publishDate |
2022 |
dc.date.none.fl_str_mv |
2022-12-07 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/3/3141/tde-05052023-081351/ |
url |
https://www.teses.usp.br/teses/disponiveis/3/3141/tde-05052023-081351/ |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1815256489090088960 |