Sorting Surgical Tools from a Clustered Tray - Object Detection and Occlusion Reasoning

Detalhes bibliográficos
Autor(a) principal: Lavado, Diana Martins
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/86257
Resumo: Trabalho de Projeto do Mestrado Integrado em Engenharia Biomédica apresentado à Faculdade de Ciências e Tecnologia
id RCAP_5df6f794769e3b1df437573aa5b49c5d
oai_identifier_str oai:estudogeral.uc.pt:10316/86257
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Sorting Surgical Tools from a Clustered Tray - Object Detection and Occlusion ReasoningSeparação de Instrumentos Cirúrgicos Desorganizados numa Bandeja – Deteção e Resolução de OclusãoDeep LearningRobóticaYOLOv2YOLOv3Visão ComputacionalDeep LearningRoboticsYOLOv2YOLOv3Computer VisionTrabalho de Projeto do Mestrado Integrado em Engenharia Biomédica apresentado à Faculdade de Ciências e TecnologiaO principal objetivo desta dissertação de mestrado é classificar e localizar os instrumentos cirúrgicos presentes numa bandeja desorganizada, assim como realizar o raciocínio para resolver oclusão por forma a determinar qual o instrumento que deverá ser retirado em primeiro lugar. Estas tarefas pretendem ser uma parte integrante de um sistema complexo apto a separar instrumentos cirúrgicos após a sua desinfeção, de modo a montar kits cirúrgicos e, esperançosamente, otimizar o tempo despendido pelos enfermeiros em salas de esterilização, para que se possam dedicar a tarefas mais complexas.Inicialmente, várias abordagens clássicas foram testadas para obter modelos 2D para cada tipo de instrumento cirúrgico, tal como canny edges, otsu’s threshold e watershed algorithm. A ideia era colocar códigos “2D data matrix” nos instrumentos cirúrgicos e, sempre que o código fosse detetado, o respetivo modelo seria adicionado a um mapa virtual, que seria posteriormente analisado para determinar qual o instrumento situado no topo, através da comparação com a imagem original. Todavia, devido a dificuldades na aquisição de um software específico, foi usada uma abordagem moderna, recorrendo à rede neuronal de deep learning YOLO (“you only look once”).De modo a treinar as redes neuronais foi elaborado um dataset, que foi posteriormente publicado, em conjunto com as respetivas “labels” das imagens, assim como uma divisão apropriada em grupo de teste e de treino. No total, 5 redes neuronais YOLOv2 foram treinadas: 1 para deteção e classificação de objetos e 1 para o resolver a oclusão relativa a cada tipo de instrumento (perfazendo um total de 4). Relativamente à deteção de objetos foi também realizada validação cruzada, assim como treinada a rede YOLOv3.Uma aplicação de consola que aplica o algoritmo proposto foi também desenvolvida, em que o primeiro passo é correr o detetor de objetos com redes treinadas quer de YOLOv2 ou de YOLOv3, seguido pela ordenação das deteções por ordem decrescente de percentagem de confiança. Posteriormente, as deteções correspondentes às duas percentagens de confiança mais elevadas são escolhidas, e as respetivas redes neuronais de raciocínio para resolver oclusão são implementadas. Finalmente, a melhor combinação de percentagens de confiança entre a deteção de objetos e o raciocínio de oclusão determina qual o instrumento cirúrgico que deverá ser removido em primeiro lugar do tabuleiro desorganizado.The main goal of this master dissertation is to classify and localize surgical tools in a cluttered tray, as well as perform occlusion reasoning to determine which tool should be removed first. These tasks are intended to be a part of a multi-stage robotic system able to sort surgical tools after disinfection, in order to assembly surgical kits and, hopefully, optimizing the nurses time in sterilization rooms, so that they can focus on more complex tasks.Initially, several classical approaches were tested to obtain 2D templates of each type of surgical tool, such as canny edges, otsu’s threshold and watershed algorithm. The idea was to place 2D data matrixes codes onto the surgical tools and whenever the code was detected, the respective template would be added to a virtual map, which would be posteriorly be assessed and determined which tool was on top by comparison with the original image. However, due to difficulties in acquiring a specific software, a modern approach was used instead, resorting to the YOLO (“you only look once”) deep learning neural network.In order to train the neural networks, a dataset was built, which was then published, along with the respective labels of the data and appropriate division into train and test groups. In total, 5 YOLOv2 neural networks were trained: 1 for object detection and classification and 1 for occlusion reasoning of each instrument (making a total of 4). Regarding object detection, it was also performed cross-validation, as well as trained the YOLOv3 network.A console application that applies the proposed algorithm was also developed, in which the first step is to run the object detector with either the trained YOLOv2 or YOLOv3 network, followed by sorting the detections in a decrescent order of confidence score. Afterward, the detections correspondent to the two higher confidence scores are chosen and the respective occlusion reasoning neural networks are run. Finally, the best combination of confidence scores between object detection and occlusion reasoning determines the surgical tool to be removed first from the cluttered tray.2018-09-28info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/86257http://hdl.handle.net/10316/86257TID:202206360engLavado, Diana Martinsinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2021-07-30T08:19:09Zoai:estudogeral.uc.pt:10316/86257Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:07:27.249275Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Sorting Surgical Tools from a Clustered Tray - Object Detection and Occlusion Reasoning
Separação de Instrumentos Cirúrgicos Desorganizados numa Bandeja – Deteção e Resolução de Oclusão
title Sorting Surgical Tools from a Clustered Tray - Object Detection and Occlusion Reasoning
spellingShingle Sorting Surgical Tools from a Clustered Tray - Object Detection and Occlusion Reasoning
Lavado, Diana Martins
Deep Learning
Robótica
YOLOv2
YOLOv3
Visão Computacional
Deep Learning
Robotics
YOLOv2
YOLOv3
Computer Vision
title_short Sorting Surgical Tools from a Clustered Tray - Object Detection and Occlusion Reasoning
title_full Sorting Surgical Tools from a Clustered Tray - Object Detection and Occlusion Reasoning
title_fullStr Sorting Surgical Tools from a Clustered Tray - Object Detection and Occlusion Reasoning
title_full_unstemmed Sorting Surgical Tools from a Clustered Tray - Object Detection and Occlusion Reasoning
title_sort Sorting Surgical Tools from a Clustered Tray - Object Detection and Occlusion Reasoning
author Lavado, Diana Martins
author_facet Lavado, Diana Martins
author_role author
dc.contributor.author.fl_str_mv Lavado, Diana Martins
dc.subject.por.fl_str_mv Deep Learning
Robótica
YOLOv2
YOLOv3
Visão Computacional
Deep Learning
Robotics
YOLOv2
YOLOv3
Computer Vision
topic Deep Learning
Robótica
YOLOv2
YOLOv3
Visão Computacional
Deep Learning
Robotics
YOLOv2
YOLOv3
Computer Vision
description Trabalho de Projeto do Mestrado Integrado em Engenharia Biomédica apresentado à Faculdade de Ciências e Tecnologia
publishDate 2018
dc.date.none.fl_str_mv 2018-09-28
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/86257
http://hdl.handle.net/10316/86257
TID:202206360
url http://hdl.handle.net/10316/86257
identifier_str_mv TID:202206360
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1817551849494937600

Registros relacionados