Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos
Autor(a) principal: | |
---|---|
Data de Publicação: | 2024 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFMS |
Texto Completo: | https://repositorio.ufms.br/handle/123456789/8679 |
Resumo: | This work explored the combination of Deep Learning (DL) and Simultaneous Localization and Mapping (SLAM) to enhance precision agriculture, with a focus on detecting and estimating the distance to apples in orchards. A thorough literature review was conducted, analyzing approaches that integrate deep neural networks with traditional SLAM methods, identifying promising applications in various fields, including agriculture. Data collection was performed using a stereoscopic camera, capturing images with depth information. Bounding boxes were manually annotated around visible apples, and the MinneApple dataset was added to enhance model generalization. We trained 12 variations of the YOLO architecture, with YOLOv5x achieving the best performance, reaching 0.861 in F1-Score on the validation set. An algorithm was developed to estimate the distance to each detected apple, integrating it into the YOLO detection pipeline. The results demonstrated the accuracy and real-time viability of the system, allowing efficient detection and distance estimation of apples. This work contributes to the evolution of the combination of DL and SLAM, opening new research prospects for automation and robotics, particularly in fruit orchard monitoring and harvesting applications. |
id |
UFMS_65ba9d2fec46f4df2a8f1dd117190d98 |
---|---|
oai_identifier_str |
oai:repositorio.ufms.br:123456789/8679 |
network_acronym_str |
UFMS |
network_name_str |
Repositório Institucional da UFMS |
repository_id_str |
2124 |
spelling |
2024-04-18T23:36:44Z2024-04-18T23:36:44Z2024https://repositorio.ufms.br/handle/123456789/8679This work explored the combination of Deep Learning (DL) and Simultaneous Localization and Mapping (SLAM) to enhance precision agriculture, with a focus on detecting and estimating the distance to apples in orchards. A thorough literature review was conducted, analyzing approaches that integrate deep neural networks with traditional SLAM methods, identifying promising applications in various fields, including agriculture. Data collection was performed using a stereoscopic camera, capturing images with depth information. Bounding boxes were manually annotated around visible apples, and the MinneApple dataset was added to enhance model generalization. We trained 12 variations of the YOLO architecture, with YOLOv5x achieving the best performance, reaching 0.861 in F1-Score on the validation set. An algorithm was developed to estimate the distance to each detected apple, integrating it into the YOLO detection pipeline. The results demonstrated the accuracy and real-time viability of the system, allowing efficient detection and distance estimation of apples. This work contributes to the evolution of the combination of DL and SLAM, opening new research prospects for automation and robotics, particularly in fruit orchard monitoring and harvesting applications.Este trabalho explorou a combinação entre Deep Learning (DL) e Simultaneous Localization and Mapping (SLAM) para melhorar a agricultura de precisão, com ênfase na detecção e estimativa de distância de maçãs em pomares. Realizamos uma revisão detalhada da literatura, analisando abordagens que unem redes neurais profundas com métodos tradicionais de SLAM, identificando aplicações promissoras em várias áreas, incluindo a agricultura. A coleta de dados foi feita usando a câmera estereoscópica, que captura imagens com informações de profundidade. Anotamos manualmente bounding boxes nas maçãs visíveis e adicionamos o conjunto MinneApple ao nosso dataset para aprimorar a generalização dos modelos. Treinamos 12 variações da arquitetura YOLO e a YOLOv5x alcançou o melhor desempenho, atingindo 0.861 em F1-Score no conjunto de validação. Desenvolvemos um algoritmo para estimar a distância até cada maçã detectada, integrando-o ao fluxo de detecção da YOLO. Os resultados demonstraram a precisão e viabilidade do sistema em tempo real, permitindo a detecção e estimativa de distância das maçãs de maneira eficiente. O trabalho contribui para a evolução da combinação entre DL e SLAM, abrindo novas perspectivas de pesquisa para a automação e robótica, especialmente em aplicações de monitoramento e colheita de frutas em pomares.Fundação Universidade Federal de Mato Grosso do SulUFMSBrasilMapeamento, Aprendizado Profundo, Detecção de ObjetosCombinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisWesley Nunes GoncalvesRODRIGO DE ALMEIDA SILVAinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFMSinstname:Universidade Federal de Mato Grosso do Sul (UFMS)instacron:UFMSORIGINALDissertação_Rodrigo_FINAL.pdfDissertação_Rodrigo_FINAL.pdfapplication/pdf15354030https://repositorio.ufms.br/bitstream/123456789/8679/-1/Disserta%c3%a7%c3%a3o_Rodrigo_FINAL.pdf9fc94f049d3580d649080120f649beaeMD5-1123456789/86792024-04-18 19:36:46.536oai:repositorio.ufms.br:123456789/8679Repositório InstitucionalPUBhttps://repositorio.ufms.br/oai/requestri.prograd@ufms.bropendoar:21242024-04-18T23:36:46Repositório Institucional da UFMS - Universidade Federal de Mato Grosso do Sul (UFMS)false |
dc.title.pt_BR.fl_str_mv |
Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos |
title |
Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos |
spellingShingle |
Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos RODRIGO DE ALMEIDA SILVA Mapeamento, Aprendizado Profundo, Detecção de Objetos |
title_short |
Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos |
title_full |
Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos |
title_fullStr |
Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos |
title_full_unstemmed |
Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos |
title_sort |
Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos |
author |
RODRIGO DE ALMEIDA SILVA |
author_facet |
RODRIGO DE ALMEIDA SILVA |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Wesley Nunes Goncalves |
dc.contributor.author.fl_str_mv |
RODRIGO DE ALMEIDA SILVA |
contributor_str_mv |
Wesley Nunes Goncalves |
dc.subject.por.fl_str_mv |
Mapeamento, Aprendizado Profundo, Detecção de Objetos |
topic |
Mapeamento, Aprendizado Profundo, Detecção de Objetos |
description |
This work explored the combination of Deep Learning (DL) and Simultaneous Localization and Mapping (SLAM) to enhance precision agriculture, with a focus on detecting and estimating the distance to apples in orchards. A thorough literature review was conducted, analyzing approaches that integrate deep neural networks with traditional SLAM methods, identifying promising applications in various fields, including agriculture. Data collection was performed using a stereoscopic camera, capturing images with depth information. Bounding boxes were manually annotated around visible apples, and the MinneApple dataset was added to enhance model generalization. We trained 12 variations of the YOLO architecture, with YOLOv5x achieving the best performance, reaching 0.861 in F1-Score on the validation set. An algorithm was developed to estimate the distance to each detected apple, integrating it into the YOLO detection pipeline. The results demonstrated the accuracy and real-time viability of the system, allowing efficient detection and distance estimation of apples. This work contributes to the evolution of the combination of DL and SLAM, opening new research prospects for automation and robotics, particularly in fruit orchard monitoring and harvesting applications. |
publishDate |
2024 |
dc.date.accessioned.fl_str_mv |
2024-04-18T23:36:44Z |
dc.date.available.fl_str_mv |
2024-04-18T23:36:44Z |
dc.date.issued.fl_str_mv |
2024 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufms.br/handle/123456789/8679 |
url |
https://repositorio.ufms.br/handle/123456789/8679 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Fundação Universidade Federal de Mato Grosso do Sul |
dc.publisher.initials.fl_str_mv |
UFMS |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Fundação Universidade Federal de Mato Grosso do Sul |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFMS instname:Universidade Federal de Mato Grosso do Sul (UFMS) instacron:UFMS |
instname_str |
Universidade Federal de Mato Grosso do Sul (UFMS) |
instacron_str |
UFMS |
institution |
UFMS |
reponame_str |
Repositório Institucional da UFMS |
collection |
Repositório Institucional da UFMS |
bitstream.url.fl_str_mv |
https://repositorio.ufms.br/bitstream/123456789/8679/-1/Disserta%c3%a7%c3%a3o_Rodrigo_FINAL.pdf |
bitstream.checksum.fl_str_mv |
9fc94f049d3580d649080120f649beae |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFMS - Universidade Federal de Mato Grosso do Sul (UFMS) |
repository.mail.fl_str_mv |
ri.prograd@ufms.br |
_version_ |
1807552850239160320 |