Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores

Detalhes bibliográficos
Autor(a) principal: Marques, Lucas Torres
Data de Publicação: 2023
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFRN
Texto Completo: https://repositorio.ufrn.br/handle/123456789/55910
Resumo: O setor eólico brasileiro é vital para a matriz energética e o desenvolvimento sustentável, com a previsão de alcançar 44,78 GW de capacidade instalada até 2028. Desafios significativos na operação e manutenção exigem tecnologias avançadas de monitoramento e análise para otimizar a eficiência energética e manter a sustentabilidade. Neste contexto, a aplicação de técnicas avançadas de visão computacional, como os modelos You Only Look Once (YOLO) e Segment Anything Model (SAM), oferece uma solução promissora para detecção automática e em tempo real, e segmentação de danos e sujeiras nas superfícies externas dos aerogeradores, através de imagens de alta resolução retiradas por VANTs. Dito isto, este trabalho tem como objetivo propor uma metodologia baseada em visão computacional, através do treinamento e validação de quatro arquiteturas do modelo YOLOv8, para a detecção de sujeiras e danos em tempo real, e a aplicação do modelo SAM para a segmentação das imagens anotadas pelo melhor modelo YOLOv8, utilizando-se da linguagem Python, do ambiente de desenvolvimento do Google Colaboratory e a ferramenta de pré-processamento de imagens Roboflow. As arquiteturas do modelo YOLOv8 foram treinadas em cima do conjunto de dados YOLO Annotated Wind Turbine Surface Damage. Os resultados obtidos mostram que os modelos YOLOv8-Nano e YOLOv8-Small se ajustaram melhor ao problema, que os modelos YOLOv8-Medium e YOLOv8-Large. Dentre todos os modelos, o YOLOv8-Small foi o que mais se destacou, obtendo um mAP50 de 0,903 para classe Sujeira, 0,755 para a classe Dano e 0,829 no total, com uma velocidade de 148 FPS. Para a segmentação, o SAM obteve um resultado satisfatório na segmentação dos danos e abaixo do esperado na segmentação das sujeiras. Desta forma, pode-se concluir que a metodologia proposta pode ser aplicada apenas para a detecção e segmentação de danos nas superfícies externas de aerogeradores, uma vez que para a classe sujeira, apenas a detecção se mostrou eficiente.
id UFRN_748cad688636babf49a1457093b95a22
oai_identifier_str oai:https://repositorio.ufrn.br:123456789/55910
network_acronym_str UFRN
network_name_str Repositório Institucional da UFRN
repository_id_str
spelling Marques, Lucas Torres0000-0003-2749-1885http://lattes.cnpq.br/02818456048828590000-0002-0116-6489http://lattes.cnpq.br/3608440944832201Oliveira, Luiz Affonso Henderson Guedes de0000-0003-2690-1563http://lattes.cnpq.br/7987212907837941Viegas, Carlos Manuel Dias0000-0001-5061-7242http://lattes.cnpq.br/3134700668982522Silva, Ivanovitch Medeiros Dantas da Silva2023-12-14T11:55:24Z2023-12-14T11:55:24Z2023-12-06MARQUES, Lucas Torres. Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores. 2023. 83 f. Trabalho de Conclusão de Curso (Bacharelado em Engenharia Elétrica) - Departamento de Engenharia Elétrica, Universidade Federal do Rio Grande do Norte, Natal, 2023.https://repositorio.ufrn.br/handle/123456789/55910O setor eólico brasileiro é vital para a matriz energética e o desenvolvimento sustentável, com a previsão de alcançar 44,78 GW de capacidade instalada até 2028. Desafios significativos na operação e manutenção exigem tecnologias avançadas de monitoramento e análise para otimizar a eficiência energética e manter a sustentabilidade. Neste contexto, a aplicação de técnicas avançadas de visão computacional, como os modelos You Only Look Once (YOLO) e Segment Anything Model (SAM), oferece uma solução promissora para detecção automática e em tempo real, e segmentação de danos e sujeiras nas superfícies externas dos aerogeradores, através de imagens de alta resolução retiradas por VANTs. Dito isto, este trabalho tem como objetivo propor uma metodologia baseada em visão computacional, através do treinamento e validação de quatro arquiteturas do modelo YOLOv8, para a detecção de sujeiras e danos em tempo real, e a aplicação do modelo SAM para a segmentação das imagens anotadas pelo melhor modelo YOLOv8, utilizando-se da linguagem Python, do ambiente de desenvolvimento do Google Colaboratory e a ferramenta de pré-processamento de imagens Roboflow. As arquiteturas do modelo YOLOv8 foram treinadas em cima do conjunto de dados YOLO Annotated Wind Turbine Surface Damage. Os resultados obtidos mostram que os modelos YOLOv8-Nano e YOLOv8-Small se ajustaram melhor ao problema, que os modelos YOLOv8-Medium e YOLOv8-Large. Dentre todos os modelos, o YOLOv8-Small foi o que mais se destacou, obtendo um mAP50 de 0,903 para classe Sujeira, 0,755 para a classe Dano e 0,829 no total, com uma velocidade de 148 FPS. Para a segmentação, o SAM obteve um resultado satisfatório na segmentação dos danos e abaixo do esperado na segmentação das sujeiras. Desta forma, pode-se concluir que a metodologia proposta pode ser aplicada apenas para a detecção e segmentação de danos nas superfícies externas de aerogeradores, uma vez que para a classe sujeira, apenas a detecção se mostrou eficiente.The Brazilian wind sector is pivotal to the energy matrix and sustainable development, with an expected capacity of 44.78 GW by 2028. Significant challenges in operation and maintenance necessitate advanced monitoring and analysis technologies to optimize energy efficiency and maintain sustainability. In this context, the application of sophisticated computer vision techniques, such as the "You Only Look Once" (YOLO) and "Segment Anything Model" (SAM), presents a promising solution for the automatic, real-time detection and segmentation of damage and dirt on the external surfaces of wind turbines, using high-resolution images captured by UAVs. Therefore, this study aims to propose a methodology based on computer vision, through the training and validation of four architectures of the YOLOv8 model, for real-time detection of dirt and damage, and the application of the SAM model for the segmentation of images annotated by the best-performing YOLOv8 model, using the Python language, Google Colaboratory development environment, and Roboflow image pre-processing tool. The YOLOv8 model architectures were trained using the YOLO Annotated Wind Turbine Surface Damage dataset. The results show that the YOLOv8-Nano and YOLOv8-Small models were better suited to the problem than the YOLOv8-Medium and YOLOv8-Large models. Among them, the YOLOv8-Small model stood out, achieving a mAP50 of 0.903 for the Dirt class, 0.755 for the Damage class, and 0.829 overall, with a speed of 148 FPS. For segmentation, SAM achieved satisfactory results in damage segmentation and below-expected results in dirt segmentation. Thus, it can be concluded that the proposed methodology can be applied only for the detection and segmentation of damage on external surfaces of wind turbines, as for the dirt class, only detection proved efficient.Universidade Federal do Rio Grande do NorteBacharelado em Engenharia ElétricaUFRNBrasilDepartamento de Engenharia ElétricaAttribution 3.0 Brazilhttp://creativecommons.org/licenses/by/3.0/br/info:eu-repo/semantics/openAccessCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAManutenção em aerogeradoresVisão ComputacionalYou Only Look OnceSegment Anything ModelDetecção de objetosSegmentação de objetosMetodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em AerogeradoresAI and Computer Vision-Based Methodology for Detection and Analysis of Damage in Wind Turbinesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8914https://repositorio.ufrn.br/bitstream/123456789/55910/2/license_rdf4d2950bda3d176f570a9f8b328dfbbefMD52ORIGINALTCC_LucasTorresMarques_Catalogado.pdfTCC_LucasTorresMarques_Catalogado.pdfTCC sem as assinaturas e com a ficha catalográficaapplication/pdf24670359https://repositorio.ufrn.br/bitstream/123456789/55910/6/TCC_LucasTorresMarques_Catalogado.pdf340fcae54524ecb4a5cf980ac439b8b6MD56LICENSElicense.txtlicense.txttext/plain; charset=utf-81484https://repositorio.ufrn.br/bitstream/123456789/55910/7/license.txte9597aa2854d128fd968be5edc8a28d9MD57123456789/559102023-12-14 08:55:24.258oai:https://repositorio.ufrn.br:123456789/55910Tk9OLUVYQ0xVU0lWRSBESVNUUklCVVRJT04gTElDRU5TRQoKCkJ5IHNpZ25pbmcgYW5kIGRlbGl2ZXJpbmcgdGhpcyBsaWNlbnNlLCBNci4gKGF1dGhvciBvciBjb3B5cmlnaHQgaG9sZGVyKToKCgphKSBHcmFudHMgdGhlIFVuaXZlcnNpZGFkZSBGZWRlcmFsIFJpbyBHcmFuZGUgZG8gTm9ydGUgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgb2YKcmVwcm9kdWNlLCBjb252ZXJ0IChhcyBkZWZpbmVkIGJlbG93KSwgY29tbXVuaWNhdGUgYW5kIC8gb3IKZGlzdHJpYnV0ZSB0aGUgZGVsaXZlcmVkIGRvY3VtZW50IChpbmNsdWRpbmcgYWJzdHJhY3QgLyBhYnN0cmFjdCkgaW4KZGlnaXRhbCBvciBwcmludGVkIGZvcm1hdCBhbmQgaW4gYW55IG1lZGl1bS4KCmIpIERlY2xhcmVzIHRoYXQgdGhlIGRvY3VtZW50IHN1Ym1pdHRlZCBpcyBpdHMgb3JpZ2luYWwgd29yaywgYW5kIHRoYXQKeW91IGhhdmUgdGhlIHJpZ2h0IHRvIGdyYW50IHRoZSByaWdodHMgY29udGFpbmVkIGluIHRoaXMgbGljZW5zZS4gRGVjbGFyZXMKdGhhdCB0aGUgZGVsaXZlcnkgb2YgdGhlIGRvY3VtZW50IGRvZXMgbm90IGluZnJpbmdlLCBhcyBmYXIgYXMgaXQgaXMKdGhlIHJpZ2h0cyBvZiBhbnkgb3RoZXIgcGVyc29uIG9yIGVudGl0eS4KCmMpIElmIHRoZSBkb2N1bWVudCBkZWxpdmVyZWQgY29udGFpbnMgbWF0ZXJpYWwgd2hpY2ggZG9lcyBub3QKcmlnaHRzLCBkZWNsYXJlcyB0aGF0IGl0IGhhcyBvYnRhaW5lZCBhdXRob3JpemF0aW9uIGZyb20gdGhlIGhvbGRlciBvZiB0aGUKY29weXJpZ2h0IHRvIGdyYW50IHRoZSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkbyBSaW8gR3JhbmRlIGRvIE5vcnRlIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdCB0aGlzIG1hdGVyaWFsIHdob3NlIHJpZ2h0cyBhcmUgb2YKdGhpcmQgcGFydGllcyBpcyBjbGVhcmx5IGlkZW50aWZpZWQgYW5kIHJlY29nbml6ZWQgaW4gdGhlIHRleHQgb3IKY29udGVudCBvZiB0aGUgZG9jdW1lbnQgZGVsaXZlcmVkLgoKSWYgdGhlIGRvY3VtZW50IHN1Ym1pdHRlZCBpcyBiYXNlZCBvbiBmdW5kZWQgb3Igc3VwcG9ydGVkIHdvcmsKYnkgYW5vdGhlciBpbnN0aXR1dGlvbiBvdGhlciB0aGFuIHRoZSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkbyBSaW8gR3JhbmRlIGRvIE5vcnRlLCBkZWNsYXJlcyB0aGF0IGl0IGhhcyBmdWxmaWxsZWQgYW55IG9ibGlnYXRpb25zIHJlcXVpcmVkIGJ5IHRoZSByZXNwZWN0aXZlIGFncmVlbWVudCBvciBhZ3JlZW1lbnQuCgpUaGUgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZG8gUmlvIEdyYW5kZSBkbyBOb3J0ZSB3aWxsIGNsZWFybHkgaWRlbnRpZnkgaXRzIG5hbWUgKHMpIGFzIHRoZSBhdXRob3IgKHMpIG9yIGhvbGRlciAocykgb2YgdGhlIGRvY3VtZW50J3MgcmlnaHRzCmRlbGl2ZXJlZCwgYW5kIHdpbGwgbm90IG1ha2UgYW55IGNoYW5nZXMsIG90aGVyIHRoYW4gdGhvc2UgcGVybWl0dGVkIGJ5CnRoaXMgbGljZW5zZQo=Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2023-12-14T11:55:24Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false
dc.title.pt_BR.fl_str_mv Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores
dc.title.alternative.pt_BR.fl_str_mv AI and Computer Vision-Based Methodology for Detection and Analysis of Damage in Wind Turbines
title Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores
spellingShingle Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores
Marques, Lucas Torres
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Manutenção em aerogeradores
Visão Computacional
You Only Look Once
Segment Anything Model
Detecção de objetos
Segmentação de objetos
title_short Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores
title_full Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores
title_fullStr Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores
title_full_unstemmed Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores
title_sort Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores
author Marques, Lucas Torres
author_facet Marques, Lucas Torres
author_role author
dc.contributor.authorID.pt_BR.fl_str_mv 0000-0003-2749-1885
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/0281845604882859
dc.contributor.advisorID.pt_BR.fl_str_mv 0000-0002-0116-6489
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/3608440944832201
dc.contributor.referees1.none.fl_str_mv Oliveira, Luiz Affonso Henderson Guedes de
dc.contributor.referees1ID.pt_BR.fl_str_mv 0000-0003-2690-1563
dc.contributor.referees1Lattes.pt_BR.fl_str_mv http://lattes.cnpq.br/7987212907837941
dc.contributor.referees2.none.fl_str_mv Viegas, Carlos Manuel Dias
dc.contributor.referees2ID.pt_BR.fl_str_mv 0000-0001-5061-7242
dc.contributor.referees2Lattes.pt_BR.fl_str_mv http://lattes.cnpq.br/3134700668982522
dc.contributor.author.fl_str_mv Marques, Lucas Torres
dc.contributor.advisor1.fl_str_mv Silva, Ivanovitch Medeiros Dantas da Silva
contributor_str_mv Silva, Ivanovitch Medeiros Dantas da Silva
dc.subject.cnpq.fl_str_mv CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
topic CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Manutenção em aerogeradores
Visão Computacional
You Only Look Once
Segment Anything Model
Detecção de objetos
Segmentação de objetos
dc.subject.por.fl_str_mv Manutenção em aerogeradores
Visão Computacional
You Only Look Once
Segment Anything Model
Detecção de objetos
Segmentação de objetos
description O setor eólico brasileiro é vital para a matriz energética e o desenvolvimento sustentável, com a previsão de alcançar 44,78 GW de capacidade instalada até 2028. Desafios significativos na operação e manutenção exigem tecnologias avançadas de monitoramento e análise para otimizar a eficiência energética e manter a sustentabilidade. Neste contexto, a aplicação de técnicas avançadas de visão computacional, como os modelos You Only Look Once (YOLO) e Segment Anything Model (SAM), oferece uma solução promissora para detecção automática e em tempo real, e segmentação de danos e sujeiras nas superfícies externas dos aerogeradores, através de imagens de alta resolução retiradas por VANTs. Dito isto, este trabalho tem como objetivo propor uma metodologia baseada em visão computacional, através do treinamento e validação de quatro arquiteturas do modelo YOLOv8, para a detecção de sujeiras e danos em tempo real, e a aplicação do modelo SAM para a segmentação das imagens anotadas pelo melhor modelo YOLOv8, utilizando-se da linguagem Python, do ambiente de desenvolvimento do Google Colaboratory e a ferramenta de pré-processamento de imagens Roboflow. As arquiteturas do modelo YOLOv8 foram treinadas em cima do conjunto de dados YOLO Annotated Wind Turbine Surface Damage. Os resultados obtidos mostram que os modelos YOLOv8-Nano e YOLOv8-Small se ajustaram melhor ao problema, que os modelos YOLOv8-Medium e YOLOv8-Large. Dentre todos os modelos, o YOLOv8-Small foi o que mais se destacou, obtendo um mAP50 de 0,903 para classe Sujeira, 0,755 para a classe Dano e 0,829 no total, com uma velocidade de 148 FPS. Para a segmentação, o SAM obteve um resultado satisfatório na segmentação dos danos e abaixo do esperado na segmentação das sujeiras. Desta forma, pode-se concluir que a metodologia proposta pode ser aplicada apenas para a detecção e segmentação de danos nas superfícies externas de aerogeradores, uma vez que para a classe sujeira, apenas a detecção se mostrou eficiente.
publishDate 2023
dc.date.accessioned.fl_str_mv 2023-12-14T11:55:24Z
dc.date.available.fl_str_mv 2023-12-14T11:55:24Z
dc.date.issued.fl_str_mv 2023-12-06
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv MARQUES, Lucas Torres. Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores. 2023. 83 f. Trabalho de Conclusão de Curso (Bacharelado em Engenharia Elétrica) - Departamento de Engenharia Elétrica, Universidade Federal do Rio Grande do Norte, Natal, 2023.
dc.identifier.uri.fl_str_mv https://repositorio.ufrn.br/handle/123456789/55910
identifier_str_mv MARQUES, Lucas Torres. Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores. 2023. 83 f. Trabalho de Conclusão de Curso (Bacharelado em Engenharia Elétrica) - Departamento de Engenharia Elétrica, Universidade Federal do Rio Grande do Norte, Natal, 2023.
url https://repositorio.ufrn.br/handle/123456789/55910
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution 3.0 Brazil
http://creativecommons.org/licenses/by/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution 3.0 Brazil
http://creativecommons.org/licenses/by/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
dc.publisher.program.fl_str_mv Bacharelado em Engenharia Elétrica
dc.publisher.initials.fl_str_mv UFRN
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Departamento de Engenharia Elétrica
publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRN
instname:Universidade Federal do Rio Grande do Norte (UFRN)
instacron:UFRN
instname_str Universidade Federal do Rio Grande do Norte (UFRN)
instacron_str UFRN
institution UFRN
reponame_str Repositório Institucional da UFRN
collection Repositório Institucional da UFRN
bitstream.url.fl_str_mv https://repositorio.ufrn.br/bitstream/123456789/55910/2/license_rdf
https://repositorio.ufrn.br/bitstream/123456789/55910/6/TCC_LucasTorresMarques_Catalogado.pdf
https://repositorio.ufrn.br/bitstream/123456789/55910/7/license.txt
bitstream.checksum.fl_str_mv 4d2950bda3d176f570a9f8b328dfbbef
340fcae54524ecb4a5cf980ac439b8b6
e9597aa2854d128fd968be5edc8a28d9
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)
repository.mail.fl_str_mv
_version_ 1814832720838131712