Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFRN |
Texto Completo: | https://repositorio.ufrn.br/handle/123456789/55910 |
Resumo: | O setor eólico brasileiro é vital para a matriz energética e o desenvolvimento sustentável, com a previsão de alcançar 44,78 GW de capacidade instalada até 2028. Desafios significativos na operação e manutenção exigem tecnologias avançadas de monitoramento e análise para otimizar a eficiência energética e manter a sustentabilidade. Neste contexto, a aplicação de técnicas avançadas de visão computacional, como os modelos You Only Look Once (YOLO) e Segment Anything Model (SAM), oferece uma solução promissora para detecção automática e em tempo real, e segmentação de danos e sujeiras nas superfícies externas dos aerogeradores, através de imagens de alta resolução retiradas por VANTs. Dito isto, este trabalho tem como objetivo propor uma metodologia baseada em visão computacional, através do treinamento e validação de quatro arquiteturas do modelo YOLOv8, para a detecção de sujeiras e danos em tempo real, e a aplicação do modelo SAM para a segmentação das imagens anotadas pelo melhor modelo YOLOv8, utilizando-se da linguagem Python, do ambiente de desenvolvimento do Google Colaboratory e a ferramenta de pré-processamento de imagens Roboflow. As arquiteturas do modelo YOLOv8 foram treinadas em cima do conjunto de dados YOLO Annotated Wind Turbine Surface Damage. Os resultados obtidos mostram que os modelos YOLOv8-Nano e YOLOv8-Small se ajustaram melhor ao problema, que os modelos YOLOv8-Medium e YOLOv8-Large. Dentre todos os modelos, o YOLOv8-Small foi o que mais se destacou, obtendo um mAP50 de 0,903 para classe Sujeira, 0,755 para a classe Dano e 0,829 no total, com uma velocidade de 148 FPS. Para a segmentação, o SAM obteve um resultado satisfatório na segmentação dos danos e abaixo do esperado na segmentação das sujeiras. Desta forma, pode-se concluir que a metodologia proposta pode ser aplicada apenas para a detecção e segmentação de danos nas superfícies externas de aerogeradores, uma vez que para a classe sujeira, apenas a detecção se mostrou eficiente. |
id |
UFRN_748cad688636babf49a1457093b95a22 |
---|---|
oai_identifier_str |
oai:https://repositorio.ufrn.br:123456789/55910 |
network_acronym_str |
UFRN |
network_name_str |
Repositório Institucional da UFRN |
repository_id_str |
|
spelling |
Marques, Lucas Torres0000-0003-2749-1885http://lattes.cnpq.br/02818456048828590000-0002-0116-6489http://lattes.cnpq.br/3608440944832201Oliveira, Luiz Affonso Henderson Guedes de0000-0003-2690-1563http://lattes.cnpq.br/7987212907837941Viegas, Carlos Manuel Dias0000-0001-5061-7242http://lattes.cnpq.br/3134700668982522Silva, Ivanovitch Medeiros Dantas da Silva2023-12-14T11:55:24Z2023-12-14T11:55:24Z2023-12-06MARQUES, Lucas Torres. Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores. 2023. 83 f. Trabalho de Conclusão de Curso (Bacharelado em Engenharia Elétrica) - Departamento de Engenharia Elétrica, Universidade Federal do Rio Grande do Norte, Natal, 2023.https://repositorio.ufrn.br/handle/123456789/55910O setor eólico brasileiro é vital para a matriz energética e o desenvolvimento sustentável, com a previsão de alcançar 44,78 GW de capacidade instalada até 2028. Desafios significativos na operação e manutenção exigem tecnologias avançadas de monitoramento e análise para otimizar a eficiência energética e manter a sustentabilidade. Neste contexto, a aplicação de técnicas avançadas de visão computacional, como os modelos You Only Look Once (YOLO) e Segment Anything Model (SAM), oferece uma solução promissora para detecção automática e em tempo real, e segmentação de danos e sujeiras nas superfícies externas dos aerogeradores, através de imagens de alta resolução retiradas por VANTs. Dito isto, este trabalho tem como objetivo propor uma metodologia baseada em visão computacional, através do treinamento e validação de quatro arquiteturas do modelo YOLOv8, para a detecção de sujeiras e danos em tempo real, e a aplicação do modelo SAM para a segmentação das imagens anotadas pelo melhor modelo YOLOv8, utilizando-se da linguagem Python, do ambiente de desenvolvimento do Google Colaboratory e a ferramenta de pré-processamento de imagens Roboflow. As arquiteturas do modelo YOLOv8 foram treinadas em cima do conjunto de dados YOLO Annotated Wind Turbine Surface Damage. Os resultados obtidos mostram que os modelos YOLOv8-Nano e YOLOv8-Small se ajustaram melhor ao problema, que os modelos YOLOv8-Medium e YOLOv8-Large. Dentre todos os modelos, o YOLOv8-Small foi o que mais se destacou, obtendo um mAP50 de 0,903 para classe Sujeira, 0,755 para a classe Dano e 0,829 no total, com uma velocidade de 148 FPS. Para a segmentação, o SAM obteve um resultado satisfatório na segmentação dos danos e abaixo do esperado na segmentação das sujeiras. Desta forma, pode-se concluir que a metodologia proposta pode ser aplicada apenas para a detecção e segmentação de danos nas superfícies externas de aerogeradores, uma vez que para a classe sujeira, apenas a detecção se mostrou eficiente.The Brazilian wind sector is pivotal to the energy matrix and sustainable development, with an expected capacity of 44.78 GW by 2028. Significant challenges in operation and maintenance necessitate advanced monitoring and analysis technologies to optimize energy efficiency and maintain sustainability. In this context, the application of sophisticated computer vision techniques, such as the "You Only Look Once" (YOLO) and "Segment Anything Model" (SAM), presents a promising solution for the automatic, real-time detection and segmentation of damage and dirt on the external surfaces of wind turbines, using high-resolution images captured by UAVs. Therefore, this study aims to propose a methodology based on computer vision, through the training and validation of four architectures of the YOLOv8 model, for real-time detection of dirt and damage, and the application of the SAM model for the segmentation of images annotated by the best-performing YOLOv8 model, using the Python language, Google Colaboratory development environment, and Roboflow image pre-processing tool. The YOLOv8 model architectures were trained using the YOLO Annotated Wind Turbine Surface Damage dataset. The results show that the YOLOv8-Nano and YOLOv8-Small models were better suited to the problem than the YOLOv8-Medium and YOLOv8-Large models. Among them, the YOLOv8-Small model stood out, achieving a mAP50 of 0.903 for the Dirt class, 0.755 for the Damage class, and 0.829 overall, with a speed of 148 FPS. For segmentation, SAM achieved satisfactory results in damage segmentation and below-expected results in dirt segmentation. Thus, it can be concluded that the proposed methodology can be applied only for the detection and segmentation of damage on external surfaces of wind turbines, as for the dirt class, only detection proved efficient.Universidade Federal do Rio Grande do NorteBacharelado em Engenharia ElétricaUFRNBrasilDepartamento de Engenharia ElétricaAttribution 3.0 Brazilhttp://creativecommons.org/licenses/by/3.0/br/info:eu-repo/semantics/openAccessCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAManutenção em aerogeradoresVisão ComputacionalYou Only Look OnceSegment Anything ModelDetecção de objetosSegmentação de objetosMetodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em AerogeradoresAI and Computer Vision-Based Methodology for Detection and Analysis of Damage in Wind Turbinesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8914https://repositorio.ufrn.br/bitstream/123456789/55910/2/license_rdf4d2950bda3d176f570a9f8b328dfbbefMD52ORIGINALTCC_LucasTorresMarques_Catalogado.pdfTCC_LucasTorresMarques_Catalogado.pdfTCC sem as assinaturas e com a ficha catalográficaapplication/pdf24670359https://repositorio.ufrn.br/bitstream/123456789/55910/6/TCC_LucasTorresMarques_Catalogado.pdf340fcae54524ecb4a5cf980ac439b8b6MD56LICENSElicense.txtlicense.txttext/plain; charset=utf-81484https://repositorio.ufrn.br/bitstream/123456789/55910/7/license.txte9597aa2854d128fd968be5edc8a28d9MD57123456789/559102023-12-14 08:55:24.258oai:https://repositorio.ufrn.br:123456789/55910Tk9OLUVYQ0xVU0lWRSBESVNUUklCVVRJT04gTElDRU5TRQoKCkJ5IHNpZ25pbmcgYW5kIGRlbGl2ZXJpbmcgdGhpcyBsaWNlbnNlLCBNci4gKGF1dGhvciBvciBjb3B5cmlnaHQgaG9sZGVyKToKCgphKSBHcmFudHMgdGhlIFVuaXZlcnNpZGFkZSBGZWRlcmFsIFJpbyBHcmFuZGUgZG8gTm9ydGUgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgb2YKcmVwcm9kdWNlLCBjb252ZXJ0IChhcyBkZWZpbmVkIGJlbG93KSwgY29tbXVuaWNhdGUgYW5kIC8gb3IKZGlzdHJpYnV0ZSB0aGUgZGVsaXZlcmVkIGRvY3VtZW50IChpbmNsdWRpbmcgYWJzdHJhY3QgLyBhYnN0cmFjdCkgaW4KZGlnaXRhbCBvciBwcmludGVkIGZvcm1hdCBhbmQgaW4gYW55IG1lZGl1bS4KCmIpIERlY2xhcmVzIHRoYXQgdGhlIGRvY3VtZW50IHN1Ym1pdHRlZCBpcyBpdHMgb3JpZ2luYWwgd29yaywgYW5kIHRoYXQKeW91IGhhdmUgdGhlIHJpZ2h0IHRvIGdyYW50IHRoZSByaWdodHMgY29udGFpbmVkIGluIHRoaXMgbGljZW5zZS4gRGVjbGFyZXMKdGhhdCB0aGUgZGVsaXZlcnkgb2YgdGhlIGRvY3VtZW50IGRvZXMgbm90IGluZnJpbmdlLCBhcyBmYXIgYXMgaXQgaXMKdGhlIHJpZ2h0cyBvZiBhbnkgb3RoZXIgcGVyc29uIG9yIGVudGl0eS4KCmMpIElmIHRoZSBkb2N1bWVudCBkZWxpdmVyZWQgY29udGFpbnMgbWF0ZXJpYWwgd2hpY2ggZG9lcyBub3QKcmlnaHRzLCBkZWNsYXJlcyB0aGF0IGl0IGhhcyBvYnRhaW5lZCBhdXRob3JpemF0aW9uIGZyb20gdGhlIGhvbGRlciBvZiB0aGUKY29weXJpZ2h0IHRvIGdyYW50IHRoZSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkbyBSaW8gR3JhbmRlIGRvIE5vcnRlIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdCB0aGlzIG1hdGVyaWFsIHdob3NlIHJpZ2h0cyBhcmUgb2YKdGhpcmQgcGFydGllcyBpcyBjbGVhcmx5IGlkZW50aWZpZWQgYW5kIHJlY29nbml6ZWQgaW4gdGhlIHRleHQgb3IKY29udGVudCBvZiB0aGUgZG9jdW1lbnQgZGVsaXZlcmVkLgoKSWYgdGhlIGRvY3VtZW50IHN1Ym1pdHRlZCBpcyBiYXNlZCBvbiBmdW5kZWQgb3Igc3VwcG9ydGVkIHdvcmsKYnkgYW5vdGhlciBpbnN0aXR1dGlvbiBvdGhlciB0aGFuIHRoZSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkbyBSaW8gR3JhbmRlIGRvIE5vcnRlLCBkZWNsYXJlcyB0aGF0IGl0IGhhcyBmdWxmaWxsZWQgYW55IG9ibGlnYXRpb25zIHJlcXVpcmVkIGJ5IHRoZSByZXNwZWN0aXZlIGFncmVlbWVudCBvciBhZ3JlZW1lbnQuCgpUaGUgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZG8gUmlvIEdyYW5kZSBkbyBOb3J0ZSB3aWxsIGNsZWFybHkgaWRlbnRpZnkgaXRzIG5hbWUgKHMpIGFzIHRoZSBhdXRob3IgKHMpIG9yIGhvbGRlciAocykgb2YgdGhlIGRvY3VtZW50J3MgcmlnaHRzCmRlbGl2ZXJlZCwgYW5kIHdpbGwgbm90IG1ha2UgYW55IGNoYW5nZXMsIG90aGVyIHRoYW4gdGhvc2UgcGVybWl0dGVkIGJ5CnRoaXMgbGljZW5zZQo=Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2023-12-14T11:55:24Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false |
dc.title.pt_BR.fl_str_mv |
Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores |
dc.title.alternative.pt_BR.fl_str_mv |
AI and Computer Vision-Based Methodology for Detection and Analysis of Damage in Wind Turbines |
title |
Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores |
spellingShingle |
Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores Marques, Lucas Torres CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Manutenção em aerogeradores Visão Computacional You Only Look Once Segment Anything Model Detecção de objetos Segmentação de objetos |
title_short |
Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores |
title_full |
Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores |
title_fullStr |
Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores |
title_full_unstemmed |
Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores |
title_sort |
Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores |
author |
Marques, Lucas Torres |
author_facet |
Marques, Lucas Torres |
author_role |
author |
dc.contributor.authorID.pt_BR.fl_str_mv |
0000-0003-2749-1885 |
dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/0281845604882859 |
dc.contributor.advisorID.pt_BR.fl_str_mv |
0000-0002-0116-6489 |
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/3608440944832201 |
dc.contributor.referees1.none.fl_str_mv |
Oliveira, Luiz Affonso Henderson Guedes de |
dc.contributor.referees1ID.pt_BR.fl_str_mv |
0000-0003-2690-1563 |
dc.contributor.referees1Lattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/7987212907837941 |
dc.contributor.referees2.none.fl_str_mv |
Viegas, Carlos Manuel Dias |
dc.contributor.referees2ID.pt_BR.fl_str_mv |
0000-0001-5061-7242 |
dc.contributor.referees2Lattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/3134700668982522 |
dc.contributor.author.fl_str_mv |
Marques, Lucas Torres |
dc.contributor.advisor1.fl_str_mv |
Silva, Ivanovitch Medeiros Dantas da Silva |
contributor_str_mv |
Silva, Ivanovitch Medeiros Dantas da Silva |
dc.subject.cnpq.fl_str_mv |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
topic |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Manutenção em aerogeradores Visão Computacional You Only Look Once Segment Anything Model Detecção de objetos Segmentação de objetos |
dc.subject.por.fl_str_mv |
Manutenção em aerogeradores Visão Computacional You Only Look Once Segment Anything Model Detecção de objetos Segmentação de objetos |
description |
O setor eólico brasileiro é vital para a matriz energética e o desenvolvimento sustentável, com a previsão de alcançar 44,78 GW de capacidade instalada até 2028. Desafios significativos na operação e manutenção exigem tecnologias avançadas de monitoramento e análise para otimizar a eficiência energética e manter a sustentabilidade. Neste contexto, a aplicação de técnicas avançadas de visão computacional, como os modelos You Only Look Once (YOLO) e Segment Anything Model (SAM), oferece uma solução promissora para detecção automática e em tempo real, e segmentação de danos e sujeiras nas superfícies externas dos aerogeradores, através de imagens de alta resolução retiradas por VANTs. Dito isto, este trabalho tem como objetivo propor uma metodologia baseada em visão computacional, através do treinamento e validação de quatro arquiteturas do modelo YOLOv8, para a detecção de sujeiras e danos em tempo real, e a aplicação do modelo SAM para a segmentação das imagens anotadas pelo melhor modelo YOLOv8, utilizando-se da linguagem Python, do ambiente de desenvolvimento do Google Colaboratory e a ferramenta de pré-processamento de imagens Roboflow. As arquiteturas do modelo YOLOv8 foram treinadas em cima do conjunto de dados YOLO Annotated Wind Turbine Surface Damage. Os resultados obtidos mostram que os modelos YOLOv8-Nano e YOLOv8-Small se ajustaram melhor ao problema, que os modelos YOLOv8-Medium e YOLOv8-Large. Dentre todos os modelos, o YOLOv8-Small foi o que mais se destacou, obtendo um mAP50 de 0,903 para classe Sujeira, 0,755 para a classe Dano e 0,829 no total, com uma velocidade de 148 FPS. Para a segmentação, o SAM obteve um resultado satisfatório na segmentação dos danos e abaixo do esperado na segmentação das sujeiras. Desta forma, pode-se concluir que a metodologia proposta pode ser aplicada apenas para a detecção e segmentação de danos nas superfícies externas de aerogeradores, uma vez que para a classe sujeira, apenas a detecção se mostrou eficiente. |
publishDate |
2023 |
dc.date.accessioned.fl_str_mv |
2023-12-14T11:55:24Z |
dc.date.available.fl_str_mv |
2023-12-14T11:55:24Z |
dc.date.issued.fl_str_mv |
2023-12-06 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
MARQUES, Lucas Torres. Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores. 2023. 83 f. Trabalho de Conclusão de Curso (Bacharelado em Engenharia Elétrica) - Departamento de Engenharia Elétrica, Universidade Federal do Rio Grande do Norte, Natal, 2023. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufrn.br/handle/123456789/55910 |
identifier_str_mv |
MARQUES, Lucas Torres. Metodologia Baseada em IA e Visão Computacional para Detecção e Análise de Danos em Aerogeradores. 2023. 83 f. Trabalho de Conclusão de Curso (Bacharelado em Engenharia Elétrica) - Departamento de Engenharia Elétrica, Universidade Federal do Rio Grande do Norte, Natal, 2023. |
url |
https://repositorio.ufrn.br/handle/123456789/55910 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
Attribution 3.0 Brazil http://creativecommons.org/licenses/by/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution 3.0 Brazil http://creativecommons.org/licenses/by/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal do Rio Grande do Norte |
dc.publisher.program.fl_str_mv |
Bacharelado em Engenharia Elétrica |
dc.publisher.initials.fl_str_mv |
UFRN |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Departamento de Engenharia Elétrica |
publisher.none.fl_str_mv |
Universidade Federal do Rio Grande do Norte |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRN instname:Universidade Federal do Rio Grande do Norte (UFRN) instacron:UFRN |
instname_str |
Universidade Federal do Rio Grande do Norte (UFRN) |
instacron_str |
UFRN |
institution |
UFRN |
reponame_str |
Repositório Institucional da UFRN |
collection |
Repositório Institucional da UFRN |
bitstream.url.fl_str_mv |
https://repositorio.ufrn.br/bitstream/123456789/55910/2/license_rdf https://repositorio.ufrn.br/bitstream/123456789/55910/6/TCC_LucasTorresMarques_Catalogado.pdf https://repositorio.ufrn.br/bitstream/123456789/55910/7/license.txt |
bitstream.checksum.fl_str_mv |
4d2950bda3d176f570a9f8b328dfbbef 340fcae54524ecb4a5cf980ac439b8b6 e9597aa2854d128fd968be5edc8a28d9 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN) |
repository.mail.fl_str_mv |
|
_version_ |
1814832720838131712 |