Sistema de perceção visual com recurso a tecnologia de smartphones

• Autor(a) principal: Pereira, Sara Raquel Monteiro da Silva
• Data de Publicação: 2023
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10400.22/24001
• topic: deep learning; visão por computador; dataset; robótica na agricultura; deteção de frutos; aplicação móvel; inferência; redes neuronais; android; Domínio/Área Científica::Engenharia e Tecnologia

Na presente dissertação, desenvolvida no INESC TEC (Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência) nos laboratórios do CRIIS (Center for Robotics in Industry and Intelligent Systems), pretende-se explorar a capacidade de modelos deep learning no ambiente Android, através da comparação e avaliação de modelos YOLOv5 (YOLOv5s e YOLOv5n), YOLOv8 e Single Shot Multibox De tector (SSD) MobileNetv2. Este tópico encontra-se inserido no desenvolvimento do projeto Orioos – Solução robótica autónoma de baixo custo para a monitorização e a fenotipagem de culturas permanentes. Este consiste num robô em que o sistema de visão e perceção do ambiente é exclusivo a uma aplicação Android. Além de reduzir significativamente o custo do robô, esta abordagem permite uma reutilização/reciclagem de smartphones mais antigos. Para o treino dos modelos foram utilizados 2 datasets de uvas e troncos de videira, disponíveis online, e foi criado um dataset de QR codes envolvidos na vinha. Como resultado dos treinos, utilizou-se a ferramenta FittyOne e um dataset de teste com imagens que os modelos nunca analisaram, de modo a comparar os resultados de ground truth com deteções efetuadas por cada modelo com uma confiança igual ou superior a 25 %. Verificou-se que os modelos YOLOv5n, YOLOv5s e YO LOv8n destacaram-se com os resultados mais positivos. A deteção de QR codes apresentou valores mais elevados de precisão, seguida da identificação de uvas. Na deteção de troncos, os modelos obtiveram valores menos positivos, sendo que o valor mais elevado de F1 score foi de 23 %. De todos os modelos, o modelo SSD MobineNetv2 apresentou, nas deteções de uvas e de troncos, resultados menos satisfatórios. Relativamente ao tempo de processamento no CPU de um computador, os modelos SSD MobineNetv2, YOLOv5n, YOLOV5s e YOLOv8n destacaram-se com valores inferiores a 600 milissegundos. Após a análise num computador, foram realizados 3 testes de campo para avaliar os modelos YOLOv5s, YOLOv5n e SSD MobineNetv2 num smartphone. Os modelos YOLO destacaram-se com o maior número de deteções correctas e as mais elevadas precisões. Na mesma área de análise, o modelo SSD MobineNetv2 necessitou de uma maior proximidade do objeto para que este fosse detectado. Posteriormente, foram analisados os tempos de processamento no CPU de um smartphone e verificou-se que os valores mais baixos são do modelo SSD MobineNetv2. Este modelo revelou-se 33 % mais rápido do que o modelo YOLOv5n, o modelo mais rápido da rede YOLO.O modelo YOLOv5s, apesar de ter mais precisão na deteção, tem um tempo de inferência mais longo, pelo que não consegue acompanhar as mudanças de perspetiva. Para a aplicação Orioos, foi adicionada a capacidade de descodificar os QR codes quando estes são detetados por uma rede neural. A identificação e descodificação de QR Codes permitirá ao robô ter informação externa, como a informação da docking station mais próxima, ou a localização precisa do local, de forma a eliminar erros incrementais que existem na navegação autónoma.