Classificação e rastreamento de itens em uma esteira móvel utilizando redes convolucionais e processamento de imagens

• Autor(a) principal: Góes, Angelo Leite Medeiros de
• Data de Publicação: 2022
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFRN
• Texto Completo: https://repositorio.ufrn.br/handle/123456789/50678
• topic: Inteligência artificial; Deep learning; YOLO; OpenCV; Unity; Dados sintéticos

Dada a gradual prosperidade do mundo moderno, vê-se uma crescente necessidade na redução do tempo gasto com atividades triviais. No contexto de idas aos supermercados, estudos recentes apontam que um dos fatores mais relevantes na experiência de compra, que reflete nas vendas e faturamento, é o tempo gasto nas filas. O trabalho em questão visa descrever a criação de um protótipo de visão computacional e deep learning, a ser instalado junto a uma câmera suspensa sobre uma esteira móvel de supermercado. Este será responsável por detectar, classificar, rastrear o movimento e contar todos os itens que passam. O stream de vídeo é processado em tempo real, e ao detectar a passagem de um item específico a conta final da compra é incrementada. Como não haveria interferência humana, o processo tende a simplificar, baratear e agilizar caixas de supermercado. Dentre as tecnologias exploradas está a de redes neurais convolucionais “estado da arte”, em especial a You Only Look Once (YOLO) v4 tiny e a YOLO v5 small, bem como algumas mais consolidadas no mercado como OpenCV para o processamento de imagens ou Roboflow para expansão da base de dados. Ao final do experimento foi possível desenvolver um modelo que contava com até 77% de precisão média (mAP@[0.5:0.95]) para dois itens em uma esteira, usando um modelo treinado em um dataset híbrido, composto de imagens coletadas in vitro e imagens geradas por meio de um simulador, além disso uma interface gráfica responsável pela visualização do feed de video processado, que possibilita também manipulação de hiperparâmetros da CNN, do rastreador e do contador de itens.