Sistemas de segurança Plug & Play para equipamentos de Grab and Go

• Autor(a) principal: Carreirinha, Sérgio Filipe
• Data de Publicação: 2023
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10400.22/24316
• topic: Suspect Detection System; Facial Expression Classification; Object Classification; Action Classification; Convolutional Neural Network; Deep Learning; Domínio/Área Científica::Engenharia e Tecnologia

A indústria das máquinas de venda automática é um importante contribuinte para a economia global, sendo um setor com um crescimento notável devido à crescente procura por opções convenientes de autoatendimento e de avanços tecnológicos, como sistemas de pagamento sem dinheiro e máquinas de venda automática inteligentes. Apesar de serem projetadas com características antirroubo, o roubo destas máquinas é uma ocorrência frequente, deixando os proprietários com elevadas despesas. Considerando a relevância da indústria de máquinas de venda automática e os desafios de segurança enfrentados, foi tomada a decisão de desenvolver um sistema capaz de identificar características físicas e emocionais de potenciais ladrões, com o objetivo de criar um detetor de atividades suspeitas. Este sistema visa fornecer uma camada adicional de proteção e mitigação de roubos nas máquinas de venda automática da Reckon.ai, mas pode ser utilizado em qualquer propriedade, reduzindo as despesas e prejuízos enfrentados pelos seus proprietários. A solução proposta divide-se em três blocos fundamentais, cada um dedicado a uma tarefa específica. O primeiro consiste numa neural network dedicada à identificação de expressões faciais, o segundo foca-se no reconhecimento de objetos, e o terceiro aborda a deteção de ações agressivas. A aplicação consiste em captar imagens em tempo real a partir da webcam, verificar se existe movimento e rostos no frame, extrair o rosto do utilizador, classificar qual a expressão facial que este manifesta, identificar objetos que representem perigo e classificar a ação. Por fim, o sistema analisa as respostas dos três classificadores, identificando se o indivíduo presente em cena é ou não suspeito. Foram empregues diversos métodos e conduzidas várias experiências com o intuito de otimizar o desempenho dos modelos. Estas abordagens incluíram o ajuste dos hiperparâmetros, a análise dos resultados de várias vertentes da arquitetura e a exploração de diferentes arquiteturas. Também é feita uma comparação entre as experiências desenvolvidas com outros trabalhos que tenham o mesmo objetivo. O sistema final foi testado com um dataset de 200 vídeos e teve como resultado 127 avaliações corretas num total de 150 para suspeitos e 39 avaliações corretas num total de 50 para não suspeitos, representando isto uma accuracy de 0,83.