Deep learning for bin picking object segmentation

• Autor(a) principal: Cordeiro, Artur José Vilares
• Data de Publicação: 2022
• Tipo de documento: Dissertação
• Idioma: eng
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10400.22/20989
• topic: Bin picking; Deep learning; Mask-RCNN; Grasping; ROS; Redes neuronais; Inteligência artificial; Artificial Intelligence; Neural networks

Bin picking tendo como base técnicas de deep learning é uma tecnologia que adota um conceito recente para melhorar as abordagens padrões utilizando redes neuronais. Estas abordagens estão cada vez mais a ser aplicadas em áreas bin picking devido ao potencial das técnicas de deep learning para melhorar a inteligência e as capacidades de aprendizagem de robôs. Esta dissertação propõe uma técnica robusta e precisa para diversos objectos a granel usados em bin picking, aplicando uma framework com configuração fácil de ajustar de acordo com o objetivo e objetos pretendido. A framework é implementada em Robot Operating System (ROS) e é dividida em dois sistemas, de deteção e segmentação. O sistema de deteção recorre à rede neuronal de segmentação de instâncias Mask-RCNN para estimar as diversas máscaras, identificando e segmentando diversos objetos através de uma imagem de duas dimensões (2D) em tons de cinza. O sistema de segmentação utiliza como base point cloud library (PCL), manipulando informação de 3D point clouds conforme os resultados da deteção para selecionar os pontos específicos da point cloud original, gerando uma point cloud parcial como resultado. Além disso para completar o sistema de bin picking são implementadas abordagens de estimação de posição e localização baseado em algoritmos de correspondência, como Iterative Closest Point (ICP), assim como estimação de grasp. A implementação da deteção e segmentação foi testada em vários datasets para os dois objetos propostos (90º tubo em cotovelo e suporte de parede triangular) utilizando um Photoneo PhoXi S 3D scanner (sensor RGB-D), e um computador composto por um processador Ryzen 5 5600x, placa gráfica Gtx 1060 6GB e memória 32GB DDR4, exibindo uma precisão de 80%, recall de 92.25%, Intersection Over Union (IOU) de 89% e pontuação F1 de 89%. Executando o processo de deteção e segmentação, este consome entre 0.52 segundos e 0.85 segundos. A implementação completa foi realizada num robô industrial com um manipulador UR10, uma plataforma móvel e o mesmo sensor RGB-D, e esta incluí estimação de posição, localização e de ”grasping” para além da framework explicada de deteção e segmentação. A precisão observada e a capacidade de detetar objetos a granel em diversos ambientes desordenados possibilita a implementação do sistema em ambientes diversificados propícios para bin picking, ambientes quais são bastante observado em cenários de indústria, permitindo assim a deteção de diferentes objetos através de modelos específicos Mask-RCNN previamente treinados.