Interações gestuais para plataformas de streaming de vídeo

• Autor(a) principal: Teixeira, Francisco João Mendonça
• Data de Publicação: 2021
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10400.13/3845
• topic: Interação gestual; Deteção de objetos; Subtração do plano de fundo; Segmentação do primeiro plano; Rastreamento gestual; MediaPipe; Gestural interactions; Object detection; Background subtraction; Foreground segmentation; Hand tracking; Engenharia Informática; .; Faculdade de Ciências Exatas e da Engenharia; Domínio/Área Científica::Engenharia e Tecnologia

A popularidade do rato de computador como modo preferencial de interação com aplicações de computador é inigualável. Mesmo no tempo dos smartphones e tablets, que trouxeram ao público em geral inovações como o modo de controlo através do toque, não existe uma grande variedade nos modos de interação com os diversos dispositivos que usamos no quotidiano. Este trabalho propõe uma nova abordagem para controlo, à distância, de aplicações de streaming de vídeo. A aplicação desenvolvida nesta dissertação procura um meio mais natural de interação com este tipo de plataformas usando interações gestuais, captadas pela câmara de profundidade RealSense D435. Câmaras de profundidade, ao contrário de câmaras de vídeo comuns, utilizam um fluxo de luz infravermelha para determinar a distância dos objetos relativamente à câmara. A câmara utilizada neste projeto possui capacidades de captura tanto neste modo, como no modo comum RGB. Foi criada de raiz uma interface gráfica inspirada pela plataforma Netflix, para permitir o controlo dos seus botões e os vídeos reproduzidos, programaticamente. Foram desenvolvidos dois protótipos com tecnologias distintas para interagir com a interface. O primeiro, utiliza métodos de tratamento de imagem para retirar a informação pretendida, e um modelo pré-treinado de reconhecimento de gestos para identificar o gesto realizado. O segundo, integra um modelo de deteção e classificação de objetos otimizado para deteção e rastreamento de mãos entre frames. Foram feitas análises experimentais entre ambos e selecionado o segundo protótipo para prosseguir a testes com utilizadores. A aplicação foi testada por 11 participantes, num estudo que comparou os seus tempos de utilização da aplicação por meio de interações gestuais com os tempos de utilização com o rato de computador. O sistema mereceu, por parte dos participantes, uma pontuação SUS “aceitável”. Conclui-se que o sistema alcançou as expectativas iniciais, ainda que possua limitações aparentes que poderão ser mitigadas em iterações futuras.