Estudos para a detecção de eventos sonoros como comunicação de alertas para surdos

• Autor(a) principal: Silveira, Douglas Severo
• Data de Publicação: 2019
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da FURG (RI FURG)
• Texto Completo: http://repositorio.furg.br/handle/1/8085
• topic: Engenharia de computação; Surdez; Surdo; Alerta visual; Detecção de som; Eventos sonoros; Classificação; Computer engineering; Deafness; Deaf; Visual alert; Sound detection; Acoustic events; Classification

Com a evolução na área de tecnologia, soluções destinadas a pessoas com deficiência podem possibilitá-las viverem com maior independência, segurança e conectividade com o resto do mundo. Alguns eventos emitem sinais característicos que podem ser interpretados, por exemplo, como a ocorrência de uma situação de perigo. Os surdos, por não receberem os sinais sonoros, seguidamente mantém-se em estado de alerta, fazendo varreduras visuais nos ambientes, dificultando o processo natural de atenção seletiva e a concentração em outras atividades. Foi elaborado um levantamento prévio por meio de questionário estruturado, respondido por pessoas com surdez ou que possuem alguma relação, coletando informações sobre a demanda dos surdos, como a identificação de sinais de alerta importantes. Os resultados apontaram ser importante que o surdo tenha um recurso que auxilie na identificação de eventos que caracterizam situação de perigo. O desenvolvimento realizou estudos elucidativos sobre o público alvo/motivador, tecnologias existentes e comunicação visual. Desta forma, o trabalho tem como objetivo apresentar um estudo de caso de aplicação de modelo de rede neural profunda que, por meio de Detecção de Eventos Acústicos (AED), visa classificar alertas sonoros específicos para surdos. Foram realizados dois experimentos utilizando modelos de rede neural profunda, utilizando parte de três conjuntos de dados disponibilizados por grupo de pesquisa ligado a AED. Os dados foram sintetizados em um dataset que pode ser dividido entre classes de sons de alerta de sons ambiente. Um dos testes utilizou áudios brutos como entrada, os demais a extração do cepstrum de mel-frequência (MFCC), extraído em etapa de pré-processamento. Como resultados, quatro dos testes alcançaram F1 Score baseado em segmento acima de 85%, caracterizando possível problema de overfitting e outro alcançou 14% baseado em evento, caracterizando underfitting. Ao final, são discutidas possíveis causas para problemas apresentados, é sugerido o seguimento da pesquisa no modelo que utiliza uma Rede de Memória de Longo Prazo (LSTMs) e alterações no dataset para obtenção de melhores resultados.