Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas

Detalhes bibliográficos
Autor(a) principal: Fábio Felix Dias
Data de Publicação: 2022
Tipo de documento: Tese
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://doi.org/10.11606/T.55.2022.tde-11012023-094123
Resumo: A análise de Paisagens Acústicas desperta grande interesse na comunidade científica como ferramenta para auxiliar a tomada de decisões relacionadas ao monitoramento e entendimento de questões ambientais. Por exemplo, análises da diversidade e do comportamento de espécies animais, podem ajudar na compreensão do estado do ambiente onde essas espécies são encontradas. Essas análises utilizam áudios gravados de maneira autônoma em ambientes diversos, técnica que diminui custos, aumenta a capacidade de análise e diminui a influência externa nesses ambientes. Entretanto, o aumento da quantidade de gravações gera desafios para a exploração e extração de conhecimento desses dados. Nesse cenário, técnicas como Redes Neurais Convolucionais são empregadas, com resultados relevantes, para ajudar os pesquisadores em tarefas de detecção e identificação de espécies, por exemplo. Essas técnicas precisam lidar com problemas recorrentes de sons coletados em ambientes naturais e não controlados, como variação dos padrões sonoros, sobreposição de sinais e ruídos diversos. Esta pesquisa de doutorado traçou um caminho para melhorar a aplicação de redes neurais na identificação de espécies de pássaros e anuros, em sons coletados em ambientes naturais. A abordagem proposta investigou sobretudo maneiras de regularização da função de custo da rede com técnicas de quantificação; combinações de entradas para as redes, como variações de espectrogramas, características acústicas e informações sobre as gravações; e abordagens de Aprendizado Autossupervisionado para pré-treinamento das arquiteturas de rede. Com uma quantidade reduzida de amostras para treinamento, essas abordagens obtiveram resultados superiores aos de um classificador linear que usa características acústicas como entrada, melhoraram a segregação dos espaços de características em níveis distintos, incrementaram sobretudo os resultados de redes simples e alcançaram resultados próximos aos de técnicas supervisionadas empregadas para o pré-treinamento.
id USP_693f7b6b478a0d84970aebc525e11dc1
oai_identifier_str oai:teses.usp.br:tde-11012023-094123
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesis Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas Learning representations with Convolutional Networks to identify bird and anuran species in Soundscapes 2022-10-27Rosane MinghimMoacir Antonelli PontiMaria Cristina Ferreira de OliveiraMilton Cezar RibeiroCelmar Guimarães da SilvaFábio Felix DiasUniversidade de São PauloCiências da Computação e Matemática ComputacionalUSPBR Auto supervisão Combinação de entradas Identificação de sons Input combination Quantificação Quantification Self- supervised Sound identification A análise de Paisagens Acústicas desperta grande interesse na comunidade científica como ferramenta para auxiliar a tomada de decisões relacionadas ao monitoramento e entendimento de questões ambientais. Por exemplo, análises da diversidade e do comportamento de espécies animais, podem ajudar na compreensão do estado do ambiente onde essas espécies são encontradas. Essas análises utilizam áudios gravados de maneira autônoma em ambientes diversos, técnica que diminui custos, aumenta a capacidade de análise e diminui a influência externa nesses ambientes. Entretanto, o aumento da quantidade de gravações gera desafios para a exploração e extração de conhecimento desses dados. Nesse cenário, técnicas como Redes Neurais Convolucionais são empregadas, com resultados relevantes, para ajudar os pesquisadores em tarefas de detecção e identificação de espécies, por exemplo. Essas técnicas precisam lidar com problemas recorrentes de sons coletados em ambientes naturais e não controlados, como variação dos padrões sonoros, sobreposição de sinais e ruídos diversos. Esta pesquisa de doutorado traçou um caminho para melhorar a aplicação de redes neurais na identificação de espécies de pássaros e anuros, em sons coletados em ambientes naturais. A abordagem proposta investigou sobretudo maneiras de regularização da função de custo da rede com técnicas de quantificação; combinações de entradas para as redes, como variações de espectrogramas, características acústicas e informações sobre as gravações; e abordagens de Aprendizado Autossupervisionado para pré-treinamento das arquiteturas de rede. Com uma quantidade reduzida de amostras para treinamento, essas abordagens obtiveram resultados superiores aos de um classificador linear que usa características acústicas como entrada, melhoraram a segregação dos espaços de características em níveis distintos, incrementaram sobretudo os resultados de redes simples e alcançaram resultados próximos aos de técnicas supervisionadas empregadas para o pré-treinamento. Soundscape analysis makes the scientific community interested in it as a tool to aim decision-making related to monitoring and understanding ecological questions. For instance, analysis of diversity and animal behavior can help to understand landscape health. These analyses use autonomous recorders to capture sounds from several landscapes, a technique that diminishes costs, enhances analytical capabilities, and lessens habitat disorders generated by human presence. Nevertheless, the massive amount of recordings to perform the analyses yields challenges to knowledge extraction. In this case, Convolutional Neural Networks are employed to help researchers to detect and identify animal species, for instance. These tools have to deal with issues related to sounds captured in the wild, such as sound variation, pattern overlap, and multiple sources of noise. As a result, this Ph.D. research constructed a path to improve the applicability of neural networks to identify birds and anuran species, inside recordings collected in natural environments. The proposed approach explored mainly the regularization of the loss function with quantification techniques; input combinations to feed networks, such as spectrogram variations, acoustic features, and recording information; and Self-supervised Learning to pretrain network architectures. In a scenario with few data samples, these approaches achieved better results than a linear classifier with acoustic features as input, improved with distinct levels the segregation of the embeddings, increased mainly the results of simple networks, and reached results close to supervised techniques used to pretrain neural networks. https://doi.org/10.11606/T.55.2022.tde-11012023-094123info:eu-repo/semantics/openAccessporreponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USP2023-12-21T18:39:54Zoai:teses.usp.br:tde-11012023-094123Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212023-12-22T12:28:28.590382Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.pt.fl_str_mv Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas
dc.title.alternative.en.fl_str_mv Learning representations with Convolutional Networks to identify bird and anuran species in Soundscapes
title Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas
spellingShingle Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas
Fábio Felix Dias
title_short Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas
title_full Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas
title_fullStr Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas
title_full_unstemmed Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas
title_sort Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas
author Fábio Felix Dias
author_facet Fábio Felix Dias
author_role author
dc.contributor.advisor1.fl_str_mv Rosane Minghim
dc.contributor.advisor-co1.fl_str_mv Moacir Antonelli Ponti
dc.contributor.referee1.fl_str_mv Maria Cristina Ferreira de Oliveira
dc.contributor.referee2.fl_str_mv Milton Cezar Ribeiro
dc.contributor.referee3.fl_str_mv Celmar Guimarães da Silva
dc.contributor.author.fl_str_mv Fábio Felix Dias
contributor_str_mv Rosane Minghim
Moacir Antonelli Ponti
Maria Cristina Ferreira de Oliveira
Milton Cezar Ribeiro
Celmar Guimarães da Silva
description A análise de Paisagens Acústicas desperta grande interesse na comunidade científica como ferramenta para auxiliar a tomada de decisões relacionadas ao monitoramento e entendimento de questões ambientais. Por exemplo, análises da diversidade e do comportamento de espécies animais, podem ajudar na compreensão do estado do ambiente onde essas espécies são encontradas. Essas análises utilizam áudios gravados de maneira autônoma em ambientes diversos, técnica que diminui custos, aumenta a capacidade de análise e diminui a influência externa nesses ambientes. Entretanto, o aumento da quantidade de gravações gera desafios para a exploração e extração de conhecimento desses dados. Nesse cenário, técnicas como Redes Neurais Convolucionais são empregadas, com resultados relevantes, para ajudar os pesquisadores em tarefas de detecção e identificação de espécies, por exemplo. Essas técnicas precisam lidar com problemas recorrentes de sons coletados em ambientes naturais e não controlados, como variação dos padrões sonoros, sobreposição de sinais e ruídos diversos. Esta pesquisa de doutorado traçou um caminho para melhorar a aplicação de redes neurais na identificação de espécies de pássaros e anuros, em sons coletados em ambientes naturais. A abordagem proposta investigou sobretudo maneiras de regularização da função de custo da rede com técnicas de quantificação; combinações de entradas para as redes, como variações de espectrogramas, características acústicas e informações sobre as gravações; e abordagens de Aprendizado Autossupervisionado para pré-treinamento das arquiteturas de rede. Com uma quantidade reduzida de amostras para treinamento, essas abordagens obtiveram resultados superiores aos de um classificador linear que usa características acústicas como entrada, melhoraram a segregação dos espaços de características em níveis distintos, incrementaram sobretudo os resultados de redes simples e alcançaram resultados próximos aos de técnicas supervisionadas empregadas para o pré-treinamento.
publishDate 2022
dc.date.issued.fl_str_mv 2022-10-27
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://doi.org/10.11606/T.55.2022.tde-11012023-094123
url https://doi.org/10.11606/T.55.2022.tde-11012023-094123
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade de São Paulo
dc.publisher.program.fl_str_mv Ciências da Computação e Matemática Computacional
dc.publisher.initials.fl_str_mv USP
dc.publisher.country.fl_str_mv BR
publisher.none.fl_str_mv Universidade de São Paulo
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1794502642252120064