Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | https://doi.org/10.11606/T.55.2022.tde-11012023-094123 |
Resumo: | A análise de Paisagens Acústicas desperta grande interesse na comunidade científica como ferramenta para auxiliar a tomada de decisões relacionadas ao monitoramento e entendimento de questões ambientais. Por exemplo, análises da diversidade e do comportamento de espécies animais, podem ajudar na compreensão do estado do ambiente onde essas espécies são encontradas. Essas análises utilizam áudios gravados de maneira autônoma em ambientes diversos, técnica que diminui custos, aumenta a capacidade de análise e diminui a influência externa nesses ambientes. Entretanto, o aumento da quantidade de gravações gera desafios para a exploração e extração de conhecimento desses dados. Nesse cenário, técnicas como Redes Neurais Convolucionais são empregadas, com resultados relevantes, para ajudar os pesquisadores em tarefas de detecção e identificação de espécies, por exemplo. Essas técnicas precisam lidar com problemas recorrentes de sons coletados em ambientes naturais e não controlados, como variação dos padrões sonoros, sobreposição de sinais e ruídos diversos. Esta pesquisa de doutorado traçou um caminho para melhorar a aplicação de redes neurais na identificação de espécies de pássaros e anuros, em sons coletados em ambientes naturais. A abordagem proposta investigou sobretudo maneiras de regularização da função de custo da rede com técnicas de quantificação; combinações de entradas para as redes, como variações de espectrogramas, características acústicas e informações sobre as gravações; e abordagens de Aprendizado Autossupervisionado para pré-treinamento das arquiteturas de rede. Com uma quantidade reduzida de amostras para treinamento, essas abordagens obtiveram resultados superiores aos de um classificador linear que usa características acústicas como entrada, melhoraram a segregação dos espaços de características em níveis distintos, incrementaram sobretudo os resultados de redes simples e alcançaram resultados próximos aos de técnicas supervisionadas empregadas para o pré-treinamento. |
id |
USP_693f7b6b478a0d84970aebc525e11dc1 |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-11012023-094123 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesis Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas Learning representations with Convolutional Networks to identify bird and anuran species in Soundscapes 2022-10-27Rosane MinghimMoacir Antonelli PontiMaria Cristina Ferreira de OliveiraMilton Cezar RibeiroCelmar Guimarães da SilvaFábio Felix DiasUniversidade de São PauloCiências da Computação e Matemática ComputacionalUSPBR Auto supervisão Combinação de entradas Identificação de sons Input combination Quantificação Quantification Self- supervised Sound identification A análise de Paisagens Acústicas desperta grande interesse na comunidade científica como ferramenta para auxiliar a tomada de decisões relacionadas ao monitoramento e entendimento de questões ambientais. Por exemplo, análises da diversidade e do comportamento de espécies animais, podem ajudar na compreensão do estado do ambiente onde essas espécies são encontradas. Essas análises utilizam áudios gravados de maneira autônoma em ambientes diversos, técnica que diminui custos, aumenta a capacidade de análise e diminui a influência externa nesses ambientes. Entretanto, o aumento da quantidade de gravações gera desafios para a exploração e extração de conhecimento desses dados. Nesse cenário, técnicas como Redes Neurais Convolucionais são empregadas, com resultados relevantes, para ajudar os pesquisadores em tarefas de detecção e identificação de espécies, por exemplo. Essas técnicas precisam lidar com problemas recorrentes de sons coletados em ambientes naturais e não controlados, como variação dos padrões sonoros, sobreposição de sinais e ruídos diversos. Esta pesquisa de doutorado traçou um caminho para melhorar a aplicação de redes neurais na identificação de espécies de pássaros e anuros, em sons coletados em ambientes naturais. A abordagem proposta investigou sobretudo maneiras de regularização da função de custo da rede com técnicas de quantificação; combinações de entradas para as redes, como variações de espectrogramas, características acústicas e informações sobre as gravações; e abordagens de Aprendizado Autossupervisionado para pré-treinamento das arquiteturas de rede. Com uma quantidade reduzida de amostras para treinamento, essas abordagens obtiveram resultados superiores aos de um classificador linear que usa características acústicas como entrada, melhoraram a segregação dos espaços de características em níveis distintos, incrementaram sobretudo os resultados de redes simples e alcançaram resultados próximos aos de técnicas supervisionadas empregadas para o pré-treinamento. Soundscape analysis makes the scientific community interested in it as a tool to aim decision-making related to monitoring and understanding ecological questions. For instance, analysis of diversity and animal behavior can help to understand landscape health. These analyses use autonomous recorders to capture sounds from several landscapes, a technique that diminishes costs, enhances analytical capabilities, and lessens habitat disorders generated by human presence. Nevertheless, the massive amount of recordings to perform the analyses yields challenges to knowledge extraction. In this case, Convolutional Neural Networks are employed to help researchers to detect and identify animal species, for instance. These tools have to deal with issues related to sounds captured in the wild, such as sound variation, pattern overlap, and multiple sources of noise. As a result, this Ph.D. research constructed a path to improve the applicability of neural networks to identify birds and anuran species, inside recordings collected in natural environments. The proposed approach explored mainly the regularization of the loss function with quantification techniques; input combinations to feed networks, such as spectrogram variations, acoustic features, and recording information; and Self-supervised Learning to pretrain network architectures. In a scenario with few data samples, these approaches achieved better results than a linear classifier with acoustic features as input, improved with distinct levels the segregation of the embeddings, increased mainly the results of simple networks, and reached results close to supervised techniques used to pretrain neural networks. https://doi.org/10.11606/T.55.2022.tde-11012023-094123info:eu-repo/semantics/openAccessporreponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USP2023-12-21T18:39:54Zoai:teses.usp.br:tde-11012023-094123Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212023-12-22T12:28:28.590382Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.pt.fl_str_mv |
Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas |
dc.title.alternative.en.fl_str_mv |
Learning representations with Convolutional Networks to identify bird and anuran species in Soundscapes |
title |
Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas |
spellingShingle |
Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas Fábio Felix Dias |
title_short |
Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas |
title_full |
Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas |
title_fullStr |
Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas |
title_full_unstemmed |
Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas |
title_sort |
Aprendizado de representações com Redes Convolucionais para a identificação de espécies de pássaros e anuros em Paisagens Acústicas |
author |
Fábio Felix Dias |
author_facet |
Fábio Felix Dias |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Rosane Minghim |
dc.contributor.advisor-co1.fl_str_mv |
Moacir Antonelli Ponti |
dc.contributor.referee1.fl_str_mv |
Maria Cristina Ferreira de Oliveira |
dc.contributor.referee2.fl_str_mv |
Milton Cezar Ribeiro |
dc.contributor.referee3.fl_str_mv |
Celmar Guimarães da Silva |
dc.contributor.author.fl_str_mv |
Fábio Felix Dias |
contributor_str_mv |
Rosane Minghim Moacir Antonelli Ponti Maria Cristina Ferreira de Oliveira Milton Cezar Ribeiro Celmar Guimarães da Silva |
description |
A análise de Paisagens Acústicas desperta grande interesse na comunidade científica como ferramenta para auxiliar a tomada de decisões relacionadas ao monitoramento e entendimento de questões ambientais. Por exemplo, análises da diversidade e do comportamento de espécies animais, podem ajudar na compreensão do estado do ambiente onde essas espécies são encontradas. Essas análises utilizam áudios gravados de maneira autônoma em ambientes diversos, técnica que diminui custos, aumenta a capacidade de análise e diminui a influência externa nesses ambientes. Entretanto, o aumento da quantidade de gravações gera desafios para a exploração e extração de conhecimento desses dados. Nesse cenário, técnicas como Redes Neurais Convolucionais são empregadas, com resultados relevantes, para ajudar os pesquisadores em tarefas de detecção e identificação de espécies, por exemplo. Essas técnicas precisam lidar com problemas recorrentes de sons coletados em ambientes naturais e não controlados, como variação dos padrões sonoros, sobreposição de sinais e ruídos diversos. Esta pesquisa de doutorado traçou um caminho para melhorar a aplicação de redes neurais na identificação de espécies de pássaros e anuros, em sons coletados em ambientes naturais. A abordagem proposta investigou sobretudo maneiras de regularização da função de custo da rede com técnicas de quantificação; combinações de entradas para as redes, como variações de espectrogramas, características acústicas e informações sobre as gravações; e abordagens de Aprendizado Autossupervisionado para pré-treinamento das arquiteturas de rede. Com uma quantidade reduzida de amostras para treinamento, essas abordagens obtiveram resultados superiores aos de um classificador linear que usa características acústicas como entrada, melhoraram a segregação dos espaços de características em níveis distintos, incrementaram sobretudo os resultados de redes simples e alcançaram resultados próximos aos de técnicas supervisionadas empregadas para o pré-treinamento. |
publishDate |
2022 |
dc.date.issued.fl_str_mv |
2022-10-27 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://doi.org/10.11606/T.55.2022.tde-11012023-094123 |
url |
https://doi.org/10.11606/T.55.2022.tde-11012023-094123 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade de São Paulo |
dc.publisher.program.fl_str_mv |
Ciências da Computação e Matemática Computacional |
dc.publisher.initials.fl_str_mv |
USP |
dc.publisher.country.fl_str_mv |
BR |
publisher.none.fl_str_mv |
Universidade de São Paulo |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1794502642252120064 |