Esparsificação de dicionários para métodos kernel

Detalhes bibliográficos
Autor(a) principal: Bueno, André Amaro
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/3/3142/tde-14092020-093153/
Resumo: Métodos baseados em núcleo (kernel) são capazes de resolver problemas não lineares, projetando o vetor de entrada em um espaço de dimensão mais alta, onde se utiliza um método linear. Esses métodos têm sido amplamente utilizados em conjunto com diferentes técnicas de processamento de sinais e aprendizado de máquina, como máquinas de vetores de suporte, análise de componentes principais, filtragem adaptativa, entre outras. Uma das maiores dificuldades encontradas nesses métodos é a necessidade de armazenar um conjunto de vetores de entrada, denominado dicionário. Muitas vezes, o dicionário pode se tornar grande demais o que causa um aumento exagerado no custo computacional. Para evitar um crescimento muito grande do dicionário, surgiram na literatura diferentes técnicas de esparsificação. Neste trabalho, é proposta uma técnica de esparsificação de dicionários para métodos kernel baseada no processo de ortogonalização de Gram-Schmidt. Ela projeta os vetores mapeados pelo kernel em um subespaço de dimensão finita gerado por uma base ortonormal e pode ser usada com qualquer kernel de Mercer. Em particular, a técnica proposta é aplicada a um algoritmo do tipo LMS (least-mean-square). Resultados de simulação mostram que o algoritmo proposto consegue manter um bom desempenho em termos de erro quadrático médio e apresenta um custo computacional menor quando comparado com o algoritmo kernel LMS implementado com outras técnicas de esparsificação. Por fim, também se propõe uma forma de retirar vetores do dicionário, o que é particularmente interessante quando há alterações no ambiente em que o algoritmo é empregado.
id USP_59afca0f5968e842da4193a7e06c685f
oai_identifier_str oai:teses.usp.br:tde-14092020-093153
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Esparsificação de dicionários para métodos kernelDictionary sparsification for kernel methods.Dictionary sparsificationEsparsificação de dicionáriosFiltros elétricos adaptativosFltragem adaptativaKernel-based-methodsMétodos baseados em kernelNdaptive filteringnonlinear signal processingProcessamento de sinais adaptativosProcessamento de sinais não-linearesMétodos baseados em núcleo (kernel) são capazes de resolver problemas não lineares, projetando o vetor de entrada em um espaço de dimensão mais alta, onde se utiliza um método linear. Esses métodos têm sido amplamente utilizados em conjunto com diferentes técnicas de processamento de sinais e aprendizado de máquina, como máquinas de vetores de suporte, análise de componentes principais, filtragem adaptativa, entre outras. Uma das maiores dificuldades encontradas nesses métodos é a necessidade de armazenar um conjunto de vetores de entrada, denominado dicionário. Muitas vezes, o dicionário pode se tornar grande demais o que causa um aumento exagerado no custo computacional. Para evitar um crescimento muito grande do dicionário, surgiram na literatura diferentes técnicas de esparsificação. Neste trabalho, é proposta uma técnica de esparsificação de dicionários para métodos kernel baseada no processo de ortogonalização de Gram-Schmidt. Ela projeta os vetores mapeados pelo kernel em um subespaço de dimensão finita gerado por uma base ortonormal e pode ser usada com qualquer kernel de Mercer. Em particular, a técnica proposta é aplicada a um algoritmo do tipo LMS (least-mean-square). Resultados de simulação mostram que o algoritmo proposto consegue manter um bom desempenho em termos de erro quadrático médio e apresenta um custo computacional menor quando comparado com o algoritmo kernel LMS implementado com outras técnicas de esparsificação. Por fim, também se propõe uma forma de retirar vetores do dicionário, o que é particularmente interessante quando há alterações no ambiente em que o algoritmo é empregado.Kernel based methods are capable of solving nonlinear problems by projecting the input vectors in a higher dimensional space where a linear method is used. These methods have been widely used in conjunction with different techniques of signal processing and machine learning, as support vector machines, principal component analysis, adaptive filtering among others. One of the main drawbacks of these methods is that a set of input vectors, known as dictionary, needs to be stored in memory. In certain situations, the dictionary may become too big, which leads to a high computational cost. To avoid an exagerated growth of the dictionary, different sparsification techniques were proposed in the literature. In this work, we propose a sparsification technique for kernel methods based on the Gram-Schmidt orthogonalization process. It projects the vectors mapped by the kernel into a finite-dimensional subspace spanned by an orthonormal basis and can be used with any Mercer kernel. In particular, the proposed technique is applied to a least-mean-square-type (LMS) algorithm. Simulation results show that the proposed algorithm mantains a good mean-square-error performance and presents a smaller computational cost, when compared with the kernel LMS algorithm using other sparsification techniques. Furthermore, we also propose a method for removing vectors from the dictionary, which is particularly interesting when there are changes the environment where the algorithm is used.Biblioteca Digitais de Teses e Dissertações da USPSilva, Magno Teófilo Madeira daBueno, André Amaro2020-07-10info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/3/3142/tde-14092020-093153/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2020-09-15T15:51:02Zoai:teses.usp.br:tde-14092020-093153Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212020-09-15T15:51:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Esparsificação de dicionários para métodos kernel
Dictionary sparsification for kernel methods.
title Esparsificação de dicionários para métodos kernel
spellingShingle Esparsificação de dicionários para métodos kernel
Bueno, André Amaro
Dictionary sparsification
Esparsificação de dicionários
Filtros elétricos adaptativos
Fltragem adaptativa
Kernel-based-methods
Métodos baseados em kernel
Ndaptive filtering
nonlinear signal processing
Processamento de sinais adaptativos
Processamento de sinais não-lineares
title_short Esparsificação de dicionários para métodos kernel
title_full Esparsificação de dicionários para métodos kernel
title_fullStr Esparsificação de dicionários para métodos kernel
title_full_unstemmed Esparsificação de dicionários para métodos kernel
title_sort Esparsificação de dicionários para métodos kernel
author Bueno, André Amaro
author_facet Bueno, André Amaro
author_role author
dc.contributor.none.fl_str_mv Silva, Magno Teófilo Madeira da
dc.contributor.author.fl_str_mv Bueno, André Amaro
dc.subject.por.fl_str_mv Dictionary sparsification
Esparsificação de dicionários
Filtros elétricos adaptativos
Fltragem adaptativa
Kernel-based-methods
Métodos baseados em kernel
Ndaptive filtering
nonlinear signal processing
Processamento de sinais adaptativos
Processamento de sinais não-lineares
topic Dictionary sparsification
Esparsificação de dicionários
Filtros elétricos adaptativos
Fltragem adaptativa
Kernel-based-methods
Métodos baseados em kernel
Ndaptive filtering
nonlinear signal processing
Processamento de sinais adaptativos
Processamento de sinais não-lineares
description Métodos baseados em núcleo (kernel) são capazes de resolver problemas não lineares, projetando o vetor de entrada em um espaço de dimensão mais alta, onde se utiliza um método linear. Esses métodos têm sido amplamente utilizados em conjunto com diferentes técnicas de processamento de sinais e aprendizado de máquina, como máquinas de vetores de suporte, análise de componentes principais, filtragem adaptativa, entre outras. Uma das maiores dificuldades encontradas nesses métodos é a necessidade de armazenar um conjunto de vetores de entrada, denominado dicionário. Muitas vezes, o dicionário pode se tornar grande demais o que causa um aumento exagerado no custo computacional. Para evitar um crescimento muito grande do dicionário, surgiram na literatura diferentes técnicas de esparsificação. Neste trabalho, é proposta uma técnica de esparsificação de dicionários para métodos kernel baseada no processo de ortogonalização de Gram-Schmidt. Ela projeta os vetores mapeados pelo kernel em um subespaço de dimensão finita gerado por uma base ortonormal e pode ser usada com qualquer kernel de Mercer. Em particular, a técnica proposta é aplicada a um algoritmo do tipo LMS (least-mean-square). Resultados de simulação mostram que o algoritmo proposto consegue manter um bom desempenho em termos de erro quadrático médio e apresenta um custo computacional menor quando comparado com o algoritmo kernel LMS implementado com outras técnicas de esparsificação. Por fim, também se propõe uma forma de retirar vetores do dicionário, o que é particularmente interessante quando há alterações no ambiente em que o algoritmo é empregado.
publishDate 2020
dc.date.none.fl_str_mv 2020-07-10
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/3/3142/tde-14092020-093153/
url https://www.teses.usp.br/teses/disponiveis/3/3142/tde-14092020-093153/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809090719983337472