Scalable and interpretable kernel methods based on random Fourier features
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Institucional da UFSCAR |
Texto Completo: | https://repositorio.ufscar.br/handle/ufscar/17579 |
Resumo: | Kernel methods are a class of statistical machine learning models based on positive semidefinite kernels, which serve as a measure of similarity between data features. Examples of kernel methods include kernel ridge regression, support vector machines, and smoothing splines. Despite their widespread use, kernel methods face two main challenges. Firstly, due to operating on all pairs of observations, they require a large amount of memory and calculation, making them unsuitable for use with large datasets. This issue can be solved by approximating the kernel function via random Fourier features or preconditioners. Secondly, most used kernels consider all features to be equally relevant, without considering their actual impact on the prediction. This results in decreased interpretability, as the influence of irrelevant features is not mitigated. In this work, we extend the random Fourier features framework to Automatic Relevance Determination (ARD) kernels and proposes a new kernel method that integrates the optimization of kernel parameters during training. The kernel parameters reduce the effect of irrelevant features and might be used for post-processing variable selection. The proposed method is evaluated on several datasets and compared to conventional algorithms in machine learning. |
id |
SCAR_06a7ce7279dca67cb134158dfbe7b6d5 |
---|---|
oai_identifier_str |
oai:repositorio.ufscar.br:ufscar/17579 |
network_acronym_str |
SCAR |
network_name_str |
Repositório Institucional da UFSCAR |
repository_id_str |
4322 |
spelling |
Otto, Mateus PiovezanIzbicki, Rafaelhttp://lattes.cnpq.br/9991192137633896http://lattes.cnpq.br/813617685656737763e5c320-c547-4e86-b627-05eb6d809a092023-04-03T17:47:30Z2023-04-03T17:47:30Z2023-03-29OTTO, Mateus Piovezan. Scalable and interpretable kernel methods based on random Fourier features. 2023. Dissertação (Mestrado em Estatística) – Universidade Federal de São Carlos, São Carlos, 2023. Disponível em: https://repositorio.ufscar.br/handle/ufscar/17579.https://repositorio.ufscar.br/handle/ufscar/17579Kernel methods are a class of statistical machine learning models based on positive semidefinite kernels, which serve as a measure of similarity between data features. Examples of kernel methods include kernel ridge regression, support vector machines, and smoothing splines. Despite their widespread use, kernel methods face two main challenges. Firstly, due to operating on all pairs of observations, they require a large amount of memory and calculation, making them unsuitable for use with large datasets. This issue can be solved by approximating the kernel function via random Fourier features or preconditioners. Secondly, most used kernels consider all features to be equally relevant, without considering their actual impact on the prediction. This results in decreased interpretability, as the influence of irrelevant features is not mitigated. In this work, we extend the random Fourier features framework to Automatic Relevance Determination (ARD) kernels and proposes a new kernel method that integrates the optimization of kernel parameters during training. The kernel parameters reduce the effect of irrelevant features and might be used for post-processing variable selection. The proposed method is evaluated on several datasets and compared to conventional algorithms in machine learning.Métodos de kernel são uma classe de modelos de aprendizado de máquina baseados em kernels positivo semidefinidos, que servem como medidas de similaridade entre covariáveis. Exemplos de métodos de kernel incluem a regressão ridge com kernels, as máquinas de vetor de suporte e os splines suavizadores. Apesar do seu amplo uso, os métodos de kernel possuem duas desvantagens significativas. Em primeiro lugar, ao operar sobre todos os pares de observações, eles demandam grande quantidade de memória e computação, o que impossibilita sua aplicação em grandes conjuntos de dados. Este problema pode ser resolvido através de aproximações da matriz do kernel via \textit{random Fourier features} ou precondicionadores. Em segundo lugar, a maioria dos kernels tratam todas as covariáveis disponíveis como igualmente relevantes, desconsiderando seu impacto na predição. Isso resulta em um descréscimo na interpretabilidade, uma vez que a influência de covariáveis irrelevantes não é mitigada. Neste trabalho, nós estendemos a teoria de \textit{random Fourier features} para os kernels com Determinação Automática de Relevância e propomos um novo método de kernel que integra a otimização dos parâmetros do kernel ao treinamento. Os parâmetros do kernel reduzem o efeito das covariáveis irrelevantes e podem ser utilizados para seleção de variáveis pós-processamento. O método proposto é avaliado em diversos conjuntos de dados e comparado a algoritmos convencionais de aprendizado de máquina.Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)Processo nº 2021/02178-8, Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)engUniversidade Federal de São CarlosCâmpus São CarlosPrograma Interinstitucional de Pós-Graduação em Estatística - PIPGEsUFSCarAttribution 3.0 Brazilhttp://creativecommons.org/licenses/by/3.0/br/info:eu-repo/semantics/openAccessImportância de covariáveisMétodos de kernelAprendizado de máquinaOtimizaçãoKernel methodsFeature importanceMachine learningOptimizationCIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::ESTATISTICA::INFERENCIA NAO-PARAMETRICAScalable and interpretable kernel methods based on random Fourier featuresMétodos de kernel escaláveis e interpretáveis baseados em random Fourier featuresinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis6006003e57f161-19fe-4345-9e87-bc60eb7be98freponame:Repositório Institucional da UFSCARinstname:Universidade Federal de São Carlos (UFSCAR)instacron:UFSCARCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8913https://repositorio.ufscar.br/bitstream/ufscar/17579/2/license_rdf3185b4de2190c2d366d1d324db01f8b8MD52ORIGINALDissertação de Mestrado revisada (UFSCar).pdfDissertação de Mestrado revisada (UFSCar).pdfDissertação de mestradoapplication/pdf776072https://repositorio.ufscar.br/bitstream/ufscar/17579/1/Disserta%c3%a7%c3%a3o%20de%20Mestrado%20revisada%20%28UFSCar%29.pdfed7ee5a0cba203f1aeff0f75da1ee510MD51TEXTDissertação de Mestrado revisada (UFSCar).pdf.txtDissertação de Mestrado revisada (UFSCar).pdf.txtExtracted texttext/plain117137https://repositorio.ufscar.br/bitstream/ufscar/17579/3/Disserta%c3%a7%c3%a3o%20de%20Mestrado%20revisada%20%28UFSCar%29.pdf.txtfeda6fb6175a192f229bff93957e1120MD53THUMBNAILDissertação de Mestrado revisada (UFSCar).pdf.jpgDissertação de Mestrado revisada (UFSCar).pdf.jpgIM Thumbnailimage/jpeg15032https://repositorio.ufscar.br/bitstream/ufscar/17579/4/Disserta%c3%a7%c3%a3o%20de%20Mestrado%20revisada%20%28UFSCar%29.pdf.jpg01a4ffdd306cd458eb8da2a65afbff3cMD54ufscar/175792023-09-18 18:32:34.748oai:repositorio.ufscar.br:ufscar/17579Repositório InstitucionalPUBhttps://repositorio.ufscar.br/oai/requestopendoar:43222023-09-18T18:32:34Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)false |
dc.title.por.fl_str_mv |
Scalable and interpretable kernel methods based on random Fourier features |
dc.title.alternative.eng.fl_str_mv |
Métodos de kernel escaláveis e interpretáveis baseados em random Fourier features |
title |
Scalable and interpretable kernel methods based on random Fourier features |
spellingShingle |
Scalable and interpretable kernel methods based on random Fourier features Otto, Mateus Piovezan Importância de covariáveis Métodos de kernel Aprendizado de máquina Otimização Kernel methods Feature importance Machine learning Optimization CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::ESTATISTICA::INFERENCIA NAO-PARAMETRICA |
title_short |
Scalable and interpretable kernel methods based on random Fourier features |
title_full |
Scalable and interpretable kernel methods based on random Fourier features |
title_fullStr |
Scalable and interpretable kernel methods based on random Fourier features |
title_full_unstemmed |
Scalable and interpretable kernel methods based on random Fourier features |
title_sort |
Scalable and interpretable kernel methods based on random Fourier features |
author |
Otto, Mateus Piovezan |
author_facet |
Otto, Mateus Piovezan |
author_role |
author |
dc.contributor.authorlattes.por.fl_str_mv |
http://lattes.cnpq.br/8136176856567377 |
dc.contributor.author.fl_str_mv |
Otto, Mateus Piovezan |
dc.contributor.advisor1.fl_str_mv |
Izbicki, Rafael |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/9991192137633896 |
dc.contributor.authorID.fl_str_mv |
63e5c320-c547-4e86-b627-05eb6d809a09 |
contributor_str_mv |
Izbicki, Rafael |
dc.subject.por.fl_str_mv |
Importância de covariáveis Métodos de kernel Aprendizado de máquina Otimização |
topic |
Importância de covariáveis Métodos de kernel Aprendizado de máquina Otimização Kernel methods Feature importance Machine learning Optimization CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::ESTATISTICA::INFERENCIA NAO-PARAMETRICA |
dc.subject.eng.fl_str_mv |
Kernel methods Feature importance Machine learning Optimization |
dc.subject.cnpq.fl_str_mv |
CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::ESTATISTICA::INFERENCIA NAO-PARAMETRICA |
description |
Kernel methods are a class of statistical machine learning models based on positive semidefinite kernels, which serve as a measure of similarity between data features. Examples of kernel methods include kernel ridge regression, support vector machines, and smoothing splines. Despite their widespread use, kernel methods face two main challenges. Firstly, due to operating on all pairs of observations, they require a large amount of memory and calculation, making them unsuitable for use with large datasets. This issue can be solved by approximating the kernel function via random Fourier features or preconditioners. Secondly, most used kernels consider all features to be equally relevant, without considering their actual impact on the prediction. This results in decreased interpretability, as the influence of irrelevant features is not mitigated. In this work, we extend the random Fourier features framework to Automatic Relevance Determination (ARD) kernels and proposes a new kernel method that integrates the optimization of kernel parameters during training. The kernel parameters reduce the effect of irrelevant features and might be used for post-processing variable selection. The proposed method is evaluated on several datasets and compared to conventional algorithms in machine learning. |
publishDate |
2023 |
dc.date.accessioned.fl_str_mv |
2023-04-03T17:47:30Z |
dc.date.available.fl_str_mv |
2023-04-03T17:47:30Z |
dc.date.issued.fl_str_mv |
2023-03-29 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
OTTO, Mateus Piovezan. Scalable and interpretable kernel methods based on random Fourier features. 2023. Dissertação (Mestrado em Estatística) – Universidade Federal de São Carlos, São Carlos, 2023. Disponível em: https://repositorio.ufscar.br/handle/ufscar/17579. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufscar.br/handle/ufscar/17579 |
identifier_str_mv |
OTTO, Mateus Piovezan. Scalable and interpretable kernel methods based on random Fourier features. 2023. Dissertação (Mestrado em Estatística) – Universidade Federal de São Carlos, São Carlos, 2023. Disponível em: https://repositorio.ufscar.br/handle/ufscar/17579. |
url |
https://repositorio.ufscar.br/handle/ufscar/17579 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.confidence.fl_str_mv |
600 600 |
dc.relation.authority.fl_str_mv |
3e57f161-19fe-4345-9e87-bc60eb7be98f |
dc.rights.driver.fl_str_mv |
Attribution 3.0 Brazil http://creativecommons.org/licenses/by/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution 3.0 Brazil http://creativecommons.org/licenses/by/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de São Carlos Câmpus São Carlos |
dc.publisher.program.fl_str_mv |
Programa Interinstitucional de Pós-Graduação em Estatística - PIPGEs |
dc.publisher.initials.fl_str_mv |
UFSCar |
publisher.none.fl_str_mv |
Universidade Federal de São Carlos Câmpus São Carlos |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFSCAR instname:Universidade Federal de São Carlos (UFSCAR) instacron:UFSCAR |
instname_str |
Universidade Federal de São Carlos (UFSCAR) |
instacron_str |
UFSCAR |
institution |
UFSCAR |
reponame_str |
Repositório Institucional da UFSCAR |
collection |
Repositório Institucional da UFSCAR |
bitstream.url.fl_str_mv |
https://repositorio.ufscar.br/bitstream/ufscar/17579/2/license_rdf https://repositorio.ufscar.br/bitstream/ufscar/17579/1/Disserta%c3%a7%c3%a3o%20de%20Mestrado%20revisada%20%28UFSCar%29.pdf https://repositorio.ufscar.br/bitstream/ufscar/17579/3/Disserta%c3%a7%c3%a3o%20de%20Mestrado%20revisada%20%28UFSCar%29.pdf.txt https://repositorio.ufscar.br/bitstream/ufscar/17579/4/Disserta%c3%a7%c3%a3o%20de%20Mestrado%20revisada%20%28UFSCar%29.pdf.jpg |
bitstream.checksum.fl_str_mv |
3185b4de2190c2d366d1d324db01f8b8 ed7ee5a0cba203f1aeff0f75da1ee510 feda6fb6175a192f229bff93957e1120 01a4ffdd306cd458eb8da2a65afbff3c |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR) |
repository.mail.fl_str_mv |
|
_version_ |
1802136418916499456 |