Transformer approaches on hyper-parameter optimization and anomaly detection with applications in stream tuning
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/10174/31068 |
Resumo: | Hyper-parameter Optimisation consists of finding the parameters that maximise a model’s performance. However, this mainly concerns processes in which the model shouldn’t change over time. Hence, how should an online model be optimised? For this, we pose the following research question: How and when should the model be optimised? For the optimisation part, we explore the transformer architecture as a function mapping data statistics into model parameters, by means of graph attention layers, together with reinforcement learning approaches, achieving state of the art results. On the other hand, in order to detect when the model should be optimised, we use the transformer architecture to empower already existing anomaly detection methods, in this case, the Variational Auto Encoder. Finally, we join these developed methods in a framework capable of deciding when an optimisation should take part and how to do it, aiding the stream tuning process; Sumário: Abordagens de Transformer em Optimização de Hiper-Parâmetros e Deteção de Anomalias com Aplicações em Stream Tuning Optimização de hiper parâmetros consiste em encontrar os parâmetros que maximizam a performance de um modelo. Contudo, maioritariamente, isto diz respeito a processos em que o modelo não muda ao longo do tempo. Assim, como deve um modelo online ser optimizado? Para este fim, colocamos a seguinte pergunta: Como e quando deve ser o modelo optimizado? Para a fase de optimização, exploramos a arquitectura de transformador, como uma função que mapeia estatísticas sobre dados para parâmetros de modelos, utilizando atenção de grafos junto de abordagens de aprendizagem por reforço, alcançando resultados de estado da arte. Por outro lado, para detectar quando o modelo deve ser optimizado, utilizamos a arquitectura de transformador, reforçando abordagens de detecção de anomalias já existentes, o Variational Auto Encoder. Finalmente, juntamos os métodos desenvolvidos numa framework capaz de decidir quando se deve realizar uma optimização e como o fazer, auxiliando o processo de tuning em stream. |
id |
RCAP_92372c1637889317e4337181bd33898b |
---|---|
oai_identifier_str |
oai:dspace.uevora.pt:10174/31068 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Transformer approaches on hyper-parameter optimization and anomaly detection with applications in stream tuningTransformerReinforcement LearningHyper-parameter OptimisationAnomaly DetectionVariational Auto EncoderTransformadorAprendizagem por ReforçoOptimização de Hiper parâmetrosDetecção de AnomaliasVariational Auto EncoderHyper-parameter Optimisation consists of finding the parameters that maximise a model’s performance. However, this mainly concerns processes in which the model shouldn’t change over time. Hence, how should an online model be optimised? For this, we pose the following research question: How and when should the model be optimised? For the optimisation part, we explore the transformer architecture as a function mapping data statistics into model parameters, by means of graph attention layers, together with reinforcement learning approaches, achieving state of the art results. On the other hand, in order to detect when the model should be optimised, we use the transformer architecture to empower already existing anomaly detection methods, in this case, the Variational Auto Encoder. Finally, we join these developed methods in a framework capable of deciding when an optimisation should take part and how to do it, aiding the stream tuning process; Sumário: Abordagens de Transformer em Optimização de Hiper-Parâmetros e Deteção de Anomalias com Aplicações em Stream Tuning Optimização de hiper parâmetros consiste em encontrar os parâmetros que maximizam a performance de um modelo. Contudo, maioritariamente, isto diz respeito a processos em que o modelo não muda ao longo do tempo. Assim, como deve um modelo online ser optimizado? Para este fim, colocamos a seguinte pergunta: Como e quando deve ser o modelo optimizado? Para a fase de optimização, exploramos a arquitectura de transformador, como uma função que mapeia estatísticas sobre dados para parâmetros de modelos, utilizando atenção de grafos junto de abordagens de aprendizagem por reforço, alcançando resultados de estado da arte. Por outro lado, para detectar quando o modelo deve ser optimizado, utilizamos a arquitectura de transformador, reforçando abordagens de detecção de anomalias já existentes, o Variational Auto Encoder. Finalmente, juntamos os métodos desenvolvidos numa framework capaz de decidir quando se deve realizar uma optimização e como o fazer, auxiliando o processo de tuning em stream.Universidade de Évora2022-02-15T10:11:15Z2022-02-152022-01-20T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10174/31068http://hdl.handle.net/10174/31068TID:202931730engDepartamento de Informáticand498Carriço, Nuno Filipe Marquesinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-01-03T19:30:24Zoai:dspace.uevora.pt:10174/31068Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T01:20:24.034604Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Transformer approaches on hyper-parameter optimization and anomaly detection with applications in stream tuning |
title |
Transformer approaches on hyper-parameter optimization and anomaly detection with applications in stream tuning |
spellingShingle |
Transformer approaches on hyper-parameter optimization and anomaly detection with applications in stream tuning Carriço, Nuno Filipe Marques Transformer Reinforcement Learning Hyper-parameter Optimisation Anomaly Detection Variational Auto Encoder Transformador Aprendizagem por Reforço Optimização de Hiper parâmetros Detecção de Anomalias Variational Auto Encoder |
title_short |
Transformer approaches on hyper-parameter optimization and anomaly detection with applications in stream tuning |
title_full |
Transformer approaches on hyper-parameter optimization and anomaly detection with applications in stream tuning |
title_fullStr |
Transformer approaches on hyper-parameter optimization and anomaly detection with applications in stream tuning |
title_full_unstemmed |
Transformer approaches on hyper-parameter optimization and anomaly detection with applications in stream tuning |
title_sort |
Transformer approaches on hyper-parameter optimization and anomaly detection with applications in stream tuning |
author |
Carriço, Nuno Filipe Marques |
author_facet |
Carriço, Nuno Filipe Marques |
author_role |
author |
dc.contributor.author.fl_str_mv |
Carriço, Nuno Filipe Marques |
dc.subject.por.fl_str_mv |
Transformer Reinforcement Learning Hyper-parameter Optimisation Anomaly Detection Variational Auto Encoder Transformador Aprendizagem por Reforço Optimização de Hiper parâmetros Detecção de Anomalias Variational Auto Encoder |
topic |
Transformer Reinforcement Learning Hyper-parameter Optimisation Anomaly Detection Variational Auto Encoder Transformador Aprendizagem por Reforço Optimização de Hiper parâmetros Detecção de Anomalias Variational Auto Encoder |
description |
Hyper-parameter Optimisation consists of finding the parameters that maximise a model’s performance. However, this mainly concerns processes in which the model shouldn’t change over time. Hence, how should an online model be optimised? For this, we pose the following research question: How and when should the model be optimised? For the optimisation part, we explore the transformer architecture as a function mapping data statistics into model parameters, by means of graph attention layers, together with reinforcement learning approaches, achieving state of the art results. On the other hand, in order to detect when the model should be optimised, we use the transformer architecture to empower already existing anomaly detection methods, in this case, the Variational Auto Encoder. Finally, we join these developed methods in a framework capable of deciding when an optimisation should take part and how to do it, aiding the stream tuning process; Sumário: Abordagens de Transformer em Optimização de Hiper-Parâmetros e Deteção de Anomalias com Aplicações em Stream Tuning Optimização de hiper parâmetros consiste em encontrar os parâmetros que maximizam a performance de um modelo. Contudo, maioritariamente, isto diz respeito a processos em que o modelo não muda ao longo do tempo. Assim, como deve um modelo online ser optimizado? Para este fim, colocamos a seguinte pergunta: Como e quando deve ser o modelo optimizado? Para a fase de optimização, exploramos a arquitectura de transformador, como uma função que mapeia estatísticas sobre dados para parâmetros de modelos, utilizando atenção de grafos junto de abordagens de aprendizagem por reforço, alcançando resultados de estado da arte. Por outro lado, para detectar quando o modelo deve ser optimizado, utilizamos a arquitectura de transformador, reforçando abordagens de detecção de anomalias já existentes, o Variational Auto Encoder. Finalmente, juntamos os métodos desenvolvidos numa framework capaz de decidir quando se deve realizar uma optimização e como o fazer, auxiliando o processo de tuning em stream. |
publishDate |
2022 |
dc.date.none.fl_str_mv |
2022-02-15T10:11:15Z 2022-02-15 2022-01-20T00:00:00Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10174/31068 http://hdl.handle.net/10174/31068 TID:202931730 |
url |
http://hdl.handle.net/10174/31068 |
identifier_str_mv |
TID:202931730 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.none.fl_str_mv |
Departamento de Informática nd 498 |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade de Évora |
publisher.none.fl_str_mv |
Universidade de Évora |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799136685701726208 |