Query optimizers based on machine learning techniques

Detalhes bibliográficos
Autor(a) principal: Souto, Rui Pedro Sousa Rodrigues do
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/84186
Resumo: Dissertação de mestrado integrado em Engenharia Informática
id RCAP_e5bfad9ddb432d0cf953feef6b824388
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/84186
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Query optimizers based on machine learning techniquesDatabase tuningMachine learningQuery optimizationAprendizagem automáticaOtimização de queriesTuning de base de dadosEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado integrado em Engenharia InformáticaQuery optimizers are considered one of the most relevant and sophisticated components in a database management system. However, despite currently producing nearly optimal results, optimizers rely on statistical estimates and heuristics to reduce the search space of alternative execution plans for a single query. As a result, for more complex queries, errors may grow exponentially, often translating into sub-optimal plans resulting in less than ideal performance. Recent advances in machine learning techniques have opened new opportunities for many of the existing problems related to system optimization. This document proposes a solution built on top of PostgreSQL that learns to select the most efficient set of optimizer strategy settings for a particular query. Instead of depending entirely on the optimizer’s estimates to compare different plans under different configurations, it relies on a greedy selection algorithm that supports several types of predictive modeling techniques, from more traditional modeling techniques to a deep learning approach. The system is evaluated experimentally with the standard TPC-H and Join Order ing Benchmark workloads to measure the cost and benefits of adding machine learning capabilities to traditional query optimizers.Os otimizadores de queries são considerados um dos componentes de maior relevância e complexidade num sistema de gestão de bases de dados. No entanto, apesar de atualmente produzirem resultados quase ótimos, os otimizadores dependem do uso de estimativas estatísticas e de heurísticas para reduzir o espaço de procura de planos de execução alternativos para uma determinada query. Como resultado, para queries mais complexas, os erros podem crescer exponencialmente, o que geralmente se traduz em planos sub-ótimos, resultando num desempenho inferior ao ideal. Os recentes avanços nas técnicas de aprendizagem automática abriram novas oportunidades para muitos dos problemas existentes relacionados com otimização de sistemas. Este documento propõe uma solução construída sobre o PostgreSQL que aprende a selecionar o conjunto mais eficiente de configurações do otimizador para uma determinada query. Em vez de depender inteiramente de estimativas do otimizador para comparar planos de configurações diferentes, a solução baseia-se num algoritmo de seleção greedy que suporta vários tipos de técnicas de modelagem preditiva, desde técnicas mais tradicionais a uma abordagem de deep learning. O sistema é avaliado experimentalmente com os workloads TPC-H e Join Ordering Benchmark para medir o custo e os benefícios de adicionar aprendizagem automática a otimizadores de queries tradicionais.This work is financed by National Funds through the Portuguese funding agency, FCT - Fundação para a Ciência e a Tecnologia, within project UIDB/50014/2020.Coelho, Fábio André Castanheira LuísVilaça, Ricardo Manuel PereiraUniversidade do MinhoSouto, Rui Pedro Sousa Rodrigues do2021-10-272021-10-27T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/84186eng203259335info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:12:00Zoai:repositorium.sdum.uminho.pt:1822/84186Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:03:53.751120Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Query optimizers based on machine learning techniques
title Query optimizers based on machine learning techniques
spellingShingle Query optimizers based on machine learning techniques
Souto, Rui Pedro Sousa Rodrigues do
Database tuning
Machine learning
Query optimization
Aprendizagem automática
Otimização de queries
Tuning de base de dados
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Query optimizers based on machine learning techniques
title_full Query optimizers based on machine learning techniques
title_fullStr Query optimizers based on machine learning techniques
title_full_unstemmed Query optimizers based on machine learning techniques
title_sort Query optimizers based on machine learning techniques
author Souto, Rui Pedro Sousa Rodrigues do
author_facet Souto, Rui Pedro Sousa Rodrigues do
author_role author
dc.contributor.none.fl_str_mv Coelho, Fábio André Castanheira Luís
Vilaça, Ricardo Manuel Pereira
Universidade do Minho
dc.contributor.author.fl_str_mv Souto, Rui Pedro Sousa Rodrigues do
dc.subject.por.fl_str_mv Database tuning
Machine learning
Query optimization
Aprendizagem automática
Otimização de queries
Tuning de base de dados
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Database tuning
Machine learning
Query optimization
Aprendizagem automática
Otimização de queries
Tuning de base de dados
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado integrado em Engenharia Informática
publishDate 2021
dc.date.none.fl_str_mv 2021-10-27
2021-10-27T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/84186
url https://hdl.handle.net/1822/84186
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 203259335
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132446626676736

Registros relacionados