Analytical querying with typed linear algebra: integration with MonetDB

Detalhes bibliográficos
Autor(a) principal: Pereira, Lucas Ribeiro
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/83247
Resumo: Dissertação de mestrado integrado em Informatics Engineering
id RCAP_f3472568ee0301d1f8e2eadad0926a9a
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/83247
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Analytical querying with typed linear algebra: integration with MonetDBOLAPColumnar DBTyped linear algebraRelational matrix algebraMonetDBBase de dados colunarÁlgebra linear tipadaÁlgebra relacional matricialEngenharia e Tecnologia::Outras Engenharias e TecnologiasDissertação de mestrado integrado em Informatics EngineeringCurrent digital transformations in society heavily rely on safe, easy-to-use, high-performance data storage and analysis for smart decision taking. This triggered the need for efficient analytical querying solutions and the columnar database model is increasingly regarded as the most efficient model for data organization in large data banks. MonetDB is a pioneer in the column-wise database model and is currently at the forefront of high performance DBMS engine. A Linear Algebra Querying (LAQ) engine, using a columnar database paradigm and strongly inspired on Typed Linear Algebra (TLA), was developed in a former MSc. dissertation, with a prototype Web interface. Performance benchmarking of this engine showed it outperformed conventional referenced DBMS but it failed to beat MonetDB’s performance. This dissertation aims to improve the performance of the LAQ engine by following a different path: instead of a standalone engine, the new approach implements the engine on top of MonetDB extended with RMA (Relational Matrix Algebra) and inspired by the TLA approach. This enables the use of LAQ scripting to replace the main stream relational algebra query language approach given by SQL. Matrix operations commonly used in LAQ/TLA, such as matrix-matrix multiplication, Khatri-Rao product or Hadamard-Schur product, had to be implemented in RMA to shift from the relational algebra paradigm to TLA. A thorough analysis of the MonetDB/RMA showed the need to implement key TLA operators that are not available at the frontend. Such operators were implemented and successfully tested and validated, paving the way to future benchmarking its performance with TPC-H/OLAP queries and consequent fine tuning of the engine.Atualmente, as transformações digitais na sociedade confiam fortemente no armazenamento e na análise de dados seguros, fáceis de usar e de alto desempenho para tomadas de decisão inteligentes. Este facto desencadeou a necessidade de soluções de consultas analíticas eficientes, em que o modelo de bases de dados colunar é cada vez mais considerado o modelo mais eficiente para organização de dados em grandes bancos de dados. MonetDB é um sistema pioneiro no modelo de bases de dados colunar e atualmente está na vanguarda de DBMS’s de alto desempenho. Um motor Linear Algebra Querying (LAQ), que usa o paradigma de bases de dados colunar e fortemente inspirado em Álgebra Linear Tipada (TLA), foi desenvolvido numa antiga dissertação de mestrado em Engenharia Informática. O benchmarking do desempenho deste motor mostrou que supera DBMS tradicionais, mas não conseguiu superar o desempenho do MonetDB. Esta dissertação visa melhorar o desempenho do motor LAQ seguindo um caminho diferente: em vez de um motor autónomo, a nova abordagem implementa o motor sobre o motor do MonetDB estendido com RMA (Álgebra Relacional Matricial) e inspirado na abordagem de TLA. Isto permite o uso de scripts LAQ para substituir a abordagem da linguagem de consulta de álgebra relacional fornecida pelo SQL. Operações de matrizes comumente usadas em LAQ / TLA, como multiplicação de matrizes, produto Khatri-Rao ou produto Hadamard-Schur, tiveram de ser implementadas em RMA para mudar do paradigma da álgebra relacional para TLA. Uma análise completa do MonetDB / RMA mostrou a necessidade de implementar os principais operadores de TLA que não estão disponíveis no front-end. Esses operadores foram implementados, testados e validados com sucesso, abrindo caminho para um futuro benchmarking do seu desempenho com queries TPC-H / OLAP e consequente, ajuste do motor.Oliveira, João NunoProença, Alberto JoséUniversidade do MinhoPereira, Lucas Ribeiro20212021-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/83247eng203231406info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:33:44Zoai:repositorium.sdum.uminho.pt:1822/83247Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:29:18.679384Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Analytical querying with typed linear algebra: integration with MonetDB
title Analytical querying with typed linear algebra: integration with MonetDB
spellingShingle Analytical querying with typed linear algebra: integration with MonetDB
Pereira, Lucas Ribeiro
OLAP
Columnar DB
Typed linear algebra
Relational matrix algebra
MonetDB
Base de dados colunar
Álgebra linear tipada
Álgebra relacional matricial
Engenharia e Tecnologia::Outras Engenharias e Tecnologias
title_short Analytical querying with typed linear algebra: integration with MonetDB
title_full Analytical querying with typed linear algebra: integration with MonetDB
title_fullStr Analytical querying with typed linear algebra: integration with MonetDB
title_full_unstemmed Analytical querying with typed linear algebra: integration with MonetDB
title_sort Analytical querying with typed linear algebra: integration with MonetDB
author Pereira, Lucas Ribeiro
author_facet Pereira, Lucas Ribeiro
author_role author
dc.contributor.none.fl_str_mv Oliveira, João Nuno
Proença, Alberto José
Universidade do Minho
dc.contributor.author.fl_str_mv Pereira, Lucas Ribeiro
dc.subject.por.fl_str_mv OLAP
Columnar DB
Typed linear algebra
Relational matrix algebra
MonetDB
Base de dados colunar
Álgebra linear tipada
Álgebra relacional matricial
Engenharia e Tecnologia::Outras Engenharias e Tecnologias
topic OLAP
Columnar DB
Typed linear algebra
Relational matrix algebra
MonetDB
Base de dados colunar
Álgebra linear tipada
Álgebra relacional matricial
Engenharia e Tecnologia::Outras Engenharias e Tecnologias
description Dissertação de mestrado integrado em Informatics Engineering
publishDate 2021
dc.date.none.fl_str_mv 2021
2021-01-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/83247
url https://hdl.handle.net/1822/83247
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 203231406
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132791818944512

Registros relacionados