Science data vaults in monetDB: a case study

Detalhes bibliográficos
Autor(a) principal: Sá, João Nuno Araújo
Data de Publicação: 2011
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/1822/28065
Resumo: Dissertação mestrado em Engenharia de Informática
id RCAP_6ae96b5b0f7cccb8c9d9578f44f508a9
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/28065
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Science data vaults in monetDB: a case study681.3:5252:681.3Dissertação mestrado em Engenharia de InformáticaNowadays, the amount of data generated by scientific instruments (data captured) and computer simulations (data generated) is very large. The data volumes are getting bigger, due to the improved precision of the new instruments, or due to the increasing number of collecting stations. This requires new scientific methods to analyse and organize the data. However, it is not so easy to deal with this data, and with all the steps that the data have to get through (capture, organize, analyze, visualize, and publish). A lot of data is collected (captured), but not curated (organized, analyzed) or published. In this thesis we focus on the astronomical data, typically they are stored in FITS files (Flexible Image Transport System). We will investigate the access and querying of this data by means of database technology. The target database system is MonetDB, an open-source column-store database with record of successful application to analytical workloads and scientific applications (SkyServer). Given the results of the experiments, the perceptible superiority presented by MonetDB over STILTS when more computation is required, and the success obtained during the execution of the use case proposed by an astronomer working at the CWI, we can declare that MonetDB is a powerfull and robust alternative to manipulate and access information contained in FITS files.Hoje em dia, a quantidade de dados gerada por instrumentos científicos (dados capturados) e por simulações de computador (dados gerados) é muito grande. A quantidade de dados está a tornar-se cada vez maior, quer por melhorias na precisão dos novos intrumentos, quer pelo aumento do número de estações que recolhem os dados. Isto requere novos métodos científicos que permitam analisar e organizar os dados. No entanto, não é fácil lidar com estes dados, e com todos os passos pelos quais necessitam de passar (capturar, organizar, analisar, visualizar e publicar). Muitos são coleccionados (captura), mas não são selecionados (organização, análise) ou publicados. Nesta tese focamo-nos nos dados astronómicos, que são geralmente armazenados em ficheiros FITS (Flexible Image Transport System). Vamos investigar o acesso a esses dados, e pesquisar informação neles contida, utilizando para isso uma tecnologia de base de dados. A base de dados alvo é o MonetDB, uma base de dados de armazenamento por colunas, de código livre, que já demonstrou ter sucesso em aplicações que analisam a carga de trabalho e aplicações científicas (SkyServer). Perante os resultados obtidos durante as experiências, a perceptível superioridade apresentada pelo MonetDB em relação à ferramenta STILTS quando mais computação é exigida, e por último, pelo sucesso na execução do conjunto de testes apresentado pelo astronómo que trabalha no CWI, podemos afirmar que o MonetDB é uma alternativa forte e robusta para manipular e aceder informação contida em ficheiros FITS.Pereira, José, 1973-Kertsen, MartinUniversidade do MinhoSá, João Nuno Araújo2011-09-262011-09-26T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/1822/28065enginfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:43:18Zoai:repositorium.sdum.uminho.pt:1822/28065Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:40:46.300102Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Science data vaults in monetDB: a case study
title Science data vaults in monetDB: a case study
spellingShingle Science data vaults in monetDB: a case study
Sá, João Nuno Araújo
681.3:52
52:681.3
title_short Science data vaults in monetDB: a case study
title_full Science data vaults in monetDB: a case study
title_fullStr Science data vaults in monetDB: a case study
title_full_unstemmed Science data vaults in monetDB: a case study
title_sort Science data vaults in monetDB: a case study
author Sá, João Nuno Araújo
author_facet Sá, João Nuno Araújo
author_role author
dc.contributor.none.fl_str_mv Pereira, José, 1973-
Kertsen, Martin
Universidade do Minho
dc.contributor.author.fl_str_mv Sá, João Nuno Araújo
dc.subject.por.fl_str_mv 681.3:52
52:681.3
topic 681.3:52
52:681.3
description Dissertação mestrado em Engenharia de Informática
publishDate 2011
dc.date.none.fl_str_mv 2011-09-26
2011-09-26T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1822/28065
url http://hdl.handle.net/1822/28065
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132954294747136

Registros relacionados