Análise de dados científicos baseada em algoritmos de indexação bitmap

Detalhes bibliográficos
Autor(a) principal: Leite, José Vitor Delgado
Data de Publicação: 2017
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFRJ
Texto Completo: http://hdl.handle.net/11422/8656
Resumo: As simulações computacionais de larga escala usualmente consomem e produzem grandes volumes de arquivos de dados científicos, os quais podem apresentar diferentes formatos. Os usuários, por sua vez, comumente necessitam analisar dados específicos de domínio baseados em elementos de dados relacionados por meio de múltiplos arquivos gerados ao longo da execução de simulações computacionais. Diferentes soluções existentes, como o FastBit e o NoDB, buscam apoiar esta análise por meio da indexação de dados científicos de forma a permitir o acesso direto a elementos específicos de regiões de interesse em arquivos de dados científicos. Entretanto, tais soluções são limitadas a analisar um único arquivo de dados científicos por vez, ao passo que são utilizadas apenas após a execução de simulações computacionais. A arquitetura ARMFUL propõe uma solução capaz de garantir a gerência do fluxo de dados, registrar elementos de dados científicos relacionados em uma base de proveniência e combinar técnicas de análise de arquivos de dados científicos em tempo de execução. A partir de um modelo de dados que apoia a integração de dados de execução da simulação computacional e dados de domínio, a arquitetura permite consultas a elementos de dados relacionados por múltiplos arquivos. Esta dissertação propõe a implementação de instâncias dos componentes de indexação de dados científicos e de processamento de consultas presentes na arquitetura ARMFUL, buscando reduzir o tempo total de ingestão de dados na base de proveniência e apoiar a análise exploratória de dados científicos.
id UFRJ_8d4ab4c7c22e191ea61754b05d682f81
oai_identifier_str oai:pantheon.ufrj.br:11422/8656
network_acronym_str UFRJ
network_name_str Repositório Institucional da UFRJ
repository_id_str
spelling Leite, José Vitor Delgadohttp://lattes.cnpq.br/8845794826651812Lima, Alexandre de Assis BentoPorto, Fabio Andre MachadoMattoso, Marta Lima de Queirós2019-07-04T14:03:58Z2023-11-30T03:00:31Z2017-03http://hdl.handle.net/11422/8656As simulações computacionais de larga escala usualmente consomem e produzem grandes volumes de arquivos de dados científicos, os quais podem apresentar diferentes formatos. Os usuários, por sua vez, comumente necessitam analisar dados específicos de domínio baseados em elementos de dados relacionados por meio de múltiplos arquivos gerados ao longo da execução de simulações computacionais. Diferentes soluções existentes, como o FastBit e o NoDB, buscam apoiar esta análise por meio da indexação de dados científicos de forma a permitir o acesso direto a elementos específicos de regiões de interesse em arquivos de dados científicos. Entretanto, tais soluções são limitadas a analisar um único arquivo de dados científicos por vez, ao passo que são utilizadas apenas após a execução de simulações computacionais. A arquitetura ARMFUL propõe uma solução capaz de garantir a gerência do fluxo de dados, registrar elementos de dados científicos relacionados em uma base de proveniência e combinar técnicas de análise de arquivos de dados científicos em tempo de execução. A partir de um modelo de dados que apoia a integração de dados de execução da simulação computacional e dados de domínio, a arquitetura permite consultas a elementos de dados relacionados por múltiplos arquivos. Esta dissertação propõe a implementação de instâncias dos componentes de indexação de dados científicos e de processamento de consultas presentes na arquitetura ARMFUL, buscando reduzir o tempo total de ingestão de dados na base de proveniência e apoiar a análise exploratória de dados científicos.Computer simulations in large-scale often consume and produce a large volume of raw data files, which can be presented in different formats. Users usually need to analyze domain-specific data based on data elements related through multiple files generated along the computer simulation execution. Different existing solutions, like FastBit and NoDB, intend to support this analysis by indexing raw data in order to allow direct access to specific elements in raw data files regions of interest. However, those solutions are limited to analyze a single raw data file at once, while they are used only after computer simulation execution. The ARMFUL architecture proposes a solution capable of guarantee dataflow management, record related raw data elements in a provenance database and combine techniques of raw data file analysis at runtime. Through a data model that supports integration between computer simulation execution data and domain data, the architecture allows for queries on data elements related by multiple files. This dissertation proposes the implementation of instances of raw data indexing and query processor components presented by ARMFUL architecture, aiming to reduce the elapsed time of data ingestion in the provenance database and support raw data exploratory analysis.Submitted by Christianne Fontes de Andrade (cfontes@ct.ufrj.br) on 2019-07-04T14:03:58Z No. of bitstreams: 1 880229.pdf: 803757 bytes, checksum: e6f51eb24f4de216cf6319046c39b37a (MD5)Made available in DSpace on 2019-07-04T14:03:58Z (GMT). No. of bitstreams: 1 880229.pdf: 803757 bytes, checksum: e6f51eb24f4de216cf6319046c39b37a (MD5) Previous issue date: 2017-03porUniversidade Federal do Rio de JaneiroPrograma de Pós-Graduação em Engenharia de Sistemas e ComputaçãoUFRJBrasilInstituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de EngenhariaCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOEngenharia de Sistemas e ComputaçãoAnálise de dados científicosAlgoritmo bitmapAnálise de dados científicos baseada em algoritmos de indexação bitmapinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisabertoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRJinstname:Universidade Federal do Rio de Janeiro (UFRJ)instacron:UFRJORIGINAL880229.pdf880229.pdfapplication/pdf803757http://pantheon.ufrj.br:80/bitstream/11422/8656/1/880229.pdfe6f51eb24f4de216cf6319046c39b37aMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81853http://pantheon.ufrj.br:80/bitstream/11422/8656/2/license.txtdd32849f2bfb22da963c3aac6e26e255MD5211422/86562023-11-30 00:00:31.454oai:pantheon.ufrj.br:11422/8656TElDRU7Dh0EgTsODTy1FWENMVVNJVkEgREUgRElTVFJJQlVJw4fDg08KCkFvIGFzc2luYXIgZSBlbnRyZWdhciBlc3RhIGxpY2Vuw6dhLCB2b2PDqihzKSBvKHMpIGF1dG9yKGVzKSBvdSBwcm9wcmlldMOhcmlvKHMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBjb25jZWRlKG0pIGFvIFJlcG9zaXTDs3JpbyBQYW50aGVvbiBkYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkbyBSaW8gZGUgSmFuZWlybyAoVUZSSikgbyBkaXJlaXRvIG7Do28gLSBleGNsdXNpdm8gZGUgcmVwcm9kdXppciwgY29udmVydGVyIChjb21vIGRlZmluaWRvIGFiYWl4byksIGUvb3UgZGlzdHJpYnVpciBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vKSBlbSB0b2RvIG8gbXVuZG8sIGVtIGZvcm1hdG8gZWxldHLDtG5pY28gZSBlbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8sIG1hcyBuw6NvIGxpbWl0YWRvIGEgw6F1ZGlvIGUvb3UgdsOtZGVvLgoKVm9jw6ogY29uY29yZGEgcXVlIGEgVUZSSiBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhZHV6aXIgYSBhcHJlc2VudGHDp8OjbyBkZSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gY29tIGEgZmluYWxpZGFkZSBkZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogdGFtYsOpbSBjb25jb3JkYSBxdWUgYSBVRlJKIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXNzYSBzdWJtaXNzw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8OjbyBkaWdpdGFsLgoKRGVjbGFyYSBxdWUgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgc2V1IHRyYWJhbGhvIG9yaWdpbmFsLCBlIHF1ZSB2b2PDqiB0ZW0gbyBkaXJlaXRvIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIGEgc3VhIGFwcmVzZW50YcOnw6NvLCBjb20gbyBtZWxob3IgZGUgc2V1cyBjb25oZWNpbWVudG9zLCBuw6NvIGluZnJpbmdpIGRpcmVpdG9zIGF1dG9yYWlzIGRlIHRlcmNlaXJvcy4KClNlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIGNvbnTDqW0gbWF0ZXJpYWwgZG8gcXVhbCB2b2PDqiBuw6NvIHRlbSBkaXJlaXRvcyBkZSBhdXRvciwgZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBlIGNvbmNlZGUgYSBVRlJKIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRhIHN1Ym1pc3PDo28uCgpTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqSBiYXNlYWRvIGVtIHRyYWJhbGhvIHF1ZSBmb2ksIG91IHRlbSBzaWRvIHBhdHJvY2luYWRvIG91IGFwb2lhZG8gcG9yIHVtYSBhZ8OqbmNpYSBvdSBvdXRybyhzKSBvcmdhbmlzbW8ocykgcXVlIG7Do28gYSBVRlJKLCB2b2PDqiBkZWNsYXJhIHF1ZSBjdW1wcml1IHF1YWxxdWVyIGRpcmVpdG8gZGUgUkVWSVPDg08gb3UgZGUgb3V0cmFzIG9icmlnYcOnw7VlcyByZXF1ZXJpZGFzIHBvciBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUkogaXLDoSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8ocykgc2V1KHMpIG5vbWUocykgY29tbyBhdXRvcihlcykgb3UgcHJvcHJpZXTDoXJpbyhzKSBkYSBzdWJtaXNzw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIHBhcmEgYWzDqW0gZGFzIHBlcm1pdGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EsIG5vIGF0byBkZSBzdWJtaXNzw6NvLgo=Repositório de PublicaçõesPUBhttp://www.pantheon.ufrj.br/oai/requestopendoar:2023-11-30T03:00:31Repositório Institucional da UFRJ - Universidade Federal do Rio de Janeiro (UFRJ)false
dc.title.pt_BR.fl_str_mv Análise de dados científicos baseada em algoritmos de indexação bitmap
title Análise de dados científicos baseada em algoritmos de indexação bitmap
spellingShingle Análise de dados científicos baseada em algoritmos de indexação bitmap
Leite, José Vitor Delgado
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Engenharia de Sistemas e Computação
Análise de dados científicos
Algoritmo bitmap
title_short Análise de dados científicos baseada em algoritmos de indexação bitmap
title_full Análise de dados científicos baseada em algoritmos de indexação bitmap
title_fullStr Análise de dados científicos baseada em algoritmos de indexação bitmap
title_full_unstemmed Análise de dados científicos baseada em algoritmos de indexação bitmap
title_sort Análise de dados científicos baseada em algoritmos de indexação bitmap
author Leite, José Vitor Delgado
author_facet Leite, José Vitor Delgado
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/8845794826651812
dc.contributor.author.fl_str_mv Leite, José Vitor Delgado
dc.contributor.referee1.fl_str_mv Lima, Alexandre de Assis Bento
dc.contributor.referee2.fl_str_mv Porto, Fabio Andre Machado
dc.contributor.advisor1.fl_str_mv Mattoso, Marta Lima de Queirós
contributor_str_mv Lima, Alexandre de Assis Bento
Porto, Fabio Andre Machado
Mattoso, Marta Lima de Queirós
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Engenharia de Sistemas e Computação
Análise de dados científicos
Algoritmo bitmap
dc.subject.por.fl_str_mv Engenharia de Sistemas e Computação
Análise de dados científicos
Algoritmo bitmap
description As simulações computacionais de larga escala usualmente consomem e produzem grandes volumes de arquivos de dados científicos, os quais podem apresentar diferentes formatos. Os usuários, por sua vez, comumente necessitam analisar dados específicos de domínio baseados em elementos de dados relacionados por meio de múltiplos arquivos gerados ao longo da execução de simulações computacionais. Diferentes soluções existentes, como o FastBit e o NoDB, buscam apoiar esta análise por meio da indexação de dados científicos de forma a permitir o acesso direto a elementos específicos de regiões de interesse em arquivos de dados científicos. Entretanto, tais soluções são limitadas a analisar um único arquivo de dados científicos por vez, ao passo que são utilizadas apenas após a execução de simulações computacionais. A arquitetura ARMFUL propõe uma solução capaz de garantir a gerência do fluxo de dados, registrar elementos de dados científicos relacionados em uma base de proveniência e combinar técnicas de análise de arquivos de dados científicos em tempo de execução. A partir de um modelo de dados que apoia a integração de dados de execução da simulação computacional e dados de domínio, a arquitetura permite consultas a elementos de dados relacionados por múltiplos arquivos. Esta dissertação propõe a implementação de instâncias dos componentes de indexação de dados científicos e de processamento de consultas presentes na arquitetura ARMFUL, buscando reduzir o tempo total de ingestão de dados na base de proveniência e apoiar a análise exploratória de dados científicos.
publishDate 2017
dc.date.issued.fl_str_mv 2017-03
dc.date.accessioned.fl_str_mv 2019-07-04T14:03:58Z
dc.date.available.fl_str_mv 2023-11-30T03:00:31Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/11422/8656
url http://hdl.handle.net/11422/8656
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal do Rio de Janeiro
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia de Sistemas e Computação
dc.publisher.initials.fl_str_mv UFRJ
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de Engenharia
publisher.none.fl_str_mv Universidade Federal do Rio de Janeiro
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRJ
instname:Universidade Federal do Rio de Janeiro (UFRJ)
instacron:UFRJ
instname_str Universidade Federal do Rio de Janeiro (UFRJ)
instacron_str UFRJ
institution UFRJ
reponame_str Repositório Institucional da UFRJ
collection Repositório Institucional da UFRJ
bitstream.url.fl_str_mv http://pantheon.ufrj.br:80/bitstream/11422/8656/1/880229.pdf
http://pantheon.ufrj.br:80/bitstream/11422/8656/2/license.txt
bitstream.checksum.fl_str_mv e6f51eb24f4de216cf6319046c39b37a
dd32849f2bfb22da963c3aac6e26e255
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRJ - Universidade Federal do Rio de Janeiro (UFRJ)
repository.mail.fl_str_mv
_version_ 1784097148090974208

Registros relacionados