Captura de proveniência assíncrona em simulações computacionais

Detalhes bibliográficos
Autor(a) principal: Leite, Luciano Silva
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFRJ
Texto Completo: http://hdl.handle.net/11422/12980
Resumo: Simulações computacionais em larga escala são experimentos computacionais cada vez com mais processamento de dados. Usuários e desenvolvedores deste tipo de simulação geralmente realizam análises sobre dados científicos durante a execução da simulação. Esta não é uma tarefa trivial, já que as simulações em larga escala costumam ser executadas em ambientes de processamento de alto desempenho e produzir grande volume de dados. Soluções existentes, como o DfAnalyzer, fazem uso de dados de proveniência para auxiliar esta análise com muito sucesso. No entanto, esses sistemas possuem abordagens síncronas de coleta de dados, o que dificulta a sua instalação e, principalmente, interfere no desempenho da simulação computacional. Esta dissertação propõe uma abordagem assíncrona de coleta de dados de proveniência com o objetivo de disponibilizar dados científicos para consulta durante a execução da simulação sem muito impacto no seu tempo de execução. Para validar as estratégias propostas, foi desenvolvida a ferramenta Asynchronous Dataflow Analyzer. A implementação realizada estende o DfAnalyzer para adotar o assincronismo proposto e simplifica a configuração do sistema por meio da flexibilização da gerência da proveniência prospectiva. Os resultados experimentais, com uma simulação de processos de sedimentação de solos, mostram que a ferramenta é capaz de atender as necessidades de análises de dados dos usuários de simulações computacionais com sobrecargas inferiores a ferramentas existentes.
id UFRJ_c301242f0115b0e104d478c19db9fdc3
oai_identifier_str oai:pantheon.ufrj.br:11422/12980
network_acronym_str UFRJ
network_name_str Repositório Institucional da UFRJ
repository_id_str
spelling Leite, Luciano Silvahttp://lattes.cnpq.br/0743793296062293http://lattes.cnpq.br/9659556477638893Oliveira, Daniel Cardoso Moraes dePires, Paulo de FigueiredoMattoso, Marta Lima de Queirós2020-08-25T14:16:17Z2023-11-30T03:01:39Z2018-09http://hdl.handle.net/11422/12980Simulações computacionais em larga escala são experimentos computacionais cada vez com mais processamento de dados. Usuários e desenvolvedores deste tipo de simulação geralmente realizam análises sobre dados científicos durante a execução da simulação. Esta não é uma tarefa trivial, já que as simulações em larga escala costumam ser executadas em ambientes de processamento de alto desempenho e produzir grande volume de dados. Soluções existentes, como o DfAnalyzer, fazem uso de dados de proveniência para auxiliar esta análise com muito sucesso. No entanto, esses sistemas possuem abordagens síncronas de coleta de dados, o que dificulta a sua instalação e, principalmente, interfere no desempenho da simulação computacional. Esta dissertação propõe uma abordagem assíncrona de coleta de dados de proveniência com o objetivo de disponibilizar dados científicos para consulta durante a execução da simulação sem muito impacto no seu tempo de execução. Para validar as estratégias propostas, foi desenvolvida a ferramenta Asynchronous Dataflow Analyzer. A implementação realizada estende o DfAnalyzer para adotar o assincronismo proposto e simplifica a configuração do sistema por meio da flexibilização da gerência da proveniência prospectiva. Os resultados experimentais, com uma simulação de processos de sedimentação de solos, mostram que a ferramenta é capaz de atender as necessidades de análises de dados dos usuários de simulações computacionais com sobrecargas inferiores a ferramentas existentes.Large-scale computational simulations are computational experiments increasingly more processing intensive. Users and developers of this type of simulation generally analyze data during simulation execution. This is not a trivial task since largescale simulations are often performed in high-performance processing environments and can produce a large volume of data. Existing solutions, as DfAnalyzer, use provenance data to assist analysis with success. However, these systems use synchronous approaches to gather data that makes difficult to set up it and, mainly, interferes in the performance of the computational simulation. This dissertation proposes an approach to asynchronously collect provenance data making it available for analysis during the execution of the simulation with the least possible delay. In order to evaluate the proposed strategies, a tool, Asynchronous Dataflow Analyzer. This implementation extends DfAnalyzer to use the proposed asynchronous approach and to simplify the configuration process by making the prospective provenance definition process more flexible. The experimental results, with a soils sedimentation simulation, show that the tool is able to meet the needs of users of large-scale computational simulations with lower overloads than similar tools.Submitted by Daniele Fonseca (daniele@ct.ufrj.br) on 2020-08-25T14:16:17Z No. of bitstreams: 1 LucianoSilvaLeite-min.pdf: 717340 bytes, checksum: 76079153fbf1c58edfa20556c36468ea (MD5)Made available in DSpace on 2020-08-25T14:16:17Z (GMT). No. of bitstreams: 1 LucianoSilvaLeite-min.pdf: 717340 bytes, checksum: 76079153fbf1c58edfa20556c36468ea (MD5) Previous issue date: 2018-09porUniversidade Federal do Rio de JaneiroPrograma de Pós-Graduação em Engenharia de Sistemas e ComputaçãoUFRJBrasilInstituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de EngenhariaCNPQ::ENGENHARIASProveniência de dadosSimulação computacionalCaptura de proveniência assíncrona em simulações computacionaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisabertoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRJinstname:Universidade Federal do Rio de Janeiro (UFRJ)instacron:UFRJORIGINALLucianoSilvaLeite-min.pdfLucianoSilvaLeite-min.pdfapplication/pdf717340http://pantheon.ufrj.br:80/bitstream/11422/12980/1/LucianoSilvaLeite-min.pdf76079153fbf1c58edfa20556c36468eaMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81853http://pantheon.ufrj.br:80/bitstream/11422/12980/2/license.txtdd32849f2bfb22da963c3aac6e26e255MD5211422/129802023-11-30 00:01:39.119oai:pantheon.ufrj.br:11422/12980TElDRU7Dh0EgTsODTy1FWENMVVNJVkEgREUgRElTVFJJQlVJw4fDg08KCkFvIGFzc2luYXIgZSBlbnRyZWdhciBlc3RhIGxpY2Vuw6dhLCB2b2PDqihzKSBvKHMpIGF1dG9yKGVzKSBvdSBwcm9wcmlldMOhcmlvKHMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBjb25jZWRlKG0pIGFvIFJlcG9zaXTDs3JpbyBQYW50aGVvbiBkYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkbyBSaW8gZGUgSmFuZWlybyAoVUZSSikgbyBkaXJlaXRvIG7Do28gLSBleGNsdXNpdm8gZGUgcmVwcm9kdXppciwgY29udmVydGVyIChjb21vIGRlZmluaWRvIGFiYWl4byksIGUvb3UgZGlzdHJpYnVpciBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vKSBlbSB0b2RvIG8gbXVuZG8sIGVtIGZvcm1hdG8gZWxldHLDtG5pY28gZSBlbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8sIG1hcyBuw6NvIGxpbWl0YWRvIGEgw6F1ZGlvIGUvb3UgdsOtZGVvLgoKVm9jw6ogY29uY29yZGEgcXVlIGEgVUZSSiBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhZHV6aXIgYSBhcHJlc2VudGHDp8OjbyBkZSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gY29tIGEgZmluYWxpZGFkZSBkZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogdGFtYsOpbSBjb25jb3JkYSBxdWUgYSBVRlJKIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXNzYSBzdWJtaXNzw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8OjbyBkaWdpdGFsLgoKRGVjbGFyYSBxdWUgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgc2V1IHRyYWJhbGhvIG9yaWdpbmFsLCBlIHF1ZSB2b2PDqiB0ZW0gbyBkaXJlaXRvIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIGEgc3VhIGFwcmVzZW50YcOnw6NvLCBjb20gbyBtZWxob3IgZGUgc2V1cyBjb25oZWNpbWVudG9zLCBuw6NvIGluZnJpbmdpIGRpcmVpdG9zIGF1dG9yYWlzIGRlIHRlcmNlaXJvcy4KClNlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIGNvbnTDqW0gbWF0ZXJpYWwgZG8gcXVhbCB2b2PDqiBuw6NvIHRlbSBkaXJlaXRvcyBkZSBhdXRvciwgZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBlIGNvbmNlZGUgYSBVRlJKIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRhIHN1Ym1pc3PDo28uCgpTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqSBiYXNlYWRvIGVtIHRyYWJhbGhvIHF1ZSBmb2ksIG91IHRlbSBzaWRvIHBhdHJvY2luYWRvIG91IGFwb2lhZG8gcG9yIHVtYSBhZ8OqbmNpYSBvdSBvdXRybyhzKSBvcmdhbmlzbW8ocykgcXVlIG7Do28gYSBVRlJKLCB2b2PDqiBkZWNsYXJhIHF1ZSBjdW1wcml1IHF1YWxxdWVyIGRpcmVpdG8gZGUgUkVWSVPDg08gb3UgZGUgb3V0cmFzIG9icmlnYcOnw7VlcyByZXF1ZXJpZGFzIHBvciBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUkogaXLDoSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8ocykgc2V1KHMpIG5vbWUocykgY29tbyBhdXRvcihlcykgb3UgcHJvcHJpZXTDoXJpbyhzKSBkYSBzdWJtaXNzw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIHBhcmEgYWzDqW0gZGFzIHBlcm1pdGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EsIG5vIGF0byBkZSBzdWJtaXNzw6NvLgo=Repositório de PublicaçõesPUBhttp://www.pantheon.ufrj.br/oai/requestopendoar:2023-11-30T03:01:39Repositório Institucional da UFRJ - Universidade Federal do Rio de Janeiro (UFRJ)false
dc.title.pt_BR.fl_str_mv Captura de proveniência assíncrona em simulações computacionais
title Captura de proveniência assíncrona em simulações computacionais
spellingShingle Captura de proveniência assíncrona em simulações computacionais
Leite, Luciano Silva
CNPQ::ENGENHARIAS
Proveniência de dados
Simulação computacional
title_short Captura de proveniência assíncrona em simulações computacionais
title_full Captura de proveniência assíncrona em simulações computacionais
title_fullStr Captura de proveniência assíncrona em simulações computacionais
title_full_unstemmed Captura de proveniência assíncrona em simulações computacionais
title_sort Captura de proveniência assíncrona em simulações computacionais
author Leite, Luciano Silva
author_facet Leite, Luciano Silva
author_role author
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/0743793296062293
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/9659556477638893
dc.contributor.author.fl_str_mv Leite, Luciano Silva
dc.contributor.referee1.fl_str_mv Oliveira, Daniel Cardoso Moraes de
dc.contributor.referee2.fl_str_mv Pires, Paulo de Figueiredo
dc.contributor.advisor1.fl_str_mv Mattoso, Marta Lima de Queirós
contributor_str_mv Oliveira, Daniel Cardoso Moraes de
Pires, Paulo de Figueiredo
Mattoso, Marta Lima de Queirós
dc.subject.cnpq.fl_str_mv CNPQ::ENGENHARIAS
topic CNPQ::ENGENHARIAS
Proveniência de dados
Simulação computacional
dc.subject.por.fl_str_mv Proveniência de dados
Simulação computacional
description Simulações computacionais em larga escala são experimentos computacionais cada vez com mais processamento de dados. Usuários e desenvolvedores deste tipo de simulação geralmente realizam análises sobre dados científicos durante a execução da simulação. Esta não é uma tarefa trivial, já que as simulações em larga escala costumam ser executadas em ambientes de processamento de alto desempenho e produzir grande volume de dados. Soluções existentes, como o DfAnalyzer, fazem uso de dados de proveniência para auxiliar esta análise com muito sucesso. No entanto, esses sistemas possuem abordagens síncronas de coleta de dados, o que dificulta a sua instalação e, principalmente, interfere no desempenho da simulação computacional. Esta dissertação propõe uma abordagem assíncrona de coleta de dados de proveniência com o objetivo de disponibilizar dados científicos para consulta durante a execução da simulação sem muito impacto no seu tempo de execução. Para validar as estratégias propostas, foi desenvolvida a ferramenta Asynchronous Dataflow Analyzer. A implementação realizada estende o DfAnalyzer para adotar o assincronismo proposto e simplifica a configuração do sistema por meio da flexibilização da gerência da proveniência prospectiva. Os resultados experimentais, com uma simulação de processos de sedimentação de solos, mostram que a ferramenta é capaz de atender as necessidades de análises de dados dos usuários de simulações computacionais com sobrecargas inferiores a ferramentas existentes.
publishDate 2018
dc.date.issued.fl_str_mv 2018-09
dc.date.accessioned.fl_str_mv 2020-08-25T14:16:17Z
dc.date.available.fl_str_mv 2023-11-30T03:01:39Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/11422/12980
url http://hdl.handle.net/11422/12980
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal do Rio de Janeiro
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia de Sistemas e Computação
dc.publisher.initials.fl_str_mv UFRJ
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de Engenharia
publisher.none.fl_str_mv Universidade Federal do Rio de Janeiro
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRJ
instname:Universidade Federal do Rio de Janeiro (UFRJ)
instacron:UFRJ
instname_str Universidade Federal do Rio de Janeiro (UFRJ)
instacron_str UFRJ
institution UFRJ
reponame_str Repositório Institucional da UFRJ
collection Repositório Institucional da UFRJ
bitstream.url.fl_str_mv http://pantheon.ufrj.br:80/bitstream/11422/12980/1/LucianoSilvaLeite-min.pdf
http://pantheon.ufrj.br:80/bitstream/11422/12980/2/license.txt
bitstream.checksum.fl_str_mv 76079153fbf1c58edfa20556c36468ea
dd32849f2bfb22da963c3aac6e26e255
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRJ - Universidade Federal do Rio de Janeiro (UFRJ)
repository.mail.fl_str_mv
_version_ 1784097187928473600

Registros relacionados