Captura de proveniência assíncrona em simulações computacionais
Autor(a) principal: | |
---|---|
Data de Publicação: | 2018 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFRJ |
Texto Completo: | http://hdl.handle.net/11422/12980 |
Resumo: | Simulações computacionais em larga escala são experimentos computacionais cada vez com mais processamento de dados. Usuários e desenvolvedores deste tipo de simulação geralmente realizam análises sobre dados científicos durante a execução da simulação. Esta não é uma tarefa trivial, já que as simulações em larga escala costumam ser executadas em ambientes de processamento de alto desempenho e produzir grande volume de dados. Soluções existentes, como o DfAnalyzer, fazem uso de dados de proveniência para auxiliar esta análise com muito sucesso. No entanto, esses sistemas possuem abordagens síncronas de coleta de dados, o que dificulta a sua instalação e, principalmente, interfere no desempenho da simulação computacional. Esta dissertação propõe uma abordagem assíncrona de coleta de dados de proveniência com o objetivo de disponibilizar dados científicos para consulta durante a execução da simulação sem muito impacto no seu tempo de execução. Para validar as estratégias propostas, foi desenvolvida a ferramenta Asynchronous Dataflow Analyzer. A implementação realizada estende o DfAnalyzer para adotar o assincronismo proposto e simplifica a configuração do sistema por meio da flexibilização da gerência da proveniência prospectiva. Os resultados experimentais, com uma simulação de processos de sedimentação de solos, mostram que a ferramenta é capaz de atender as necessidades de análises de dados dos usuários de simulações computacionais com sobrecargas inferiores a ferramentas existentes. |
id |
UFRJ_c301242f0115b0e104d478c19db9fdc3 |
---|---|
oai_identifier_str |
oai:pantheon.ufrj.br:11422/12980 |
network_acronym_str |
UFRJ |
network_name_str |
Repositório Institucional da UFRJ |
repository_id_str |
|
spelling |
Leite, Luciano Silvahttp://lattes.cnpq.br/0743793296062293http://lattes.cnpq.br/9659556477638893Oliveira, Daniel Cardoso Moraes dePires, Paulo de FigueiredoMattoso, Marta Lima de Queirós2020-08-25T14:16:17Z2023-11-30T03:01:39Z2018-09http://hdl.handle.net/11422/12980Simulações computacionais em larga escala são experimentos computacionais cada vez com mais processamento de dados. Usuários e desenvolvedores deste tipo de simulação geralmente realizam análises sobre dados científicos durante a execução da simulação. Esta não é uma tarefa trivial, já que as simulações em larga escala costumam ser executadas em ambientes de processamento de alto desempenho e produzir grande volume de dados. Soluções existentes, como o DfAnalyzer, fazem uso de dados de proveniência para auxiliar esta análise com muito sucesso. No entanto, esses sistemas possuem abordagens síncronas de coleta de dados, o que dificulta a sua instalação e, principalmente, interfere no desempenho da simulação computacional. Esta dissertação propõe uma abordagem assíncrona de coleta de dados de proveniência com o objetivo de disponibilizar dados científicos para consulta durante a execução da simulação sem muito impacto no seu tempo de execução. Para validar as estratégias propostas, foi desenvolvida a ferramenta Asynchronous Dataflow Analyzer. A implementação realizada estende o DfAnalyzer para adotar o assincronismo proposto e simplifica a configuração do sistema por meio da flexibilização da gerência da proveniência prospectiva. Os resultados experimentais, com uma simulação de processos de sedimentação de solos, mostram que a ferramenta é capaz de atender as necessidades de análises de dados dos usuários de simulações computacionais com sobrecargas inferiores a ferramentas existentes.Large-scale computational simulations are computational experiments increasingly more processing intensive. Users and developers of this type of simulation generally analyze data during simulation execution. This is not a trivial task since largescale simulations are often performed in high-performance processing environments and can produce a large volume of data. Existing solutions, as DfAnalyzer, use provenance data to assist analysis with success. However, these systems use synchronous approaches to gather data that makes difficult to set up it and, mainly, interferes in the performance of the computational simulation. This dissertation proposes an approach to asynchronously collect provenance data making it available for analysis during the execution of the simulation with the least possible delay. In order to evaluate the proposed strategies, a tool, Asynchronous Dataflow Analyzer. This implementation extends DfAnalyzer to use the proposed asynchronous approach and to simplify the configuration process by making the prospective provenance definition process more flexible. The experimental results, with a soils sedimentation simulation, show that the tool is able to meet the needs of users of large-scale computational simulations with lower overloads than similar tools.Submitted by Daniele Fonseca (daniele@ct.ufrj.br) on 2020-08-25T14:16:17Z No. of bitstreams: 1 LucianoSilvaLeite-min.pdf: 717340 bytes, checksum: 76079153fbf1c58edfa20556c36468ea (MD5)Made available in DSpace on 2020-08-25T14:16:17Z (GMT). No. of bitstreams: 1 LucianoSilvaLeite-min.pdf: 717340 bytes, checksum: 76079153fbf1c58edfa20556c36468ea (MD5) Previous issue date: 2018-09porUniversidade Federal do Rio de JaneiroPrograma de Pós-Graduação em Engenharia de Sistemas e ComputaçãoUFRJBrasilInstituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de EngenhariaCNPQ::ENGENHARIASProveniência de dadosSimulação computacionalCaptura de proveniência assíncrona em simulações computacionaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisabertoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRJinstname:Universidade Federal do Rio de Janeiro (UFRJ)instacron:UFRJORIGINALLucianoSilvaLeite-min.pdfLucianoSilvaLeite-min.pdfapplication/pdf717340http://pantheon.ufrj.br:80/bitstream/11422/12980/1/LucianoSilvaLeite-min.pdf76079153fbf1c58edfa20556c36468eaMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81853http://pantheon.ufrj.br:80/bitstream/11422/12980/2/license.txtdd32849f2bfb22da963c3aac6e26e255MD5211422/129802023-11-30 00:01:39.119oai:pantheon.ufrj.br:11422/12980TElDRU7Dh0EgTsODTy1FWENMVVNJVkEgREUgRElTVFJJQlVJw4fDg08KCkFvIGFzc2luYXIgZSBlbnRyZWdhciBlc3RhIGxpY2Vuw6dhLCB2b2PDqihzKSBvKHMpIGF1dG9yKGVzKSBvdSBwcm9wcmlldMOhcmlvKHMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBjb25jZWRlKG0pIGFvIFJlcG9zaXTDs3JpbyBQYW50aGVvbiBkYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkbyBSaW8gZGUgSmFuZWlybyAoVUZSSikgbyBkaXJlaXRvIG7Do28gLSBleGNsdXNpdm8gZGUgcmVwcm9kdXppciwgY29udmVydGVyIChjb21vIGRlZmluaWRvIGFiYWl4byksIGUvb3UgZGlzdHJpYnVpciBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vKSBlbSB0b2RvIG8gbXVuZG8sIGVtIGZvcm1hdG8gZWxldHLDtG5pY28gZSBlbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8sIG1hcyBuw6NvIGxpbWl0YWRvIGEgw6F1ZGlvIGUvb3UgdsOtZGVvLgoKVm9jw6ogY29uY29yZGEgcXVlIGEgVUZSSiBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhZHV6aXIgYSBhcHJlc2VudGHDp8OjbyBkZSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gY29tIGEgZmluYWxpZGFkZSBkZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogdGFtYsOpbSBjb25jb3JkYSBxdWUgYSBVRlJKIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXNzYSBzdWJtaXNzw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8OjbyBkaWdpdGFsLgoKRGVjbGFyYSBxdWUgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgc2V1IHRyYWJhbGhvIG9yaWdpbmFsLCBlIHF1ZSB2b2PDqiB0ZW0gbyBkaXJlaXRvIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIGEgc3VhIGFwcmVzZW50YcOnw6NvLCBjb20gbyBtZWxob3IgZGUgc2V1cyBjb25oZWNpbWVudG9zLCBuw6NvIGluZnJpbmdpIGRpcmVpdG9zIGF1dG9yYWlzIGRlIHRlcmNlaXJvcy4KClNlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIGNvbnTDqW0gbWF0ZXJpYWwgZG8gcXVhbCB2b2PDqiBuw6NvIHRlbSBkaXJlaXRvcyBkZSBhdXRvciwgZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBlIGNvbmNlZGUgYSBVRlJKIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRhIHN1Ym1pc3PDo28uCgpTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqSBiYXNlYWRvIGVtIHRyYWJhbGhvIHF1ZSBmb2ksIG91IHRlbSBzaWRvIHBhdHJvY2luYWRvIG91IGFwb2lhZG8gcG9yIHVtYSBhZ8OqbmNpYSBvdSBvdXRybyhzKSBvcmdhbmlzbW8ocykgcXVlIG7Do28gYSBVRlJKLCB2b2PDqiBkZWNsYXJhIHF1ZSBjdW1wcml1IHF1YWxxdWVyIGRpcmVpdG8gZGUgUkVWSVPDg08gb3UgZGUgb3V0cmFzIG9icmlnYcOnw7VlcyByZXF1ZXJpZGFzIHBvciBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUkogaXLDoSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8ocykgc2V1KHMpIG5vbWUocykgY29tbyBhdXRvcihlcykgb3UgcHJvcHJpZXTDoXJpbyhzKSBkYSBzdWJtaXNzw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIHBhcmEgYWzDqW0gZGFzIHBlcm1pdGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EsIG5vIGF0byBkZSBzdWJtaXNzw6NvLgo=Repositório de PublicaçõesPUBhttp://www.pantheon.ufrj.br/oai/requestopendoar:2023-11-30T03:01:39Repositório Institucional da UFRJ - Universidade Federal do Rio de Janeiro (UFRJ)false |
dc.title.pt_BR.fl_str_mv |
Captura de proveniência assíncrona em simulações computacionais |
title |
Captura de proveniência assíncrona em simulações computacionais |
spellingShingle |
Captura de proveniência assíncrona em simulações computacionais Leite, Luciano Silva CNPQ::ENGENHARIAS Proveniência de dados Simulação computacional |
title_short |
Captura de proveniência assíncrona em simulações computacionais |
title_full |
Captura de proveniência assíncrona em simulações computacionais |
title_fullStr |
Captura de proveniência assíncrona em simulações computacionais |
title_full_unstemmed |
Captura de proveniência assíncrona em simulações computacionais |
title_sort |
Captura de proveniência assíncrona em simulações computacionais |
author |
Leite, Luciano Silva |
author_facet |
Leite, Luciano Silva |
author_role |
author |
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/0743793296062293 |
dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/9659556477638893 |
dc.contributor.author.fl_str_mv |
Leite, Luciano Silva |
dc.contributor.referee1.fl_str_mv |
Oliveira, Daniel Cardoso Moraes de |
dc.contributor.referee2.fl_str_mv |
Pires, Paulo de Figueiredo |
dc.contributor.advisor1.fl_str_mv |
Mattoso, Marta Lima de Queirós |
contributor_str_mv |
Oliveira, Daniel Cardoso Moraes de Pires, Paulo de Figueiredo Mattoso, Marta Lima de Queirós |
dc.subject.cnpq.fl_str_mv |
CNPQ::ENGENHARIAS |
topic |
CNPQ::ENGENHARIAS Proveniência de dados Simulação computacional |
dc.subject.por.fl_str_mv |
Proveniência de dados Simulação computacional |
description |
Simulações computacionais em larga escala são experimentos computacionais cada vez com mais processamento de dados. Usuários e desenvolvedores deste tipo de simulação geralmente realizam análises sobre dados científicos durante a execução da simulação. Esta não é uma tarefa trivial, já que as simulações em larga escala costumam ser executadas em ambientes de processamento de alto desempenho e produzir grande volume de dados. Soluções existentes, como o DfAnalyzer, fazem uso de dados de proveniência para auxiliar esta análise com muito sucesso. No entanto, esses sistemas possuem abordagens síncronas de coleta de dados, o que dificulta a sua instalação e, principalmente, interfere no desempenho da simulação computacional. Esta dissertação propõe uma abordagem assíncrona de coleta de dados de proveniência com o objetivo de disponibilizar dados científicos para consulta durante a execução da simulação sem muito impacto no seu tempo de execução. Para validar as estratégias propostas, foi desenvolvida a ferramenta Asynchronous Dataflow Analyzer. A implementação realizada estende o DfAnalyzer para adotar o assincronismo proposto e simplifica a configuração do sistema por meio da flexibilização da gerência da proveniência prospectiva. Os resultados experimentais, com uma simulação de processos de sedimentação de solos, mostram que a ferramenta é capaz de atender as necessidades de análises de dados dos usuários de simulações computacionais com sobrecargas inferiores a ferramentas existentes. |
publishDate |
2018 |
dc.date.issued.fl_str_mv |
2018-09 |
dc.date.accessioned.fl_str_mv |
2020-08-25T14:16:17Z |
dc.date.available.fl_str_mv |
2023-11-30T03:01:39Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/11422/12980 |
url |
http://hdl.handle.net/11422/12980 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal do Rio de Janeiro |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Engenharia de Sistemas e Computação |
dc.publisher.initials.fl_str_mv |
UFRJ |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de Engenharia |
publisher.none.fl_str_mv |
Universidade Federal do Rio de Janeiro |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRJ instname:Universidade Federal do Rio de Janeiro (UFRJ) instacron:UFRJ |
instname_str |
Universidade Federal do Rio de Janeiro (UFRJ) |
instacron_str |
UFRJ |
institution |
UFRJ |
reponame_str |
Repositório Institucional da UFRJ |
collection |
Repositório Institucional da UFRJ |
bitstream.url.fl_str_mv |
http://pantheon.ufrj.br:80/bitstream/11422/12980/1/LucianoSilvaLeite-min.pdf http://pantheon.ufrj.br:80/bitstream/11422/12980/2/license.txt |
bitstream.checksum.fl_str_mv |
76079153fbf1c58edfa20556c36468ea dd32849f2bfb22da963c3aac6e26e255 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFRJ - Universidade Federal do Rio de Janeiro (UFRJ) |
repository.mail.fl_str_mv |
|
_version_ |
1784097187928473600 |