Um estudo sobre a contenção de disco em ambientes virtualizados utilizando contêineres e seu impacto sobre aplicações MapReduce

Detalhes bibliográficos
Autor(a) principal: Matteussi, Kassiano José
Data de Publicação: 2016
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da PUC_RS
Texto Completo: http://tede2.pucrs.br/tede2/handle/tede/7013
Resumo: Big Data applications need to process and analyze large data set in parallel, such as MR applications that perform intensive disk operations. In such context, we observed a trend on use container based virtualization to process high-performance applications as MapReduce. However, the use of containers to data-intensive processing brought back many already solved interference problems in the traditional virtualized environments, such as example the interference problem caused by concurrently disk resources usage, also known as disk contention. This work shows an experimental study to investigate the intensive and concurrent usage of write resources in disk: where are concentrated the main disk interference problems, being responsible for leading the virtualized environment that uses containers to process MapReduce application until disk contention. Our result presents a static and dynamic policy for disk resource management in order to minimize the contention between MapReduce applications. Finally, the Makespan metric was evaluated and the gains over the strategies are static 31% and dynamic 26%.
id P_RS_34882a40dce31193117954cd946b4e1a
oai_identifier_str oai:tede2.pucrs.br:tede/7013
network_acronym_str P_RS
network_name_str Biblioteca Digital de Teses e Dissertações da PUC_RS
repository_id_str
spelling De Rose, César Augusto Fonticielha579.850.570-72http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4723497Z5048.379.859-20http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4670641E2Matteussi, Kassiano José2016-10-27T13:30:38Z2016-03-17http://tede2.pucrs.br/tede2/handle/tede/7013Big Data applications need to process and analyze large data set in parallel, such as MR applications that perform intensive disk operations. In such context, we observed a trend on use container based virtualization to process high-performance applications as MapReduce. However, the use of containers to data-intensive processing brought back many already solved interference problems in the traditional virtualized environments, such as example the interference problem caused by concurrently disk resources usage, also known as disk contention. This work shows an experimental study to investigate the intensive and concurrent usage of write resources in disk: where are concentrated the main disk interference problems, being responsible for leading the virtualized environment that uses containers to process MapReduce application until disk contention. Our result presents a static and dynamic policy for disk resource management in order to minimize the contention between MapReduce applications. Finally, the Makespan metric was evaluated and the gains over the strategies are static 31% and dynamic 26%.Aplicações Big Data precisam analisar e processar grandes quantidades de dados em paralelo, como é o caso das aplicações MapReduce que são conhecidas pela utilização intensiva de disco. Nesse contexto, observou-se a tendência em utilizar a virtualização baseada em contêineres para o processamento de aplicações de alto desempenho, como o MapReduce. Entretanto, o uso de contêineres para o processamento intensivo de dados trouxe à tona diversos problemas de interferência já resolvidos para as tecnologias tradicionais de virtualização, como por exemplo a interferência causada pela uso concorrente dos recursos de disco, problema esse também conhecido como contenção de disco. Esse trabalho apresenta um estudo experimental que investiga o uso intensivo e concorrente dos recursos de escrita em disco: em que se concentram os principais problemas de interferência de disco, responsáveis por conduzir os ambientes virtualizados que utilizem contêineres para o processamento de aplicações MapReduce à contenção de disco. Os resultados demonstram que ao utilizar políticas tanto estáticas quanto dinâmicas para o gerenciamento de recursos é possível minimizar os problemas de contenção de disco e acelerar as aplicações MapReduce processadas sobre contêineres. A métrica Makespan foi avaliada e os ganhos sobre as estratégias são de: estática 31% e a dinâmica 26%.Submitted by Setor de Tratamento da Informação - BC/PUCRS (tede2@pucrs.br) on 2016-10-27T13:30:38Z No. of bitstreams: 1 DIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf: 2078809 bytes, checksum: aca87c1407ee47a427ded2bd7f57523f (MD5)Made available in DSpace on 2016-10-27T13:30:38Z (GMT). No. of bitstreams: 1 DIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf: 2078809 bytes, checksum: aca87c1407ee47a427ded2bd7f57523f (MD5) Previous issue date: 2016-03-17application/pdfhttp://tede2.pucrs.br:80/tede2/retrieve/166544/DIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf.jpgporPontifícia Universidade Católica do Rio Grande do SulPrograma de Pós-Graduação em Ciência da ComputaçãoPUCRSBrasilFaculdade de InformáticaREALIDADE VIRTUALCOMPUTAÇÃO EM NUVEMINFORMÁTICACIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOUm estudo sobre a contenção de disco em ambientes virtualizados utilizando contêineres e seu impacto sobre aplicações MapReduceA study of disk contention in virtualized environments using containers and its impact on MapReduce applicationsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis1974996533081274470600600600-30085425104011491443671711205811204509info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da PUC_RSinstname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)instacron:PUC_RSTHUMBNAILDIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf.jpgDIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf.jpgimage/jpeg4165http://tede2.pucrs.br/tede2/bitstream/tede/7013/5/DIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf.jpgdc673bb91b90740e36596e92ba7012c4MD55TEXTDIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf.txtDIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf.txttext/plain155751http://tede2.pucrs.br/tede2/bitstream/tede/7013/4/DIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf.txt6265651e68bc63f8db5739f48d42fec9MD54LICENSElicense.txtlicense.txttext/plain; charset=utf-8610http://tede2.pucrs.br/tede2/bitstream/tede/7013/3/license.txt5a9d6006225b368ef605ba16b4f6d1beMD53ORIGINALDIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdfDIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdfapplication/pdf2078809http://tede2.pucrs.br/tede2/bitstream/tede/7013/2/DIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdfaca87c1407ee47a427ded2bd7f57523fMD52tede/70132016-10-27 12:00:36.034oai:tede2.pucrs.br:tede/7013QXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2HDp8OjbyBFbGV0csO0bmljYTogQ29tIGJhc2Ugbm8gZGlzcG9zdG8gbmEgTGVpIEZlZGVyYWwgbsK6OS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBvIGF1dG9yIEFVVE9SSVpBIGEgcHVibGljYcOnw6NvIGVsZXRyw7RuaWNhIGRhIHByZXNlbnRlIG9icmEgbm8gYWNlcnZvIGRhIEJpYmxpb3RlY2EgRGlnaXRhbCBkYSBQb250aWbDrWNpYSBVbml2ZXJzaWRhZGUgQ2F0w7NsaWNhIGRvIFJpbyBHcmFuZGUgZG8gU3VsLCBzZWRpYWRhIGEgQXYuIElwaXJhbmdhIDY2ODEsIFBvcnRvIEFsZWdyZSwgUmlvIEdyYW5kZSBkbyBTdWwsIGNvbSByZWdpc3RybyBkZSBDTlBKIDg4NjMwNDEzMDAwMi04MSBiZW0gY29tbyBlbSBvdXRyYXMgYmlibGlvdGVjYXMgZGlnaXRhaXMsIG5hY2lvbmFpcyBlIGludGVybmFjaW9uYWlzLCBjb25zw7NyY2lvcyBlIHJlZGVzIMOgcyBxdWFpcyBhIGJpYmxpb3RlY2EgZGEgUFVDUlMgcG9zc2EgYSB2aXIgcGFydGljaXBhciwgc2VtIMO0bnVzIGFsdXNpdm8gYW9zIGRpcmVpdG9zIGF1dG9yYWlzLCBhIHTDrXR1bG8gZGUgZGl2dWxnYcOnw6NvIGRhIHByb2R1w6fDo28gY2llbnTDrWZpY2EuCg==Biblioteca Digital de Teses e Dissertaçõeshttp://tede2.pucrs.br/tede2/PRIhttps://tede2.pucrs.br/oai/requestbiblioteca.central@pucrs.br||opendoar:2016-10-27T14:00:36Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)false
dc.title.por.fl_str_mv Um estudo sobre a contenção de disco em ambientes virtualizados utilizando contêineres e seu impacto sobre aplicações MapReduce
dc.title.alternative.eng.fl_str_mv A study of disk contention in virtualized environments using containers and its impact on MapReduce applications
title Um estudo sobre a contenção de disco em ambientes virtualizados utilizando contêineres e seu impacto sobre aplicações MapReduce
spellingShingle Um estudo sobre a contenção de disco em ambientes virtualizados utilizando contêineres e seu impacto sobre aplicações MapReduce
Matteussi, Kassiano José
REALIDADE VIRTUAL
COMPUTAÇÃO EM NUVEM
INFORMÁTICA
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
title_short Um estudo sobre a contenção de disco em ambientes virtualizados utilizando contêineres e seu impacto sobre aplicações MapReduce
title_full Um estudo sobre a contenção de disco em ambientes virtualizados utilizando contêineres e seu impacto sobre aplicações MapReduce
title_fullStr Um estudo sobre a contenção de disco em ambientes virtualizados utilizando contêineres e seu impacto sobre aplicações MapReduce
title_full_unstemmed Um estudo sobre a contenção de disco em ambientes virtualizados utilizando contêineres e seu impacto sobre aplicações MapReduce
title_sort Um estudo sobre a contenção de disco em ambientes virtualizados utilizando contêineres e seu impacto sobre aplicações MapReduce
author Matteussi, Kassiano José
author_facet Matteussi, Kassiano José
author_role author
dc.contributor.advisor1.fl_str_mv De Rose, César Augusto Fonticielha
dc.contributor.advisor1ID.fl_str_mv 579.850.570-72
dc.contributor.advisor1Lattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4723497Z5
dc.contributor.authorID.fl_str_mv 048.379.859-20
dc.contributor.authorLattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4670641E2
dc.contributor.author.fl_str_mv Matteussi, Kassiano José
contributor_str_mv De Rose, César Augusto Fonticielha
dc.subject.por.fl_str_mv REALIDADE VIRTUAL
COMPUTAÇÃO EM NUVEM
INFORMÁTICA
topic REALIDADE VIRTUAL
COMPUTAÇÃO EM NUVEM
INFORMÁTICA
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
dc.subject.cnpq.fl_str_mv CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
description Big Data applications need to process and analyze large data set in parallel, such as MR applications that perform intensive disk operations. In such context, we observed a trend on use container based virtualization to process high-performance applications as MapReduce. However, the use of containers to data-intensive processing brought back many already solved interference problems in the traditional virtualized environments, such as example the interference problem caused by concurrently disk resources usage, also known as disk contention. This work shows an experimental study to investigate the intensive and concurrent usage of write resources in disk: where are concentrated the main disk interference problems, being responsible for leading the virtualized environment that uses containers to process MapReduce application until disk contention. Our result presents a static and dynamic policy for disk resource management in order to minimize the contention between MapReduce applications. Finally, the Makespan metric was evaluated and the gains over the strategies are static 31% and dynamic 26%.
publishDate 2016
dc.date.accessioned.fl_str_mv 2016-10-27T13:30:38Z
dc.date.issued.fl_str_mv 2016-03-17
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://tede2.pucrs.br/tede2/handle/tede/7013
url http://tede2.pucrs.br/tede2/handle/tede/7013
dc.language.iso.fl_str_mv por
language por
dc.relation.program.fl_str_mv 1974996533081274470
dc.relation.confidence.fl_str_mv 600
600
600
dc.relation.department.fl_str_mv -3008542510401149144
dc.relation.cnpq.fl_str_mv 3671711205811204509
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Pontifícia Universidade Católica do Rio Grande do Sul
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Ciência da Computação
dc.publisher.initials.fl_str_mv PUCRS
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Faculdade de Informática
publisher.none.fl_str_mv Pontifícia Universidade Católica do Rio Grande do Sul
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da PUC_RS
instname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
instacron:PUC_RS
instname_str Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
instacron_str PUC_RS
institution PUC_RS
reponame_str Biblioteca Digital de Teses e Dissertações da PUC_RS
collection Biblioteca Digital de Teses e Dissertações da PUC_RS
bitstream.url.fl_str_mv http://tede2.pucrs.br/tede2/bitstream/tede/7013/5/DIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf.jpg
http://tede2.pucrs.br/tede2/bitstream/tede/7013/4/DIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf.txt
http://tede2.pucrs.br/tede2/bitstream/tede/7013/3/license.txt
http://tede2.pucrs.br/tede2/bitstream/tede/7013/2/DIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf
bitstream.checksum.fl_str_mv dc673bb91b90740e36596e92ba7012c4
6265651e68bc63f8db5739f48d42fec9
5a9d6006225b368ef605ba16b4f6d1be
aca87c1407ee47a427ded2bd7f57523f
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
repository.mail.fl_str_mv biblioteca.central@pucrs.br||
_version_ 1799765322450862080

Registros relacionados