Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da UFRPE |
Texto Completo: | http://www.tede2.ufrpe.br:8080/tede2/handle/tede2/8556 |
Resumo: | Cloud computing is emerging as the main mechanism for processing large amounts of data. In this context, private clouds provide efficient infrastructures that support the analysis of data sets generated by different sources, such as social networks, health data, and climatology data. Understanding how Big Data parsing behaves in private cloud environments is an important approach to identifying critical performance and cost factors in these environments. Performance and cost evaluation provides support to manage these environments by considering performance metrics such as processor and memory utilization of virtual machines, and cost metrics such as infrastructure cost, power consumption cost and software cost of these environments. This paper presents a strategy based on a methodology and models to evaluate Big Data transactions supported by a pool of resources provided by the infrastructure of the private cloud. A methodology is proposed to evaluate the performance and cost of Big Data environments in private clouds. This methodology presents activities such as understanding and configuring the Big Data environment in the private cloud, the design of experiments, performance, and energy consumption measurement, performance modeling and cost modeling. A performance model is based on stochastic Petri nets is proposed to estimate resources utilization of virtual machines and cost models consider the cost of deploying a private cloud, costs associated with the energy consumption of the data set analysis, and costs related to the acquisition of related software. The case study illustrates the applicability of the methodology, performance model, and cost models in a real private cloud and provides important information about these topics, such as identifying factors that most impact processor utilization and virtual machine memory, and the energy consumption in these environments. The case study considered the analysis of a data set composed by opinions of the Twitter social network users regarding the 2018 Brazilian’s presidential election. |
id |
URPE_defd1b242b4d3ff300523278847ba748 |
---|---|
oai_identifier_str |
oai:tede2:tede2/8556 |
network_acronym_str |
URPE |
network_name_str |
Biblioteca Digital de Teses e Dissertações da UFRPE |
repository_id_str |
|
spelling |
SOUSA, Erica Teixeira Gomes deLINS, Fernando Antonio AiresTAVARES, Eduardo Antonio Guimarãeshttp://lattes.cnpq.br/5587981243932732YADAV, Rajeev Ranjan2022-03-30T13:40:35Z2019-04-29YADAV, Rajeev Ranjan. Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas. 2019. 115 f. Dissertação (Programa de Pós-Graduação em Informática Aplicada) - Universidade Federal Rural de Pernambuco, Recife.http://www.tede2.ufrpe.br:8080/tede2/handle/tede2/8556Cloud computing is emerging as the main mechanism for processing large amounts of data. In this context, private clouds provide efficient infrastructures that support the analysis of data sets generated by different sources, such as social networks, health data, and climatology data. Understanding how Big Data parsing behaves in private cloud environments is an important approach to identifying critical performance and cost factors in these environments. Performance and cost evaluation provides support to manage these environments by considering performance metrics such as processor and memory utilization of virtual machines, and cost metrics such as infrastructure cost, power consumption cost and software cost of these environments. This paper presents a strategy based on a methodology and models to evaluate Big Data transactions supported by a pool of resources provided by the infrastructure of the private cloud. A methodology is proposed to evaluate the performance and cost of Big Data environments in private clouds. This methodology presents activities such as understanding and configuring the Big Data environment in the private cloud, the design of experiments, performance, and energy consumption measurement, performance modeling and cost modeling. A performance model is based on stochastic Petri nets is proposed to estimate resources utilization of virtual machines and cost models consider the cost of deploying a private cloud, costs associated with the energy consumption of the data set analysis, and costs related to the acquisition of related software. The case study illustrates the applicability of the methodology, performance model, and cost models in a real private cloud and provides important information about these topics, such as identifying factors that most impact processor utilization and virtual machine memory, and the energy consumption in these environments. The case study considered the analysis of a data set composed by opinions of the Twitter social network users regarding the 2018 Brazilian’s presidential election.A computação em nuvem está emergindo como o principal mecanismo para processar grandes quantidades de dados de forma eficiente. Nesse contexto, as nuvens privadas fornecem infraestruturas que suportam a análise de conjuntos de dados gerados por diferentes fontes, como redes sociais, dados de saúde e dados climatológicos. Compreender como a análise de Big Data se comporta em infraestruturas de nuvem privada, é uma abordagem importante para identificar fatores críticos para o desempenho e custo nestes ambientes. Neste contexto, a avaliação de desempenho e custo propicia o suporte para o gerenciamento destes ambientes considerando métricas de desempenho, como tempos de execução e utilização de processador e de memória de máquinas virtuais da nuvem privada, e métricas de custo, como custo de infraestrutura, de consumo de energia elétrica e de software. Este trabalho apresenta uma estratégia baseada em uma metodologia e modelos para avaliação de desempenho e de custo de ambientes que executam transações Big Data suportados por um pool de recursos provisionados pela infraestrutura de nuvem privada. Uma metologia foi proposta para avaliação de desempenho e custo de ambientes big data na nuvem privada. Essa metodolgia contempla atividades como entendimento e configuração do ambiente Big data na nuvem privada, planejamento de experimentos, medição de desempenho e consumo de energia, modelagem de desempenho e modelagem de custo. Um modelo de desempenho baseado em redes de Petri estocásticas é proposto para avaliar a utilização de processadores e memória de máquinas virtuais e os modelos de custo consideram o custo para implantar uma nuvem privada, custos associados ao consumo de energia da análise dos data sets e custos de relacionados à aquisição de software. O estudo de caso ilustra a aplicabilidade da metodologia, do modelo de desempenho e dos modelos de custo em uma nuvem privada e fornece informações importantes sobre o desempenho e custo, como identificação de fatores que mais impactam na utilização de processadores e de memória de máquinas virtuais e no consumo de energia nestes ambientes. O estudo de caso considerou a análise de um data set composto de opiniões de usuários da rede social Twitter sobre as eleições presidenciais do Brasil em 2018.Submitted by Mario BC (mario@bc.ufrpe.br) on 2022-03-30T13:40:35Z No. of bitstreams: 1 Rajeev Ranjan Yadav.pdf: 4270180 bytes, checksum: b65c573cbddd322f6a85a5c8fa8f4c96 (MD5)Made available in DSpace on 2022-03-30T13:40:35Z (GMT). No. of bitstreams: 1 Rajeev Ranjan Yadav.pdf: 4270180 bytes, checksum: b65c573cbddd322f6a85a5c8fa8f4c96 (MD5) Previous issue date: 2019-04-29application/pdfporUniversidade Federal Rural de PernambucoPrograma de Pós-Graduação em Informática AplicadaUFRPEBrasilDepartamento de Estatística e InformáticaAvaliação de desempenhoComputação em nuvemAvaliação de custoBig dataCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOUma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis-8268485641417162699600600600-67745551403961205013671711205811204509info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRPEinstname:Universidade Federal Rural de Pernambuco (UFRPE)instacron:UFRPEORIGINALRajeev Ranjan Yadav.pdfRajeev Ranjan Yadav.pdfapplication/pdf4270180http://www.tede2.ufrpe.br:8080/tede2/bitstream/tede2/8556/2/Rajeev+Ranjan+Yadav.pdfb65c573cbddd322f6a85a5c8fa8f4c96MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82165http://www.tede2.ufrpe.br:8080/tede2/bitstream/tede2/8556/1/license.txtbd3efa91386c1718a7f26a329fdcb468MD51tede2/85562022-03-30 10:40:35.308oai:tede2:tede2/8556Tk9UQTogQ09MT1FVRSBBUVVJIEEgU1VBIFBSw5NQUklBIExJQ0VOw4dBCkVzdGEgbGljZW7Dp2EgZGUgZXhlbXBsbyDDqSBmb3JuZWNpZGEgYXBlbmFzIHBhcmEgZmlucyBpbmZvcm1hdGl2b3MuCgpMSUNFTsOHQSBERSBESVNUUklCVUnDh8ODTyBOw4NPLUVYQ0xVU0lWQQoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgClhYWCAoU2lnbGEgZGEgVW5pdmVyc2lkYWRlKSBvIGRpcmVpdG8gbsOjby1leGNsdXNpdm8gZGUgcmVwcm9kdXppciwgIHRyYWR1emlyIChjb25mb3JtZSBkZWZpbmlkbyBhYmFpeG8pLCBlL291IApkaXN0cmlidWlyIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlIAplbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIApwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgU2lnbGEgZGUgVW5pdmVyc2lkYWRlIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBhIHN1YSB0ZXNlIG91IApkaXNzZXJ0YcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyAKbmVzdGEgbGljZW7Dp2EuIFZvY8OqIHRhbWLDqW0gZGVjbGFyYSBxdWUgbyBkZXDDs3NpdG8gZGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBuw6NvLCBxdWUgc2VqYSBkZSBzZXUgCmNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiAKZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSAKb3MgZGlyZWl0b3MgYXByZXNlbnRhZG9zIG5lc3RhIGxpY2Vuw6dhLCBlIHF1ZSBlc3NlIG1hdGVyaWFsIGRlIHByb3ByaWVkYWRlIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIAppZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdSBubyBjb250ZcO6ZG8gZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG9yYSBkZXBvc2l0YWRhLgoKQ0FTTyBBIFRFU0UgT1UgRElTU0VSVEHDh8ODTyBPUkEgREVQT1NJVEFEQSBURU5IQSBTSURPIFJFU1VMVEFETyBERSBVTSBQQVRST0PDjU5JTyBPVSAKQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PIFFVRSBOw4NPIFNFSkEgQSBTSUdMQSBERSAKVU5JVkVSU0lEQURFLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyAKVEFNQsOJTSBBUyBERU1BSVMgT0JSSUdBw4fDlUVTIEVYSUdJREFTIFBPUiBDT05UUkFUTyBPVSBBQ09SRE8uCgpBIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lIChzKSBvdSBvKHMpIG5vbWUocykgZG8ocykgCmRldGVudG9yKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIApjb25jZWRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://www.tede2.ufrpe.br:8080/tede/PUBhttp://www.tede2.ufrpe.br:8080/oai/requestbdtd@ufrpe.br ||bdtd@ufrpe.bropendoar:2024-05-28T12:37:08.854605Biblioteca Digital de Teses e Dissertações da UFRPE - Universidade Federal Rural de Pernambuco (UFRPE)false |
dc.title.por.fl_str_mv |
Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas |
title |
Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas |
spellingShingle |
Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas YADAV, Rajeev Ranjan Avaliação de desempenho Computação em nuvem Avaliação de custo Big data CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
title_short |
Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas |
title_full |
Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas |
title_fullStr |
Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas |
title_full_unstemmed |
Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas |
title_sort |
Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas |
author |
YADAV, Rajeev Ranjan |
author_facet |
YADAV, Rajeev Ranjan |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
SOUSA, Erica Teixeira Gomes de |
dc.contributor.referee1.fl_str_mv |
LINS, Fernando Antonio Aires |
dc.contributor.referee2.fl_str_mv |
TAVARES, Eduardo Antonio Guimarães |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/5587981243932732 |
dc.contributor.author.fl_str_mv |
YADAV, Rajeev Ranjan |
contributor_str_mv |
SOUSA, Erica Teixeira Gomes de LINS, Fernando Antonio Aires TAVARES, Eduardo Antonio Guimarães |
dc.subject.por.fl_str_mv |
Avaliação de desempenho Computação em nuvem Avaliação de custo Big data |
topic |
Avaliação de desempenho Computação em nuvem Avaliação de custo Big data CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
dc.subject.cnpq.fl_str_mv |
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
description |
Cloud computing is emerging as the main mechanism for processing large amounts of data. In this context, private clouds provide efficient infrastructures that support the analysis of data sets generated by different sources, such as social networks, health data, and climatology data. Understanding how Big Data parsing behaves in private cloud environments is an important approach to identifying critical performance and cost factors in these environments. Performance and cost evaluation provides support to manage these environments by considering performance metrics such as processor and memory utilization of virtual machines, and cost metrics such as infrastructure cost, power consumption cost and software cost of these environments. This paper presents a strategy based on a methodology and models to evaluate Big Data transactions supported by a pool of resources provided by the infrastructure of the private cloud. A methodology is proposed to evaluate the performance and cost of Big Data environments in private clouds. This methodology presents activities such as understanding and configuring the Big Data environment in the private cloud, the design of experiments, performance, and energy consumption measurement, performance modeling and cost modeling. A performance model is based on stochastic Petri nets is proposed to estimate resources utilization of virtual machines and cost models consider the cost of deploying a private cloud, costs associated with the energy consumption of the data set analysis, and costs related to the acquisition of related software. The case study illustrates the applicability of the methodology, performance model, and cost models in a real private cloud and provides important information about these topics, such as identifying factors that most impact processor utilization and virtual machine memory, and the energy consumption in these environments. The case study considered the analysis of a data set composed by opinions of the Twitter social network users regarding the 2018 Brazilian’s presidential election. |
publishDate |
2019 |
dc.date.issued.fl_str_mv |
2019-04-29 |
dc.date.accessioned.fl_str_mv |
2022-03-30T13:40:35Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
YADAV, Rajeev Ranjan. Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas. 2019. 115 f. Dissertação (Programa de Pós-Graduação em Informática Aplicada) - Universidade Federal Rural de Pernambuco, Recife. |
dc.identifier.uri.fl_str_mv |
http://www.tede2.ufrpe.br:8080/tede2/handle/tede2/8556 |
identifier_str_mv |
YADAV, Rajeev Ranjan. Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas. 2019. 115 f. Dissertação (Programa de Pós-Graduação em Informática Aplicada) - Universidade Federal Rural de Pernambuco, Recife. |
url |
http://www.tede2.ufrpe.br:8080/tede2/handle/tede2/8556 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.program.fl_str_mv |
-8268485641417162699 |
dc.relation.confidence.fl_str_mv |
600 600 600 |
dc.relation.department.fl_str_mv |
-6774555140396120501 |
dc.relation.cnpq.fl_str_mv |
3671711205811204509 |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal Rural de Pernambuco |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Informática Aplicada |
dc.publisher.initials.fl_str_mv |
UFRPE |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Departamento de Estatística e Informática |
publisher.none.fl_str_mv |
Universidade Federal Rural de Pernambuco |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da UFRPE instname:Universidade Federal Rural de Pernambuco (UFRPE) instacron:UFRPE |
instname_str |
Universidade Federal Rural de Pernambuco (UFRPE) |
instacron_str |
UFRPE |
institution |
UFRPE |
reponame_str |
Biblioteca Digital de Teses e Dissertações da UFRPE |
collection |
Biblioteca Digital de Teses e Dissertações da UFRPE |
bitstream.url.fl_str_mv |
http://www.tede2.ufrpe.br:8080/tede2/bitstream/tede2/8556/2/Rajeev+Ranjan+Yadav.pdf http://www.tede2.ufrpe.br:8080/tede2/bitstream/tede2/8556/1/license.txt |
bitstream.checksum.fl_str_mv |
b65c573cbddd322f6a85a5c8fa8f4c96 bd3efa91386c1718a7f26a329fdcb468 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da UFRPE - Universidade Federal Rural de Pernambuco (UFRPE) |
repository.mail.fl_str_mv |
bdtd@ufrpe.br ||bdtd@ufrpe.br |
_version_ |
1810102264695619584 |