Novas abordagens para sistemas de gerenciamento de grandes volumes de dados: um estudo comparativo
Autor(a) principal: | |
---|---|
Data de Publicação: | 2018 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFPE |
Texto Completo: | https://repositorio.ufpe.br/handle/123456789/33307 |
Resumo: | As tecnologias de bancos de dados têm tentado se adaptar à nova realidade de sistemas de informação com grandes volumes, variedade e velocidade de atualização dos dados. No início dos anos 2000, surgiu uma nova geração de sistemas de gerenciamento de bancos de dados voltados para lidar, a um baixo custo, com esses cenários de crescimento no acesso e no volume de informações. Alguns desses sistemas, os chamados NoSQL (Not Only SQL), trouxeram soluções que diferem do consagrado modelo relacional, particularmente no que diz respeito a garantir a consistência dos dados. Por outro lado, os sistemas de bancos de dados NewSQL surgiram com o propósito de garantir a escalabilidade horizontal dos sistemas NoSQL, contudo mantendo as garantias do modelo relacional. Os sistemas NoSQL já se encontram bem estabelecidos em termos de participação no mercado, enquanto os sistemas NewSQL ainda buscam construir seu espaço. Chegamos, então, a um cenário atual no qual é vasta a quantidade de opções de SGBD disponíveis na academia e na indústria. Na literatura existem alguns trabalhos que realizaram comparações entre SGBD da nova geração, contudo poucos analisaram a questão do desempenho dos sistemas NoSQL e NewSQL (um critério de grande importância na escolha de um SGBD para uma aplicação). Nesse contexto, este trabalho propõe a realização de um estudo experimental, com o objetivo de comparar o desempenho de sistemas NoSQL e NewSQL em cenários de grandes volumes de dados, de modo a apoiar a escolha de um SGBD para aplicações em diversos cenários de dados. Após a execução dos experimentos, conseguimos confirmar o bom desempenho dos sistemas NoSQL ao lidar com grandes volumes de dados, em especial os sistemas Redis e MongoDB. Também verificamos que o sistema NewSQL VoltDB teve desempenho menor do que os sistemas NoSQL, o que o torna pouco competitivo para ser utilizado por aplicações que necessitem trabalhar com grandes volumes de dados. |
id |
UFPE_c689a755575399a08d698b02f9b244a7 |
---|---|
oai_identifier_str |
oai:repositorio.ufpe.br:123456789/33307 |
network_acronym_str |
UFPE |
network_name_str |
Repositório Institucional da UFPE |
repository_id_str |
2221 |
spelling |
MELO, Lucas Freirehttp://lattes.cnpq.br/7265436250529901http://lattes.cnpq.br/1095193209251351SALGADO, Ana Carolina Brandão2019-09-19T19:42:28Z2019-09-19T19:42:28Z2018-12-19https://repositorio.ufpe.br/handle/123456789/33307As tecnologias de bancos de dados têm tentado se adaptar à nova realidade de sistemas de informação com grandes volumes, variedade e velocidade de atualização dos dados. No início dos anos 2000, surgiu uma nova geração de sistemas de gerenciamento de bancos de dados voltados para lidar, a um baixo custo, com esses cenários de crescimento no acesso e no volume de informações. Alguns desses sistemas, os chamados NoSQL (Not Only SQL), trouxeram soluções que diferem do consagrado modelo relacional, particularmente no que diz respeito a garantir a consistência dos dados. Por outro lado, os sistemas de bancos de dados NewSQL surgiram com o propósito de garantir a escalabilidade horizontal dos sistemas NoSQL, contudo mantendo as garantias do modelo relacional. Os sistemas NoSQL já se encontram bem estabelecidos em termos de participação no mercado, enquanto os sistemas NewSQL ainda buscam construir seu espaço. Chegamos, então, a um cenário atual no qual é vasta a quantidade de opções de SGBD disponíveis na academia e na indústria. Na literatura existem alguns trabalhos que realizaram comparações entre SGBD da nova geração, contudo poucos analisaram a questão do desempenho dos sistemas NoSQL e NewSQL (um critério de grande importância na escolha de um SGBD para uma aplicação). Nesse contexto, este trabalho propõe a realização de um estudo experimental, com o objetivo de comparar o desempenho de sistemas NoSQL e NewSQL em cenários de grandes volumes de dados, de modo a apoiar a escolha de um SGBD para aplicações em diversos cenários de dados. Após a execução dos experimentos, conseguimos confirmar o bom desempenho dos sistemas NoSQL ao lidar com grandes volumes de dados, em especial os sistemas Redis e MongoDB. Também verificamos que o sistema NewSQL VoltDB teve desempenho menor do que os sistemas NoSQL, o que o torna pouco competitivo para ser utilizado por aplicações que necessitem trabalhar com grandes volumes de dados.Database technologies have tried to adapt to the new reality of information systems with large volumes, variety and speed of data update. In the early 2000s, a new generation of database management systems emerged to deal, at a low cost, with these scenarios of growth in access and volume of information. Some of these systems, called NoSQL (Not Only SQL), have brought solutions that differ from the established relational model, particularly with respect to ensuring data consistency. On the other hand, the NewSQL database systems came up with the purpose of guaranteeing the horizontal scalability of the NoSQL systems, while maintaining the guarantees of the relational model. NoSQL systems are already well established in terms of market share, while NewSQL systems are still looking for some space in this market. We have now reached a current scenario in which the number of DBMS options available in the academy and industry is vast. In the literature there are some works comparing DBMS of the new generation, however, few studies have analyzed the performance of the NoSQL and NewSQL systems (a criterion of great importance when choosing a DBMS for an application). In this context, this work proposes the realization of an experimental study, aiming at comparing the performance of NoSQL and NewSQL systems in scenarios of large data volumes, in order to support the choice of a DBMS for applications in diverse data scenarios. After performing the experiments, we were able to confirm the good performance of the NoSQL systems when dealing with large volumes of data, especially the Redis and MongoDB systems. We also noticed that the NewSQL VoltDB system had lower performance than NoSQL systems, which makes it uncompetitive to be used by applications that need to work with large volumes of data.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessEngenharia de softwareGerenciamento de banco de dadosNovas abordagens para sistemas de gerenciamento de grandes volumes de dados: um estudo comparativoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILDISSERTAÇÃO Lucas Freire Melo.pdf.jpgDISSERTAÇÃO Lucas Freire Melo.pdf.jpgGenerated Thumbnailimage/jpeg1226https://repositorio.ufpe.br/bitstream/123456789/33307/5/DISSERTA%c3%87%c3%83O%20Lucas%20Freire%20Melo.pdf.jpg7cfbdb0286411aac8f9e48f6a14d6000MD55ORIGINALDISSERTAÇÃO Lucas Freire Melo.pdfDISSERTAÇÃO Lucas Freire Melo.pdfapplication/pdf2100280https://repositorio.ufpe.br/bitstream/123456789/33307/1/DISSERTA%c3%87%c3%83O%20Lucas%20Freire%20Melo.pdf727545faeafa20a4bd1065c29ae4b664MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/33307/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82310https://repositorio.ufpe.br/bitstream/123456789/33307/3/license.txtbd573a5ca8288eb7272482765f819534MD53TEXTDISSERTAÇÃO Lucas Freire Melo.pdf.txtDISSERTAÇÃO Lucas Freire Melo.pdf.txtExtracted texttext/plain137905https://repositorio.ufpe.br/bitstream/123456789/33307/4/DISSERTA%c3%87%c3%83O%20Lucas%20Freire%20Melo.pdf.txt8cd542cc61245a8928ae7ddc1560339aMD54123456789/333072019-10-25 09:43:30.022oai:repositorio.ufpe.br:123456789/33307TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLCBkZWNsYXJhIHF1ZSBjdW1wcml1IHF1YWlzcXVlciBvYnJpZ2HDp8O1ZXMgZXhpZ2lkYXMgcGVsbyByZXNwZWN0aXZvIGNvbnRyYXRvIG91IGFjb3Jkby4KCkEgVUZQRSBpZGVudGlmaWNhcsOhIGNsYXJhbWVudGUgbyhzKSBub21lKHMpIGRvKHMpIGF1dG9yIChlcykgZG9zIGRpcmVpdG9zIGRvIGRvY3VtZW50byBlbnRyZWd1ZSBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIHBhcmEgYWzDqW0gZG8gcHJldmlzdG8gbmEgYWzDrW5lYSBjKS4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-25T12:43:30Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
dc.title.pt_BR.fl_str_mv |
Novas abordagens para sistemas de gerenciamento de grandes volumes de dados: um estudo comparativo |
title |
Novas abordagens para sistemas de gerenciamento de grandes volumes de dados: um estudo comparativo |
spellingShingle |
Novas abordagens para sistemas de gerenciamento de grandes volumes de dados: um estudo comparativo MELO, Lucas Freire Engenharia de software Gerenciamento de banco de dados |
title_short |
Novas abordagens para sistemas de gerenciamento de grandes volumes de dados: um estudo comparativo |
title_full |
Novas abordagens para sistemas de gerenciamento de grandes volumes de dados: um estudo comparativo |
title_fullStr |
Novas abordagens para sistemas de gerenciamento de grandes volumes de dados: um estudo comparativo |
title_full_unstemmed |
Novas abordagens para sistemas de gerenciamento de grandes volumes de dados: um estudo comparativo |
title_sort |
Novas abordagens para sistemas de gerenciamento de grandes volumes de dados: um estudo comparativo |
author |
MELO, Lucas Freire |
author_facet |
MELO, Lucas Freire |
author_role |
author |
dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/7265436250529901 |
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/1095193209251351 |
dc.contributor.author.fl_str_mv |
MELO, Lucas Freire |
dc.contributor.advisor1.fl_str_mv |
SALGADO, Ana Carolina Brandão |
contributor_str_mv |
SALGADO, Ana Carolina Brandão |
dc.subject.por.fl_str_mv |
Engenharia de software Gerenciamento de banco de dados |
topic |
Engenharia de software Gerenciamento de banco de dados |
description |
As tecnologias de bancos de dados têm tentado se adaptar à nova realidade de sistemas de informação com grandes volumes, variedade e velocidade de atualização dos dados. No início dos anos 2000, surgiu uma nova geração de sistemas de gerenciamento de bancos de dados voltados para lidar, a um baixo custo, com esses cenários de crescimento no acesso e no volume de informações. Alguns desses sistemas, os chamados NoSQL (Not Only SQL), trouxeram soluções que diferem do consagrado modelo relacional, particularmente no que diz respeito a garantir a consistência dos dados. Por outro lado, os sistemas de bancos de dados NewSQL surgiram com o propósito de garantir a escalabilidade horizontal dos sistemas NoSQL, contudo mantendo as garantias do modelo relacional. Os sistemas NoSQL já se encontram bem estabelecidos em termos de participação no mercado, enquanto os sistemas NewSQL ainda buscam construir seu espaço. Chegamos, então, a um cenário atual no qual é vasta a quantidade de opções de SGBD disponíveis na academia e na indústria. Na literatura existem alguns trabalhos que realizaram comparações entre SGBD da nova geração, contudo poucos analisaram a questão do desempenho dos sistemas NoSQL e NewSQL (um critério de grande importância na escolha de um SGBD para uma aplicação). Nesse contexto, este trabalho propõe a realização de um estudo experimental, com o objetivo de comparar o desempenho de sistemas NoSQL e NewSQL em cenários de grandes volumes de dados, de modo a apoiar a escolha de um SGBD para aplicações em diversos cenários de dados. Após a execução dos experimentos, conseguimos confirmar o bom desempenho dos sistemas NoSQL ao lidar com grandes volumes de dados, em especial os sistemas Redis e MongoDB. Também verificamos que o sistema NewSQL VoltDB teve desempenho menor do que os sistemas NoSQL, o que o torna pouco competitivo para ser utilizado por aplicações que necessitem trabalhar com grandes volumes de dados. |
publishDate |
2018 |
dc.date.issued.fl_str_mv |
2018-12-19 |
dc.date.accessioned.fl_str_mv |
2019-09-19T19:42:28Z |
dc.date.available.fl_str_mv |
2019-09-19T19:42:28Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/33307 |
url |
https://repositorio.ufpe.br/handle/123456789/33307 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
dc.publisher.initials.fl_str_mv |
UFPE |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
instname_str |
Universidade Federal de Pernambuco (UFPE) |
instacron_str |
UFPE |
institution |
UFPE |
reponame_str |
Repositório Institucional da UFPE |
collection |
Repositório Institucional da UFPE |
bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/33307/5/DISSERTA%c3%87%c3%83O%20Lucas%20Freire%20Melo.pdf.jpg https://repositorio.ufpe.br/bitstream/123456789/33307/1/DISSERTA%c3%87%c3%83O%20Lucas%20Freire%20Melo.pdf https://repositorio.ufpe.br/bitstream/123456789/33307/2/license_rdf https://repositorio.ufpe.br/bitstream/123456789/33307/3/license.txt https://repositorio.ufpe.br/bitstream/123456789/33307/4/DISSERTA%c3%87%c3%83O%20Lucas%20Freire%20Melo.pdf.txt |
bitstream.checksum.fl_str_mv |
7cfbdb0286411aac8f9e48f6a14d6000 727545faeafa20a4bd1065c29ae4b664 e39d27027a6cc9cb039ad269a5db8e34 bd573a5ca8288eb7272482765f819534 8cd542cc61245a8928ae7ddc1560339a |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
repository.mail.fl_str_mv |
attena@ufpe.br |
_version_ |
1802310862231306240 |