Virtualização de grandes bases de dados irregularmente distribuídas e replicadas

Detalhes bibliográficos
Autor(a) principal: Diego Lopes Nogueira
Data de Publicação: 2006
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFMG
Texto Completo: http://hdl.handle.net/1843/SLBS-6XYFRZ
Resumo: Grandes volumes de dados são gerados diariamente por experimentos, simulações e vários outros tipos de aplicações. É comum observar situações nas quais porções desses dados são irregularmente replicadas e distribuídas em diferentes fontesde dados. A replicação e distribuição irregulares se dão pela geraçãoindependente dos diferentes intervalos de dados correlacionados e pela freqüente ausência de colaboração no compartilhamento de parte desses volumes de dados. É desejável que seja possível lidar com essas várias porções de dados irregulares (replicados ou não) como uma única base de dados. A virtualização de dados torna isto possvel e é o principal foco deste trabalho. Nesta dissertação, exploramos um sistema capaz de lidar com dados irregularmente replicados e criar uma visão virtual única a partir da união de porções irregulares dos dados disponíveis em cada uma das fontes de dados que compõem o sistema. Apresentamos uma modelagem geométrica dos intervalos de dados que suporta a virtualização de uma base de dados irregularmente replicada e distribuída, assim como um mecanismo de indexação de meta-dados que permite o processamento de consultas por intervalos de dados submetidas à base de dados disponível no sistema de virtualização de dados. Esta dissertação também propõe dois algoritmos de escalonamento de fragmentos de consultas baseados nas abordagens gulosa e resfriamento simulado. Esses algoritmos são responsáveis pela seleção de qual servidor é responsável porservir cada fragmento de uma consulta por intervalo de dados. Os algoritmos buscam minimizar o tempo de resposta das consultas e balancear a carga de trabalho entre os servidores considerando sua capacidade de serviço e carga de trabalho instantânea. A comparação de desempenho dos algoritmos são baseadas em simulações e os valores dos parâmetros utilizados foram obtidos a partir da caracterização da carga de trabalho de uma aplicação real e fortementedependente de dados (o Microscópio Virtual).
id UFMG_f3ac7291e507b563621cf9d40681dcdc
oai_identifier_str oai:repositorio.ufmg.br:1843/SLBS-6XYFRZ
network_acronym_str UFMG
network_name_str Repositório Institucional da UFMG
repository_id_str
spelling Renato Antonio Celso FerreiraDorgival Olavo Guedes NetoWagner Meira JuniorDiego Lopes Nogueira2019-08-12T08:41:45Z2019-08-12T08:41:45Z2006-12-01http://hdl.handle.net/1843/SLBS-6XYFRZGrandes volumes de dados são gerados diariamente por experimentos, simulações e vários outros tipos de aplicações. É comum observar situações nas quais porções desses dados são irregularmente replicadas e distribuídas em diferentes fontesde dados. A replicação e distribuição irregulares se dão pela geraçãoindependente dos diferentes intervalos de dados correlacionados e pela freqüente ausência de colaboração no compartilhamento de parte desses volumes de dados. É desejável que seja possível lidar com essas várias porções de dados irregulares (replicados ou não) como uma única base de dados. A virtualização de dados torna isto possvel e é o principal foco deste trabalho. Nesta dissertação, exploramos um sistema capaz de lidar com dados irregularmente replicados e criar uma visão virtual única a partir da união de porções irregulares dos dados disponíveis em cada uma das fontes de dados que compõem o sistema. Apresentamos uma modelagem geométrica dos intervalos de dados que suporta a virtualização de uma base de dados irregularmente replicada e distribuída, assim como um mecanismo de indexação de meta-dados que permite o processamento de consultas por intervalos de dados submetidas à base de dados disponível no sistema de virtualização de dados. Esta dissertação também propõe dois algoritmos de escalonamento de fragmentos de consultas baseados nas abordagens gulosa e resfriamento simulado. Esses algoritmos são responsáveis pela seleção de qual servidor é responsável porservir cada fragmento de uma consulta por intervalo de dados. Os algoritmos buscam minimizar o tempo de resposta das consultas e balancear a carga de trabalho entre os servidores considerando sua capacidade de serviço e carga de trabalho instantânea. A comparação de desempenho dos algoritmos são baseadas em simulações e os valores dos parâmetros utilizados foram obtidos a partir da caracterização da carga de trabalho de uma aplicação real e fortementedependente de dados (o Microscópio Virtual).Large volumes of data are generated every day by experiments, simulations and all sorts of applications. It is common to observe situations where portions of data are irregularly replicated and distributed in different data sources. The independent generation of correlated data and lack of collaboration on sharing these data result in an irregularly replicated and distributed data set. It would be desirable to be able to handle these several pieces of irregular data (replicated or not) as a unique large dataset. This is called data virtualization and is the focus of this work. On this dissertation, we explore a system which is capable of dealing with irregularly replicated data and is able to create a virtual view of the union of the individual irregular portions of data hosted by each data source. We present a geometric model to represent data intervals. The model allows for virtualization of an irregularly replicated and distributed data set. The work also presents a meta-data indexing mechanism to allow the system to process ranged queries submitted to the data set available through the data virtualization system. Two query fragment scheduling algorithms are proposed, based on the greedy andsimulated annealing approaches. These algorithms are responsible for the selection of which server will be in charge of serving each data queryfragment. The algorithms try to minimize the queries' response time and to balance the load between the servers, taking into account their differentservice capacities and the workload to which each server is submitted to at any given time. The performances of the algorithms are compared based on simulation results and the parameter values used were taken from the workload characterization of a real data-oriented application (the Virtual Microscope).Universidade Federal de Minas GeraisUFMGSistemas de computação virtualComputaçãoBanco de dados Gerênciavirtualizaçãobase de dadosVirtualização de grandes bases de dados irregularmente distribuídas e replicadasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGORIGINALdiegolopesnogueira.pdfapplication/pdf656434https://repositorio.ufmg.br/bitstream/1843/SLBS-6XYFRZ/1/diegolopesnogueira.pdf7e4627eb09f963f9fdbd3114d96c1449MD51TEXTdiegolopesnogueira.pdf.txtdiegolopesnogueira.pdf.txtExtracted texttext/plain136958https://repositorio.ufmg.br/bitstream/1843/SLBS-6XYFRZ/2/diegolopesnogueira.pdf.txta0fd6941863609062de9daa3383400dbMD521843/SLBS-6XYFRZ2019-11-14 15:06:52.752oai:repositorio.ufmg.br:1843/SLBS-6XYFRZRepositório de PublicaçõesPUBhttps://repositorio.ufmg.br/oaiopendoar:2019-11-14T18:06:52Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false
dc.title.pt_BR.fl_str_mv Virtualização de grandes bases de dados irregularmente distribuídas e replicadas
title Virtualização de grandes bases de dados irregularmente distribuídas e replicadas
spellingShingle Virtualização de grandes bases de dados irregularmente distribuídas e replicadas
Diego Lopes Nogueira
virtualização
base de dados
Sistemas de computação virtual
Computação
Banco de dados Gerência
title_short Virtualização de grandes bases de dados irregularmente distribuídas e replicadas
title_full Virtualização de grandes bases de dados irregularmente distribuídas e replicadas
title_fullStr Virtualização de grandes bases de dados irregularmente distribuídas e replicadas
title_full_unstemmed Virtualização de grandes bases de dados irregularmente distribuídas e replicadas
title_sort Virtualização de grandes bases de dados irregularmente distribuídas e replicadas
author Diego Lopes Nogueira
author_facet Diego Lopes Nogueira
author_role author
dc.contributor.advisor1.fl_str_mv Renato Antonio Celso Ferreira
dc.contributor.referee1.fl_str_mv Dorgival Olavo Guedes Neto
dc.contributor.referee2.fl_str_mv Wagner Meira Junior
dc.contributor.author.fl_str_mv Diego Lopes Nogueira
contributor_str_mv Renato Antonio Celso Ferreira
Dorgival Olavo Guedes Neto
Wagner Meira Junior
dc.subject.por.fl_str_mv virtualização
base de dados
topic virtualização
base de dados
Sistemas de computação virtual
Computação
Banco de dados Gerência
dc.subject.other.pt_BR.fl_str_mv Sistemas de computação virtual
Computação
Banco de dados Gerência
description Grandes volumes de dados são gerados diariamente por experimentos, simulações e vários outros tipos de aplicações. É comum observar situações nas quais porções desses dados são irregularmente replicadas e distribuídas em diferentes fontesde dados. A replicação e distribuição irregulares se dão pela geraçãoindependente dos diferentes intervalos de dados correlacionados e pela freqüente ausência de colaboração no compartilhamento de parte desses volumes de dados. É desejável que seja possível lidar com essas várias porções de dados irregulares (replicados ou não) como uma única base de dados. A virtualização de dados torna isto possvel e é o principal foco deste trabalho. Nesta dissertação, exploramos um sistema capaz de lidar com dados irregularmente replicados e criar uma visão virtual única a partir da união de porções irregulares dos dados disponíveis em cada uma das fontes de dados que compõem o sistema. Apresentamos uma modelagem geométrica dos intervalos de dados que suporta a virtualização de uma base de dados irregularmente replicada e distribuída, assim como um mecanismo de indexação de meta-dados que permite o processamento de consultas por intervalos de dados submetidas à base de dados disponível no sistema de virtualização de dados. Esta dissertação também propõe dois algoritmos de escalonamento de fragmentos de consultas baseados nas abordagens gulosa e resfriamento simulado. Esses algoritmos são responsáveis pela seleção de qual servidor é responsável porservir cada fragmento de uma consulta por intervalo de dados. Os algoritmos buscam minimizar o tempo de resposta das consultas e balancear a carga de trabalho entre os servidores considerando sua capacidade de serviço e carga de trabalho instantânea. A comparação de desempenho dos algoritmos são baseadas em simulações e os valores dos parâmetros utilizados foram obtidos a partir da caracterização da carga de trabalho de uma aplicação real e fortementedependente de dados (o Microscópio Virtual).
publishDate 2006
dc.date.issued.fl_str_mv 2006-12-01
dc.date.accessioned.fl_str_mv 2019-08-12T08:41:45Z
dc.date.available.fl_str_mv 2019-08-12T08:41:45Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1843/SLBS-6XYFRZ
url http://hdl.handle.net/1843/SLBS-6XYFRZ
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.publisher.initials.fl_str_mv UFMG
publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFMG
instname:Universidade Federal de Minas Gerais (UFMG)
instacron:UFMG
instname_str Universidade Federal de Minas Gerais (UFMG)
instacron_str UFMG
institution UFMG
reponame_str Repositório Institucional da UFMG
collection Repositório Institucional da UFMG
bitstream.url.fl_str_mv https://repositorio.ufmg.br/bitstream/1843/SLBS-6XYFRZ/1/diegolopesnogueira.pdf
https://repositorio.ufmg.br/bitstream/1843/SLBS-6XYFRZ/2/diegolopesnogueira.pdf.txt
bitstream.checksum.fl_str_mv 7e4627eb09f963f9fdbd3114d96c1449
a0fd6941863609062de9daa3383400db
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)
repository.mail.fl_str_mv
_version_ 1801676888025858048