Virtualização de grandes bases de dados irregularmente distribuídas e replicadas
Autor(a) principal: | |
---|---|
Data de Publicação: | 2006 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFMG |
Texto Completo: | http://hdl.handle.net/1843/SLBS-6XYFRZ |
Resumo: | Grandes volumes de dados são gerados diariamente por experimentos, simulações e vários outros tipos de aplicações. É comum observar situações nas quais porções desses dados são irregularmente replicadas e distribuídas em diferentes fontesde dados. A replicação e distribuição irregulares se dão pela geraçãoindependente dos diferentes intervalos de dados correlacionados e pela freqüente ausência de colaboração no compartilhamento de parte desses volumes de dados. É desejável que seja possível lidar com essas várias porções de dados irregulares (replicados ou não) como uma única base de dados. A virtualização de dados torna isto possvel e é o principal foco deste trabalho. Nesta dissertação, exploramos um sistema capaz de lidar com dados irregularmente replicados e criar uma visão virtual única a partir da união de porções irregulares dos dados disponíveis em cada uma das fontes de dados que compõem o sistema. Apresentamos uma modelagem geométrica dos intervalos de dados que suporta a virtualização de uma base de dados irregularmente replicada e distribuída, assim como um mecanismo de indexação de meta-dados que permite o processamento de consultas por intervalos de dados submetidas à base de dados disponível no sistema de virtualização de dados. Esta dissertação também propõe dois algoritmos de escalonamento de fragmentos de consultas baseados nas abordagens gulosa e resfriamento simulado. Esses algoritmos são responsáveis pela seleção de qual servidor é responsável porservir cada fragmento de uma consulta por intervalo de dados. Os algoritmos buscam minimizar o tempo de resposta das consultas e balancear a carga de trabalho entre os servidores considerando sua capacidade de serviço e carga de trabalho instantânea. A comparação de desempenho dos algoritmos são baseadas em simulações e os valores dos parâmetros utilizados foram obtidos a partir da caracterização da carga de trabalho de uma aplicação real e fortementedependente de dados (o Microscópio Virtual). |
id |
UFMG_f3ac7291e507b563621cf9d40681dcdc |
---|---|
oai_identifier_str |
oai:repositorio.ufmg.br:1843/SLBS-6XYFRZ |
network_acronym_str |
UFMG |
network_name_str |
Repositório Institucional da UFMG |
repository_id_str |
|
spelling |
Renato Antonio Celso FerreiraDorgival Olavo Guedes NetoWagner Meira JuniorDiego Lopes Nogueira2019-08-12T08:41:45Z2019-08-12T08:41:45Z2006-12-01http://hdl.handle.net/1843/SLBS-6XYFRZGrandes volumes de dados são gerados diariamente por experimentos, simulações e vários outros tipos de aplicações. É comum observar situações nas quais porções desses dados são irregularmente replicadas e distribuídas em diferentes fontesde dados. A replicação e distribuição irregulares se dão pela geraçãoindependente dos diferentes intervalos de dados correlacionados e pela freqüente ausência de colaboração no compartilhamento de parte desses volumes de dados. É desejável que seja possível lidar com essas várias porções de dados irregulares (replicados ou não) como uma única base de dados. A virtualização de dados torna isto possvel e é o principal foco deste trabalho. Nesta dissertação, exploramos um sistema capaz de lidar com dados irregularmente replicados e criar uma visão virtual única a partir da união de porções irregulares dos dados disponíveis em cada uma das fontes de dados que compõem o sistema. Apresentamos uma modelagem geométrica dos intervalos de dados que suporta a virtualização de uma base de dados irregularmente replicada e distribuída, assim como um mecanismo de indexação de meta-dados que permite o processamento de consultas por intervalos de dados submetidas à base de dados disponível no sistema de virtualização de dados. Esta dissertação também propõe dois algoritmos de escalonamento de fragmentos de consultas baseados nas abordagens gulosa e resfriamento simulado. Esses algoritmos são responsáveis pela seleção de qual servidor é responsável porservir cada fragmento de uma consulta por intervalo de dados. Os algoritmos buscam minimizar o tempo de resposta das consultas e balancear a carga de trabalho entre os servidores considerando sua capacidade de serviço e carga de trabalho instantânea. A comparação de desempenho dos algoritmos são baseadas em simulações e os valores dos parâmetros utilizados foram obtidos a partir da caracterização da carga de trabalho de uma aplicação real e fortementedependente de dados (o Microscópio Virtual).Large volumes of data are generated every day by experiments, simulations and all sorts of applications. It is common to observe situations where portions of data are irregularly replicated and distributed in different data sources. The independent generation of correlated data and lack of collaboration on sharing these data result in an irregularly replicated and distributed data set. It would be desirable to be able to handle these several pieces of irregular data (replicated or not) as a unique large dataset. This is called data virtualization and is the focus of this work. On this dissertation, we explore a system which is capable of dealing with irregularly replicated data and is able to create a virtual view of the union of the individual irregular portions of data hosted by each data source. We present a geometric model to represent data intervals. The model allows for virtualization of an irregularly replicated and distributed data set. The work also presents a meta-data indexing mechanism to allow the system to process ranged queries submitted to the data set available through the data virtualization system. Two query fragment scheduling algorithms are proposed, based on the greedy andsimulated annealing approaches. These algorithms are responsible for the selection of which server will be in charge of serving each data queryfragment. The algorithms try to minimize the queries' response time and to balance the load between the servers, taking into account their differentservice capacities and the workload to which each server is submitted to at any given time. The performances of the algorithms are compared based on simulation results and the parameter values used were taken from the workload characterization of a real data-oriented application (the Virtual Microscope).Universidade Federal de Minas GeraisUFMGSistemas de computação virtualComputaçãoBanco de dados Gerênciavirtualizaçãobase de dadosVirtualização de grandes bases de dados irregularmente distribuídas e replicadasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGORIGINALdiegolopesnogueira.pdfapplication/pdf656434https://repositorio.ufmg.br/bitstream/1843/SLBS-6XYFRZ/1/diegolopesnogueira.pdf7e4627eb09f963f9fdbd3114d96c1449MD51TEXTdiegolopesnogueira.pdf.txtdiegolopesnogueira.pdf.txtExtracted texttext/plain136958https://repositorio.ufmg.br/bitstream/1843/SLBS-6XYFRZ/2/diegolopesnogueira.pdf.txta0fd6941863609062de9daa3383400dbMD521843/SLBS-6XYFRZ2019-11-14 15:06:52.752oai:repositorio.ufmg.br:1843/SLBS-6XYFRZRepositório de PublicaçõesPUBhttps://repositorio.ufmg.br/oaiopendoar:2019-11-14T18:06:52Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false |
dc.title.pt_BR.fl_str_mv |
Virtualização de grandes bases de dados irregularmente distribuídas e replicadas |
title |
Virtualização de grandes bases de dados irregularmente distribuídas e replicadas |
spellingShingle |
Virtualização de grandes bases de dados irregularmente distribuídas e replicadas Diego Lopes Nogueira virtualização base de dados Sistemas de computação virtual Computação Banco de dados Gerência |
title_short |
Virtualização de grandes bases de dados irregularmente distribuídas e replicadas |
title_full |
Virtualização de grandes bases de dados irregularmente distribuídas e replicadas |
title_fullStr |
Virtualização de grandes bases de dados irregularmente distribuídas e replicadas |
title_full_unstemmed |
Virtualização de grandes bases de dados irregularmente distribuídas e replicadas |
title_sort |
Virtualização de grandes bases de dados irregularmente distribuídas e replicadas |
author |
Diego Lopes Nogueira |
author_facet |
Diego Lopes Nogueira |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Renato Antonio Celso Ferreira |
dc.contributor.referee1.fl_str_mv |
Dorgival Olavo Guedes Neto |
dc.contributor.referee2.fl_str_mv |
Wagner Meira Junior |
dc.contributor.author.fl_str_mv |
Diego Lopes Nogueira |
contributor_str_mv |
Renato Antonio Celso Ferreira Dorgival Olavo Guedes Neto Wagner Meira Junior |
dc.subject.por.fl_str_mv |
virtualização base de dados |
topic |
virtualização base de dados Sistemas de computação virtual Computação Banco de dados Gerência |
dc.subject.other.pt_BR.fl_str_mv |
Sistemas de computação virtual Computação Banco de dados Gerência |
description |
Grandes volumes de dados são gerados diariamente por experimentos, simulações e vários outros tipos de aplicações. É comum observar situações nas quais porções desses dados são irregularmente replicadas e distribuídas em diferentes fontesde dados. A replicação e distribuição irregulares se dão pela geraçãoindependente dos diferentes intervalos de dados correlacionados e pela freqüente ausência de colaboração no compartilhamento de parte desses volumes de dados. É desejável que seja possível lidar com essas várias porções de dados irregulares (replicados ou não) como uma única base de dados. A virtualização de dados torna isto possvel e é o principal foco deste trabalho. Nesta dissertação, exploramos um sistema capaz de lidar com dados irregularmente replicados e criar uma visão virtual única a partir da união de porções irregulares dos dados disponíveis em cada uma das fontes de dados que compõem o sistema. Apresentamos uma modelagem geométrica dos intervalos de dados que suporta a virtualização de uma base de dados irregularmente replicada e distribuída, assim como um mecanismo de indexação de meta-dados que permite o processamento de consultas por intervalos de dados submetidas à base de dados disponível no sistema de virtualização de dados. Esta dissertação também propõe dois algoritmos de escalonamento de fragmentos de consultas baseados nas abordagens gulosa e resfriamento simulado. Esses algoritmos são responsáveis pela seleção de qual servidor é responsável porservir cada fragmento de uma consulta por intervalo de dados. Os algoritmos buscam minimizar o tempo de resposta das consultas e balancear a carga de trabalho entre os servidores considerando sua capacidade de serviço e carga de trabalho instantânea. A comparação de desempenho dos algoritmos são baseadas em simulações e os valores dos parâmetros utilizados foram obtidos a partir da caracterização da carga de trabalho de uma aplicação real e fortementedependente de dados (o Microscópio Virtual). |
publishDate |
2006 |
dc.date.issued.fl_str_mv |
2006-12-01 |
dc.date.accessioned.fl_str_mv |
2019-08-12T08:41:45Z |
dc.date.available.fl_str_mv |
2019-08-12T08:41:45Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/1843/SLBS-6XYFRZ |
url |
http://hdl.handle.net/1843/SLBS-6XYFRZ |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais |
dc.publisher.initials.fl_str_mv |
UFMG |
publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFMG instname:Universidade Federal de Minas Gerais (UFMG) instacron:UFMG |
instname_str |
Universidade Federal de Minas Gerais (UFMG) |
instacron_str |
UFMG |
institution |
UFMG |
reponame_str |
Repositório Institucional da UFMG |
collection |
Repositório Institucional da UFMG |
bitstream.url.fl_str_mv |
https://repositorio.ufmg.br/bitstream/1843/SLBS-6XYFRZ/1/diegolopesnogueira.pdf https://repositorio.ufmg.br/bitstream/1843/SLBS-6XYFRZ/2/diegolopesnogueira.pdf.txt |
bitstream.checksum.fl_str_mv |
7e4627eb09f963f9fdbd3114d96c1449 a0fd6941863609062de9daa3383400db |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG) |
repository.mail.fl_str_mv |
|
_version_ |
1803589392950886400 |