Uma plataforma de rede definida por software para ambientes de computação paralela e distribuída
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFJF |
Texto Completo: | https://repositorio.ufjf.br/jspui/handle/ufjf/10019 |
Resumo: | O crescimento no volume e na diversidade dos dados causado pelo fenômeno Big Data tem revolucionado os negócios e a ciência, ao mesmo tempo que requer capacidade cada vez maior dos recursos computacionais. As plataformas de computação de alto desempenho (HPC), tradicionalmente empregadas em simulações numéricas massivamente paralelas, oferecem capacidade computacional que pode ser aproveitada na análise de Big Data. No entanto, a confluência de Big Data e HPC, embora pareça ser natural, deve ser examinada sob diversos aspectos, o que envolve a adequação de vários de seus elementos. Em particular, a infraestrutura de rede precisa ser eficiente e flexível para ajustar-se às demandas bem distintas das aplicações típicas desses ambientes de computação paralela e distribuída. O paradigma de rede definida por software (SDN) pode favorecer essa integração, graças à sua visão global e seu maior nível de programabilidade, que simplificam a gerência da rede e a tornam mais adaptável e efetiva. Nesse contexto, este trabalho apresenta uma plataforma SDN capaz de suprir os requisitos de desempenho de rede de aplicações Big Data e HPC. A plataforma busca otimizar a comunicação dos dados, identificando o tráfego de rede por meio de uma API e aplicando dinamicamente mecanismos de roteamento mais adequados a cada perfil de tráfego. Essa abordagem evidencia um modelo de rede ciente da aplicação que permite a diminuição no tempo de execução de aplicações. Avaliações mediante simulações em cenários específicos demonstram a viabilidade e a aplicabilidade da plataforma, ao reduzir o tempo médio de execução de aplicações reais MPI em cerca de 11%, e Hadoop em torno de 6%. |
id |
UFJF_d85adf5f467bee7c5797e41233800ad9 |
---|---|
oai_identifier_str |
oai:hermes.cpd.ufjf.br:ufjf/10019 |
network_acronym_str |
UFJF |
network_name_str |
Repositório Institucional da UFJF |
repository_id_str |
|
spelling |
Vieira, Alex Borgeshttp://lattes.cnpq.brGomes, Antônio Tadeu Azevedohttp://lattes.cnpq.brZiviani, Arturhttp://lattes.cnpq.brCorreia, Luiz Henrique Andradehttp://lattes.cnpq.brDantas, Mario Antonio Ribeirohttp://lattes.cnpq.brhttp://lattes.cnpq.brOliveira, Alexandre Tavares de2019-05-16T16:17:15Z2019-05-092019-05-16T16:17:15Z2019-02-26https://repositorio.ufjf.br/jspui/handle/ufjf/10019O crescimento no volume e na diversidade dos dados causado pelo fenômeno Big Data tem revolucionado os negócios e a ciência, ao mesmo tempo que requer capacidade cada vez maior dos recursos computacionais. As plataformas de computação de alto desempenho (HPC), tradicionalmente empregadas em simulações numéricas massivamente paralelas, oferecem capacidade computacional que pode ser aproveitada na análise de Big Data. No entanto, a confluência de Big Data e HPC, embora pareça ser natural, deve ser examinada sob diversos aspectos, o que envolve a adequação de vários de seus elementos. Em particular, a infraestrutura de rede precisa ser eficiente e flexível para ajustar-se às demandas bem distintas das aplicações típicas desses ambientes de computação paralela e distribuída. O paradigma de rede definida por software (SDN) pode favorecer essa integração, graças à sua visão global e seu maior nível de programabilidade, que simplificam a gerência da rede e a tornam mais adaptável e efetiva. Nesse contexto, este trabalho apresenta uma plataforma SDN capaz de suprir os requisitos de desempenho de rede de aplicações Big Data e HPC. A plataforma busca otimizar a comunicação dos dados, identificando o tráfego de rede por meio de uma API e aplicando dinamicamente mecanismos de roteamento mais adequados a cada perfil de tráfego. Essa abordagem evidencia um modelo de rede ciente da aplicação que permite a diminuição no tempo de execução de aplicações. Avaliações mediante simulações em cenários específicos demonstram a viabilidade e a aplicabilidade da plataforma, ao reduzir o tempo médio de execução de aplicações reais MPI em cerca de 11%, e Hadoop em torno de 6%.The growth in the volume and diversity of data caused by the Big Data phenomenon has revolutionized business and science, at the same time as it demands ever-increasing computational resources. High-performance computing (HPC) platforms tailored to massively parallel numerical simulations offer computational capacity that can be leveraged by Big Data Analytics solutions. Nevertheless, the confluence of Big Data and HPC, although it appears to be natural, should be examined in several aspects, which involves the suitability of several of its elements. In particular, the network infrastructure needs to be efficient and flexible to fit the very distinct demands of typical applications of such parallel and distributed computing environments. The software-defined network paradigm (SDN) may favor this integration, thanks to its global view and its higher level of programmability, which simplify network management and make it more adaptive and effective. In this context, this work presents an SDN platform capable of supplying the network performance requirements of Big Data and HPC applications. The platform seeks to optimize data communication by identifying network traffic through an API and dynamically applying the most appropriate routing mechanisms to each traffic profile. This approach evidences an application-aware network model that allows the decrease in the execution time of applications. Evaluations through simulations in specific scenarios demonstrate the feasibility and applicability of the platform, by reducing the average execution time of MPI applications by about 11%, and of Hadoop applications by around 6%.porUniversidade Federal de Juiz de Fora (UFJF)Programa de Pós-graduação em Ciência da ComputaçãoUFJFBrasilICE – Instituto de Ciências ExatasCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAORedes definidas por softwareComputação paralelaComputação distribuídaSoftware-defined networkParallel computingDistributed computingUma plataforma de rede definida por software para ambientes de computação paralela e distribuídainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFJFinstname:Universidade Federal de Juiz de Fora (UFJF)instacron:UFJFTEXTalexandretavaresdeoliveira.pdf.txtalexandretavaresdeoliveira.pdf.txtExtracted texttext/plain139653https://repositorio.ufjf.br/jspui/bitstream/ufjf/10019/5/alexandretavaresdeoliveira.pdf.txt8e6ae6b00b364408418380db28151071MD55THUMBNAILalexandretavaresdeoliveira.pdf.jpgalexandretavaresdeoliveira.pdf.jpgGenerated Thumbnailimage/jpeg1149https://repositorio.ufjf.br/jspui/bitstream/ufjf/10019/6/alexandretavaresdeoliveira.pdf.jpgd16f12eebc8580cb0b8f8e014ff09dfcMD56ORIGINALalexandretavaresdeoliveira.pdfalexandretavaresdeoliveira.pdfapplication/pdf1223161https://repositorio.ufjf.br/jspui/bitstream/ufjf/10019/3/alexandretavaresdeoliveira.pdf54e25b3c8f5aa8d7d05e0ab0e0946619MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-82197https://repositorio.ufjf.br/jspui/bitstream/ufjf/10019/4/license.txt000e18a5aee6ca21bb5811ddf55fc37bMD54ufjf/100192019-06-16 13:44:43.717oai:hermes.cpd.ufjf.br:ufjf/10019TElDRU7vv71BIERFIERJU1RSSUJVSe+/ve+/vU8gTu+/vU8tRVhDTFVTSVZBCgpDb20gYSBhcHJlc2VudGHvv73vv71vIGRlc3RhIGxpY2Vu77+9YSwgdm9j77+9IChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSBhbyBSZXBvc2l077+9cmlvIApJbnN0aXR1Y2lvbmFsIGRhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIEp1aXogZGUgRm9yYSBvIGRpcmVpdG8gbu+/vW8tZXhjbHVzaXZvIGRlIHJlcHJvZHV6aXIsIHRyYWR1emlyIChjb25mb3JtZSBkZWZpbmlkbyBhYmFpeG8pLCBlL291IGRpc3RyaWJ1aXIgYSBzdWEgcHVibGljYe+/ve+/vW8gKGluY2x1aW5kbyBvIHJlc3VtbykgcG9yIHRvZG8gbyBtdW5kbyBubyBmb3JtYXRvIGltcHJlc3NvIGUgZWxldHLvv71uaWNvIGUgZW0gcXVhbHF1ZXIgbWVpbywgaW5jbHVpbmRvIG9zIGZvcm1hdG9zIO+/vXVkaW8gb3Ugdu+/vWRlby4KClZvY++/vSBjb25jb3JkYSBxdWUgbyBSZXBvc2l077+9cmlvIEluc3RpdHVjaW9uYWwgZGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgSnVpeiBkZSBGb3JhIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXvv71kbywgdHJhbnNwb3IgYSBzdWEgcHVibGljYe+/ve+/vW8gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZh77+977+9by4gVm9j77+9IHRhbWLvv71tIGNvbmNvcmRhIHF1ZSBvIFJlcG9zaXTvv71yaW8gSW5zdGl0dWNpb25hbCBkYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBKdWl6IGRlIEZvcmEgcG9kZSBtYW50ZXIgbWFpcyBkZSB1bWEgY++/vXBpYSBkZSBzdWEgcHVibGljYe+/ve+/vW8gcGFyYSBmaW5zIGRlIHNlZ3VyYW7vv71hLCBiYWNrLXVwIGUgcHJlc2VydmHvv73vv71vLiBWb2Pvv70gZGVjbGFyYSBxdWUgYSBzdWEgcHVibGljYe+/ve+/vW8g77+9IG9yaWdpbmFsIGUgcXVlIHZvY++/vSB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbu+/vWEuIFZvY++/vSB0YW1i77+9bSBkZWNsYXJhIHF1ZSBvIGRlcO+/vXNpdG8gZGEgc3VhIHB1YmxpY2Hvv73vv71vIG7vv71vLCBxdWUgc2VqYSBkZSBzZXUgY29uaGVjaW1lbnRvLCBpbmZyaW5nZSBkaXJlaXRvcyBhdXRvcmFpcyBkZSBuaW5nde+/vW0uCgpDYXNvIGEgc3VhIHB1YmxpY2Hvv73vv71vIGNvbnRlbmhhIG1hdGVyaWFsIHF1ZSB2b2Pvv70gbu+/vW8gcG9zc3VpIGEgdGl0dWxhcmlkYWRlIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgdm9j77+9IGRlY2xhcmEgcXVlIG9idGV2ZSBhIHBlcm1pc3Pvv71vIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgYW8gUmVwb3NpdO+/vXJpbyBJbnN0aXR1Y2lvbmFsIGRhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIEp1aXogZGUgRm9yYSBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7vv71hLCBlIHF1ZSBlc3NlIG1hdGVyaWFsIGRlIHByb3ByaWVkYWRlIGRlIHRlcmNlaXJvcyBlc3Tvv70gY2xhcmFtZW50ZSBpZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdSBubyBjb250Ze+/vWRvIGRhIHB1YmxpY2Hvv73vv71vIG9yYSBkZXBvc2l0YWRhLgoKQ0FTTyBBIFBVQkxJQ0Hvv73vv71PIE9SQSBERVBPU0lUQURBIFRFTkhBIFNJRE8gUkVTVUxUQURPIERFIFVNIFBBVFJPQ++/vU5JTyBPVSBBUE9JTyBERSBVTUEgQUfvv71OQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PLCBWT0Pvv70gREVDTEFSQSBRVUUgUkVTUEVJVE9VIFRPRE9TIEUgUVVBSVNRVUVSIERJUkVJVE9TIERFIFJFVklT77+9TyBDT01PIFRBTULvv71NIEFTIERFTUFJUyBPQlJJR0Hvv73vv71FUyBFWElHSURBUyBQT1IgQ09OVFJBVE8gT1UgQUNPUkRPLgoKTyBSZXBvc2l077+9cmlvIEluc3RpdHVjaW9uYWwgZGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgSnVpeiBkZSBGb3JhIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUgKHMpIG91IG8ocykgbm9tZShzKSBkbyhzKSBkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRhIHB1YmxpY2Hvv73vv71vLCBlIG7vv71vIGZhcu+/vSBxdWFscXVlciBhbHRlcmHvv73vv71vLCBhbO+/vW0gZGFxdWVsYXMgY29uY2VkaWRhcyBwb3IgZXN0YSBsaWNlbu+/vWEuCg==Repositório InstitucionalPUBhttps://repositorio.ufjf.br/oai/requestopendoar:2019-06-16T16:44:43Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF)false |
dc.title.pt_BR.fl_str_mv |
Uma plataforma de rede definida por software para ambientes de computação paralela e distribuída |
title |
Uma plataforma de rede definida por software para ambientes de computação paralela e distribuída |
spellingShingle |
Uma plataforma de rede definida por software para ambientes de computação paralela e distribuída Oliveira, Alexandre Tavares de CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Redes definidas por software Computação paralela Computação distribuída Software-defined network Parallel computing Distributed computing |
title_short |
Uma plataforma de rede definida por software para ambientes de computação paralela e distribuída |
title_full |
Uma plataforma de rede definida por software para ambientes de computação paralela e distribuída |
title_fullStr |
Uma plataforma de rede definida por software para ambientes de computação paralela e distribuída |
title_full_unstemmed |
Uma plataforma de rede definida por software para ambientes de computação paralela e distribuída |
title_sort |
Uma plataforma de rede definida por software para ambientes de computação paralela e distribuída |
author |
Oliveira, Alexandre Tavares de |
author_facet |
Oliveira, Alexandre Tavares de |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Vieira, Alex Borges |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br |
dc.contributor.advisor-co1.fl_str_mv |
Gomes, Antônio Tadeu Azevedo |
dc.contributor.advisor-co1Lattes.fl_str_mv |
http://lattes.cnpq.br |
dc.contributor.advisor-co2.fl_str_mv |
Ziviani, Artur |
dc.contributor.advisor-co2Lattes.fl_str_mv |
http://lattes.cnpq.br |
dc.contributor.referee1.fl_str_mv |
Correia, Luiz Henrique Andrade |
dc.contributor.referee1Lattes.fl_str_mv |
http://lattes.cnpq.br |
dc.contributor.referee2.fl_str_mv |
Dantas, Mario Antonio Ribeiro |
dc.contributor.referee2Lattes.fl_str_mv |
http://lattes.cnpq.br |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br |
dc.contributor.author.fl_str_mv |
Oliveira, Alexandre Tavares de |
contributor_str_mv |
Vieira, Alex Borges Gomes, Antônio Tadeu Azevedo Ziviani, Artur Correia, Luiz Henrique Andrade Dantas, Mario Antonio Ribeiro |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
topic |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Redes definidas por software Computação paralela Computação distribuída Software-defined network Parallel computing Distributed computing |
dc.subject.por.fl_str_mv |
Redes definidas por software Computação paralela Computação distribuída Software-defined network Parallel computing Distributed computing |
description |
O crescimento no volume e na diversidade dos dados causado pelo fenômeno Big Data tem revolucionado os negócios e a ciência, ao mesmo tempo que requer capacidade cada vez maior dos recursos computacionais. As plataformas de computação de alto desempenho (HPC), tradicionalmente empregadas em simulações numéricas massivamente paralelas, oferecem capacidade computacional que pode ser aproveitada na análise de Big Data. No entanto, a confluência de Big Data e HPC, embora pareça ser natural, deve ser examinada sob diversos aspectos, o que envolve a adequação de vários de seus elementos. Em particular, a infraestrutura de rede precisa ser eficiente e flexível para ajustar-se às demandas bem distintas das aplicações típicas desses ambientes de computação paralela e distribuída. O paradigma de rede definida por software (SDN) pode favorecer essa integração, graças à sua visão global e seu maior nível de programabilidade, que simplificam a gerência da rede e a tornam mais adaptável e efetiva. Nesse contexto, este trabalho apresenta uma plataforma SDN capaz de suprir os requisitos de desempenho de rede de aplicações Big Data e HPC. A plataforma busca otimizar a comunicação dos dados, identificando o tráfego de rede por meio de uma API e aplicando dinamicamente mecanismos de roteamento mais adequados a cada perfil de tráfego. Essa abordagem evidencia um modelo de rede ciente da aplicação que permite a diminuição no tempo de execução de aplicações. Avaliações mediante simulações em cenários específicos demonstram a viabilidade e a aplicabilidade da plataforma, ao reduzir o tempo médio de execução de aplicações reais MPI em cerca de 11%, e Hadoop em torno de 6%. |
publishDate |
2019 |
dc.date.accessioned.fl_str_mv |
2019-05-16T16:17:15Z |
dc.date.available.fl_str_mv |
2019-05-09 2019-05-16T16:17:15Z |
dc.date.issued.fl_str_mv |
2019-02-26 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufjf.br/jspui/handle/ufjf/10019 |
url |
https://repositorio.ufjf.br/jspui/handle/ufjf/10019 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Juiz de Fora (UFJF) |
dc.publisher.program.fl_str_mv |
Programa de Pós-graduação em Ciência da Computação |
dc.publisher.initials.fl_str_mv |
UFJF |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
ICE – Instituto de Ciências Exatas |
publisher.none.fl_str_mv |
Universidade Federal de Juiz de Fora (UFJF) |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFJF instname:Universidade Federal de Juiz de Fora (UFJF) instacron:UFJF |
instname_str |
Universidade Federal de Juiz de Fora (UFJF) |
instacron_str |
UFJF |
institution |
UFJF |
reponame_str |
Repositório Institucional da UFJF |
collection |
Repositório Institucional da UFJF |
bitstream.url.fl_str_mv |
https://repositorio.ufjf.br/jspui/bitstream/ufjf/10019/5/alexandretavaresdeoliveira.pdf.txt https://repositorio.ufjf.br/jspui/bitstream/ufjf/10019/6/alexandretavaresdeoliveira.pdf.jpg https://repositorio.ufjf.br/jspui/bitstream/ufjf/10019/3/alexandretavaresdeoliveira.pdf https://repositorio.ufjf.br/jspui/bitstream/ufjf/10019/4/license.txt |
bitstream.checksum.fl_str_mv |
8e6ae6b00b364408418380db28151071 d16f12eebc8580cb0b8f8e014ff09dfc 54e25b3c8f5aa8d7d05e0ab0e0946619 000e18a5aee6ca21bb5811ddf55fc37b |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF) |
repository.mail.fl_str_mv |
|
_version_ |
1801661336238686208 |