Estudo e implementação de estratégias para otimização de E/S em sistemas distribuídos de alta vazão, com foco em técnicas de Kernel-Bypass utilizando DPDK e mTCP

Detalhes bibliográficos
Autor(a) principal: Farias, Bernardo Schmidt
Data de Publicação: 2023
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/253367
Resumo: TCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Ciências da Computação.
id UFSC_6be475161d966270e33c5f7781e42e15
oai_identifier_str oai:repositorio.ufsc.br:123456789/253367
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Estudo e implementação de estratégias para otimização de E/S em sistemas distribuídos de alta vazão, com foco em técnicas de Kernel-Bypass utilizando DPDK e mTCPSistemas DistribuídosKernel-BypassmTCPDPDKTCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Ciências da Computação.Na última década, os dispositivos físicos de E/S aceleraram sua velocidade de operação enquanto a performance dos processadores se manteve estagnada. Percebe-se uma tendência, principalmente em ambientes de intenso fluxo de dados como os datacenters, na qual estes dispositivos não são mais o grande gargalo de performance nas operações de E/S de sistemas distribuídos de alta vazão, mas sim o processamento de rede disponibilizado pelo sistema operacional no qual a aplicação está sendo executada. Tendo isso em vista, técnicas para desviar o processamento de dados do kernel do sistema operacional, chamadas de Kernel-Bypass, vêm conquistando interesse de pesquisadores e iniciativas privadas. Este tipo de estratégia almeja remover do kernel a responsabilidade de processamento de dados em rede, transferindo esta função para bibliotecas implementadas em espaço de usuário e/ou dispositivos físicos específicos para este fim. O presente trabalho apresenta um estudo sobre os principais gargalos do kernel Linux no processamento de E/S para sistemas distribuídos, e como as implementações de estratégias de Kernel-Bypass otimizam estes fluxos. Ao realizar a implementação de protótipos, utilizando em junção duas bibliotecas de Kernel-Bypass, foi possível avaliar o potencial deste tipo de estratégia quando comparado com o fluxo tradicional do kernel. Os resultados sugerem que as bibliotecas de Kernel-Bypass utilizadas conseguem extrair maior proveito do hardware disponibilizado em certos cenários quando comparadas com o kernel Linux. Entretanto, não são recomendadas para implementação de sistemas que não antecipam um fluxo intenso de troca de dados.Over the past decade, I/O devices have sped up while CPU performance has stagnated. There’s a trend, especially in high data throughput environments like datacenters, that these devices are no longer the main performance bottleneck of I/O operations in high throughput distributed systems, this position is now held by the network stack processing available in Operational Systems kernel. Bearing that in mind, the discussions about techniques that bypass the kernel in the datapath processing of applications, called Kernel- Bypass techniques, are gaining more attention from researchers and companies. This kind of strategy aims to remove from the kernel the responsibility of network processing, offloading this task to libraries implemented in user space and/or hardware specific for this kind of processing. This work offers a study about the main bottlenecks in I/O processing for distributed systems made by the Linux kernel, and how the Kernel-Bypass approach optimizes these flows. In order to validate these strategies, test applications were implemented using two Kernel-Bypass libraries and its performance was compared with the linux Kernel. The results suggests that the Kernel-Bypass libraries used are able to better utilize the given hardware in some scenarios than the Linux kernel network stack. However, they’re not recommended for developing systems that do not anticipate intense data flow.Florianópolis, SC.Mendizabal, Odorico MachadoUniversidade Federal de Santa Catarina.Farias, Bernardo Schmidt2023-12-15T20:57:15Z2023-12-15T20:57:15Z2023-12-07info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesis77 f.application/pdfhttps://repositorio.ufsc.br/handle/123456789/253367Open Access.info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSC2023-12-15T20:57:15Zoai:repositorio.ufsc.br:123456789/253367Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732023-12-15T20:57:15Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Estudo e implementação de estratégias para otimização de E/S em sistemas distribuídos de alta vazão, com foco em técnicas de Kernel-Bypass utilizando DPDK e mTCP
title Estudo e implementação de estratégias para otimização de E/S em sistemas distribuídos de alta vazão, com foco em técnicas de Kernel-Bypass utilizando DPDK e mTCP
spellingShingle Estudo e implementação de estratégias para otimização de E/S em sistemas distribuídos de alta vazão, com foco em técnicas de Kernel-Bypass utilizando DPDK e mTCP
Farias, Bernardo Schmidt
Sistemas Distribuídos
Kernel-Bypass
mTCP
DPDK
title_short Estudo e implementação de estratégias para otimização de E/S em sistemas distribuídos de alta vazão, com foco em técnicas de Kernel-Bypass utilizando DPDK e mTCP
title_full Estudo e implementação de estratégias para otimização de E/S em sistemas distribuídos de alta vazão, com foco em técnicas de Kernel-Bypass utilizando DPDK e mTCP
title_fullStr Estudo e implementação de estratégias para otimização de E/S em sistemas distribuídos de alta vazão, com foco em técnicas de Kernel-Bypass utilizando DPDK e mTCP
title_full_unstemmed Estudo e implementação de estratégias para otimização de E/S em sistemas distribuídos de alta vazão, com foco em técnicas de Kernel-Bypass utilizando DPDK e mTCP
title_sort Estudo e implementação de estratégias para otimização de E/S em sistemas distribuídos de alta vazão, com foco em técnicas de Kernel-Bypass utilizando DPDK e mTCP
author Farias, Bernardo Schmidt
author_facet Farias, Bernardo Schmidt
author_role author
dc.contributor.none.fl_str_mv Mendizabal, Odorico Machado
Universidade Federal de Santa Catarina.
dc.contributor.author.fl_str_mv Farias, Bernardo Schmidt
dc.subject.por.fl_str_mv Sistemas Distribuídos
Kernel-Bypass
mTCP
DPDK
topic Sistemas Distribuídos
Kernel-Bypass
mTCP
DPDK
description TCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Ciências da Computação.
publishDate 2023
dc.date.none.fl_str_mv 2023-12-15T20:57:15Z
2023-12-15T20:57:15Z
2023-12-07
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/253367
url https://repositorio.ufsc.br/handle/123456789/253367
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Open Access.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Open Access.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 77 f.
application/pdf
dc.publisher.none.fl_str_mv Florianópolis, SC.
publisher.none.fl_str_mv Florianópolis, SC.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808652183594336256

Registros relacionados