Data processing with cross-application interference control via system-level instrumentation

• Autor(a) principal: Xavier, Miguel Gomes
• Data de Publicação: 2019
• Tipo de documento: Tese
• Idioma: eng
• Título da fonte: Biblioteca Digital de Teses e Dissertações da PUC_RS
• Texto Completo: https://tede2.pucrs.br/tede2/handle/tede/10941
• topic: Big Data; Resource Management; Virtualization; High Performance Computing; Operating Systems; Big Data; Gerenciamento de Recursos; Sistemas Operacionais; Virtualização; Computação de Alto Desempenho; CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO

O volume de dados na rede global está atingindo uma escala sem precedentes exigindo mudanças tecnológicas em diferentes espectros da computação para lidar com a crescente necessidade de desempenho. Embora as complexidades dos dados tenham aumentado, o impacto real depende da capacidade de extração e transformação desses conjuntos maciços de dados brutos e variados para extrair informações valiosas. Obter informações sobre esses dados derivou um amplo espectro para análise de Big Data. A análise de dados representou um grande desafio ao projetar sistemas de gerenciamento de recursos altamente escaláveis para integrar, extrair e transformar dados brutos em informações, mantendo a experiência dos usuários e as expectativas dos negócios. Os sistemas de gerenciamento de recursos para Big Data geralmente consolidam aplicativos e usam virtualização em nível de sistema operacional (contêineres) para permitir o compartilhamento de recursos e melhorar a eficiência. No entanto, o desempenho ainda varia imprevisivelmente devido à competição no acesso a recursos compartilhados como CPU, memória, disco e rede. A intuição inicial que motiva o desenvolvimento desse trabalho é capacidade dos processadores modernos de disponibilizar informações que possam ser usadas para classificar a interferência emanada de aplicativos em contêiner. Portanto, conjeturamos que os clusters que interpresetam esses dados podem acelerar as aplicações no processo de análise de Big Data e melhorar a eficiência de recursos. Para confirmar nossa tese, primeiro estudamos as necessidades de desempenho de Big Data e os pontos fracos existentes no isolamento de desempenho de contêineres. Obtendo informações desses estudos para propor uma colocação de contêiner com reconhecimento de interferência, reunimos tudo isso em um protótipo de planejador com reconhecimento de interferência, que resultou em ganhos de até 35% no desempenho da programação e 42% na eficiência dos recursos, portanto, confirmando a tese.