Comportamento da E/S de aplicações paralelas em sistemas de alto desempenho

• Autor(a) principal: Pavan, Pablo José
• Data de Publicação: 2021
• Tipo de documento: Dissertação
• Idioma: eng
• Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
• Texto Completo: http://hdl.handle.net/10183/226271
• topic: Computação : Alto desempenho; Arquivos paralelos; Entrada/saida : Dados; I/O workload characterization; I/O Behavior; Parallel I/O; High Performance Computing

Na Computação de Alto Desempenho (CAD), um grande número de aplicações disputam pelos recursos disponíveis, principalmente pelo sistema de arquivos paralelos. Esta con corrência muitas vezes causa contenção nas operações de Entrada/Saída (E/S) reduzindo o desempenho das aplicações. Portanto, caracterizar as operações de E/S dos supercompu tadores é crucial para compreender carga de trabalho de E/S e assim identificar possíveis gargalos. Uma das formas de investigar os padrões de acesso das aplicações é através do uso de profiles de E/S das aplicações, porém, em um sistema CAD estes geram grandes quantias de dados. Nesse contexto, a abordagem proposta nesta dissertação consiste em caracterizar a carga de trabalho de E/S em supercomputadores. Para tanto, foram combinados profiles de E/S de diferentes aplicações em um único conjunto de dados com o objetivo de identificar e caracterizar os principais comportamentos de E/S. Duas abordagens são aplicadas para caracterizar a carga de trabalho: (1) Análise da duração e da representatividade dos pa drões de acesso a nível de aplicação; (2) Análise do comportamento das operações de E/S a nível de sistema. Assim, analisou-se os dados fornecidos pela ferramenta Darshan coletados pela Argonne Leadership Computing Facility e disponibilizados ao público. Os dados são uma coleção de arquivos de registros anônimos referentes a 12 meses do ano de 2012 que resumem as características de E/S de 91.603 jobs de computação científica de produção executadas no supercomputador IBM Intrepid Blue Gene/P. Foi apresentado o conceito de fase de E/S que define um intervalo de tempo onde uma aplicação realizou operações de E/S. A partir disso foi identificado que as fases de E/S das aplicações executaram em mediana por 1,2 microssegundos, se considerado o tempo ocioso entre as fases como parte da fase, identificando assim a estabilidade de uma fase de E/S na aplicação, esse valor sobe para 1 segundo. Quando considerado o comportamento global do sistema uma fase de E/S contém mais que uma operação e a duração dela em mediana é de 4 microssegundos. Além disso, conseguimos indicificar que em 50% do tempo, o sistema de arquivo paralelo trabalhou simultaneamente com 4 padrões de acesso distintos.