Um estudo sobre a performance de aplicações Big Data com Deep Learning

• Autor(a) principal: Bertoncello, Germano
• Data de Publicação: 2018
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFRGS
• Texto Completo: http://hdl.handle.net/10183/190195
• topic: Processamento distribuído; Aprendizado : máquina; Big Data; Deep Learning; Distributed Processing; TensorFlow; Apache Spark

Deep Learning (DL) e Big Data (BD) convergiram para um paradigma de computação híbrido capaz de unir o processamento dinâmico fornecido pelos modelos DL aliado ao poder do processamento paralelo e distribuído de frameworks BD. Este trabalho avalia o impacto causado na performance das aplicações Deep Learning junto ao modelo de programação paralelo e distribuído proveniente de frameworks de processamento Big Data. O ambiente de experimentação é controlado e representa um cenário de testes real e é composto por um cluster virtual criado na Microsoft Azure e configurado para suportar o framework Apache Spark sob o sistema YARN junto ao sistema de arquivos distribuídos do Hadoop (HDFS). Além disso, para suportar o desenvolvimento das aplicações TensorFlow sob o Apache Spark, foi utilizado o framework BigDL. Os resultados obtidos indicam a eficácia do modelo de processamento Big Data com Deep Learning, constata-se um ganho de desempenho de até 87,4% no ambiente distribuído de ; redução de custodo treinamento de até 41,3%, e perda de precisão dos modelos menor que 5%.