Análise de desempenho de bibliotecas de deep learning em arquiteturas híbridas com aceleradores

Detalhes bibliográficos
Autor(a) principal: Trindade, Rafael Gauna
Data de Publicação: 2017
Idioma: por
Título da fonte: Manancial - Repositório Digital da UFSM
dARK ID: ark:/26339/001300000sqcx
Texto Completo: http://repositorio.ufsm.br/handle/1/23152
Resumo: Trabalho de conclusão de curso (graduação) - Universidade Federal de Santa Maria, Centro de Tecnologia, Curso de Ciência da Computação, RS, 2017.
id UFSM_b66a4469c088960746e72a58dd7bf9c2
oai_identifier_str oai:repositorio.ufsm.br:1/23152
network_acronym_str UFSM
network_name_str Manancial - Repositório Digital da UFSM
repository_id_str
spelling Análise de desempenho de bibliotecas de deep learning em arquiteturas híbridas com aceleradoresAprendizagem profundaRedes neuraisComputação heterogêneaTensorFlowBenchmarkingCaffeCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOTrabalho de conclusão de curso (graduação) - Universidade Federal de Santa Maria, Centro de Tecnologia, Curso de Ciência da Computação, RS, 2017.Deep Learning is a subcategory of machine learning algorithms and is a subject of relevant studies in the area of Artificial Intelligence. Characterized in most cases as multi-layered Artificial Neural Networks, deep learning networks present themselves as a means of achieving improvements in numerous computational tasks, such as speech recognition, natural language processing, and object identification in images, item present in the field of computer vision. Its importance has grown steadily in recent years, and its popularity increases as vast databases of information and devices with high computational capacity become accessible. Companies invest in the field of associated research, and new applications are available to end users, in addition to the strong hope of efficiency in their application in the health area. This work proposes to analyze the performance and the way that the loss values evolve until it converge, in a scenario of inevitable overfitting, of two relatively popular Deep Learning libraries among developers and researchers: Caffe, developed by the University of Berkley, and TensorFlow, developed by Google. Executions of two known convolutional networks (AlexNet and GoogLeNet) were conducted as benchmarking in hybrid architectures that use accelerators and in a cluster, varying hyperparameters of the networks in a scenario of unavoidable overfitting. The results lead to conclusion that the TensorFlow library presented a better performance in most cases, and tends to consume less memory to store network information. However a portion of this performance is due in part to the use of vectorized instructions, and in a contrary scenario, the Caffe library may outperform the competitor, despite some technical deficiencies. Besides that, the Caffe library presents a problem by reaching overfitting with negative values, a fact that should not happens in a artificial neural network.Deep Learning, ou Aprendizagem Profunda, é uma subcategoria de algoritmos de aprendizado de máquina, sendo um tema de estudos relevantes na área de Inteligência Artificial. Caracterizando-se na maior parte dos casos como Redes Neurais Artificiais de múltiplas camadas, redes de aprendizagem profunda apresentam-se como um meio de alcançar melhorias em inúmeras tarefas computacionais, como reconhecimento de fala, processamento de linguagem natural e identificação de objetos em imagens, item presente no campo de visão computacional. Sua importância cresce cada vez mais nos últimos anos, e sua popularidade aumenta conforme se tornam acessíveis bancos de dados vastos em informações e dispositivos com alta capacidade computacional. Empresas investem no ramo de pesquisa associado, e novas aplicações ficam disponíveis aos usuários finais, além da forte esperança de eficiência da sua aplicação na área da saúde. Este trabalho se propôs a analisar o desempenho e a forma como os valores de perda evoluem até convergirem, em um cenário de sobreajuste inevitável, de duas bibliotecas de Deep Learning relativamente populares entre desenvolvedores e pesquisadores do ramo: Caffe, desenvolvida pela Universidade de Berkley, e TensorFlow, desenvolvida pela Google. Foram conduzidas execuções de duas redes convolucionais conhecidas (AlexNet e GoogLeNet), como forma de benchmarking, em arquiteturas híbridas que fazem uso de aceleradores e em um cluster, variando hiperparâmetros das redes em um cenário de sobreajuste inevitável. Os resultados levaram a constatação que a biblioteca TensorFlow apresentou um melhor desempenho na maioria dos casos, e que tende a consumir menos memória para armazenar as informações da rede. Entretanto, uma porção desse desempenho se deve em parte ao uso de instruções vetorizadas, e em um cenário contrário a biblioteca Caffe pode obter mais desempenho que a concorrente, apesar de algumas deficiências técnicas. Além disso, a biblioteca Caffe apresenta um problema ao atingir o sobreajuste com valores negativos, fato que não deve acontecer em uma rede neural artificial.Universidade Federal de Santa MariaBrasilUFSMCentro de TecnologiaLima, João Vicente FerreiraTrindade, Rafael Gauna2021-12-06T12:50:27Z2021-12-06T12:50:27Z2017-12-122017Trabalho de Conclusão de Curso de Graduaçãoinfo:eu-repo/semantics/publishedVersionapplication/pdfhttp://repositorio.ufsm.br/handle/1/23152ark:/26339/001300000sqcxporAttribution-NonCommercial-NoDerivatives 4.0 Internationalhttp://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessreponame:Manancial - Repositório Digital da UFSMinstname:Universidade Federal de Santa Maria (UFSM)instacron:UFSM2022-09-01T15:37:38Zoai:repositorio.ufsm.br:1/23152Biblioteca Digital de Teses e Dissertaçõeshttps://repositorio.ufsm.br/ONGhttps://repositorio.ufsm.br/oai/requestatendimento.sib@ufsm.br||tedebc@gmail.comopendoar:2022-09-01T15:37:38Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)false
dc.title.none.fl_str_mv Análise de desempenho de bibliotecas de deep learning em arquiteturas híbridas com aceleradores
title Análise de desempenho de bibliotecas de deep learning em arquiteturas híbridas com aceleradores
spellingShingle Análise de desempenho de bibliotecas de deep learning em arquiteturas híbridas com aceleradores
Trindade, Rafael Gauna
Aprendizagem profunda
Redes neurais
Computação heterogênea
TensorFlow
Benchmarking
Caffe
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
title_short Análise de desempenho de bibliotecas de deep learning em arquiteturas híbridas com aceleradores
title_full Análise de desempenho de bibliotecas de deep learning em arquiteturas híbridas com aceleradores
title_fullStr Análise de desempenho de bibliotecas de deep learning em arquiteturas híbridas com aceleradores
title_full_unstemmed Análise de desempenho de bibliotecas de deep learning em arquiteturas híbridas com aceleradores
title_sort Análise de desempenho de bibliotecas de deep learning em arquiteturas híbridas com aceleradores
author Trindade, Rafael Gauna
author_facet Trindade, Rafael Gauna
author_role author
dc.contributor.none.fl_str_mv Lima, João Vicente Ferreira
dc.contributor.author.fl_str_mv Trindade, Rafael Gauna
dc.subject.por.fl_str_mv Aprendizagem profunda
Redes neurais
Computação heterogênea
TensorFlow
Benchmarking
Caffe
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic Aprendizagem profunda
Redes neurais
Computação heterogênea
TensorFlow
Benchmarking
Caffe
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
description Trabalho de conclusão de curso (graduação) - Universidade Federal de Santa Maria, Centro de Tecnologia, Curso de Ciência da Computação, RS, 2017.
publishDate 2017
dc.date.none.fl_str_mv 2017-12-12
2017
2021-12-06T12:50:27Z
2021-12-06T12:50:27Z
dc.type.driver.fl_str_mv Trabalho de Conclusão de Curso de Graduação
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://repositorio.ufsm.br/handle/1/23152
dc.identifier.dark.fl_str_mv ark:/26339/001300000sqcx
url http://repositorio.ufsm.br/handle/1/23152
identifier_str_mv ark:/26339/001300000sqcx
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivatives 4.0 International
http://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivatives 4.0 International
http://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Santa Maria
Brasil
UFSM
Centro de Tecnologia
publisher.none.fl_str_mv Universidade Federal de Santa Maria
Brasil
UFSM
Centro de Tecnologia
dc.source.none.fl_str_mv reponame:Manancial - Repositório Digital da UFSM
instname:Universidade Federal de Santa Maria (UFSM)
instacron:UFSM
instname_str Universidade Federal de Santa Maria (UFSM)
instacron_str UFSM
institution UFSM
reponame_str Manancial - Repositório Digital da UFSM
collection Manancial - Repositório Digital da UFSM
repository.name.fl_str_mv Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)
repository.mail.fl_str_mv atendimento.sib@ufsm.br||tedebc@gmail.com
_version_ 1815172391670644736

Registros relacionados