Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder

Detalhes bibliográficos
Autor(a) principal: Coutinho, Maria Gracielly Fernandes
Data de Publicação: 2019
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFRN
Texto Completo: https://repositorio.ufrn.br/jspui/handle/123456789/26677
Resumo: As técnicas de aprendizagem profunda (Deep Learning) aplicáveis a problemas de diversas áreas vêm ganhando grande destaque no âmbito da pesquisa mundial nos últimos anos. No entanto, os algoritmos com aprendizagem profunda possuem um custo computacional elevado, dificultando sua utilização em várias aplicações comerciais. Por outro lado, novas alternativas vêm sendo estudadas para acelerar algoritmos complexos, e entre elas, as baseadas em computação reconfigurável vêm apresentando resultados bastante significativos. Sendo assim, este trabalho tem como objetivo a implementação em hardware de uma rede neural para utilização de algoritmos com aprendizagem profunda. O hardware proposto foi desenvolvido em Field Programmable Gate Array (FPGA) e suporta Redes Neurais Profundas (Deep Neural Network - DNN) treinadas com a técnica Stacked Sparse Autoencoder (SSAE). Para permitir DNNs com muitas entradas e camadas no FPGA, foi utilizada a técnica de matriz sistólica (systolic array) em todo hardware desenvolvido. Os detalhes da arquitetura desenvolvida no FPGA são evidenciados, bem como, os dados de ocupação em hardware, o tempo de processamento e o consumo de potência para duas implementações distintas. Resultados mostram que as implementações conseguem atingir throughputs elevados, permitindo a utilização de técnicas de Deep Learning em problemas de dados massivos.
id UFRN_cf5298610bb3ba16a3a29f6ce6ec5aef
oai_identifier_str oai:https://repositorio.ufrn.br:123456789/26677
network_acronym_str UFRN
network_name_str Repositório Institucional da UFRN
repository_id_str
spelling Coutinho, Maria Gracielly FernandesDoria Neto, Adrião DuarteSakuyama, Carlos Alberto ValderramaBelfort, Diomadson RodriguesFernandes, Marcelo Augusto Costa2019-03-07T21:28:10Z2019-03-07T21:28:10Z2019-01-17COUTINHO, Maria Gracielly Fernandes. Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder. 2019. 70f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2019.https://repositorio.ufrn.br/jspui/handle/123456789/26677As técnicas de aprendizagem profunda (Deep Learning) aplicáveis a problemas de diversas áreas vêm ganhando grande destaque no âmbito da pesquisa mundial nos últimos anos. No entanto, os algoritmos com aprendizagem profunda possuem um custo computacional elevado, dificultando sua utilização em várias aplicações comerciais. Por outro lado, novas alternativas vêm sendo estudadas para acelerar algoritmos complexos, e entre elas, as baseadas em computação reconfigurável vêm apresentando resultados bastante significativos. Sendo assim, este trabalho tem como objetivo a implementação em hardware de uma rede neural para utilização de algoritmos com aprendizagem profunda. O hardware proposto foi desenvolvido em Field Programmable Gate Array (FPGA) e suporta Redes Neurais Profundas (Deep Neural Network - DNN) treinadas com a técnica Stacked Sparse Autoencoder (SSAE). Para permitir DNNs com muitas entradas e camadas no FPGA, foi utilizada a técnica de matriz sistólica (systolic array) em todo hardware desenvolvido. Os detalhes da arquitetura desenvolvida no FPGA são evidenciados, bem como, os dados de ocupação em hardware, o tempo de processamento e o consumo de potência para duas implementações distintas. Resultados mostram que as implementações conseguem atingir throughputs elevados, permitindo a utilização de técnicas de Deep Learning em problemas de dados massivos.The deep learning techniques have been gaining prominence in world research in the past years. However, the deep learning algorithms have high computational cost, making it hard to apply in several commercial applications. On the other hand, new alternatives have been studying to accelerate complex algorithms, among these, those based on reconfigurable hardware has been showing very significant results. Therefore, the objective of this work is the hardware implementation of a neural network for the use of algorithms with deep learning. The hardware was developed on Field Programmable Gate Array (FPGA) and supports Deep Neural Network (DNN) trained with the Stacked Sparse Autoencoder (SSAE) technique. In order to allow DNNs with many inputs and layers on the FPGA, the systolic array technique was used in all developed hardware. The details of the architecture designed on the FPGA were evidenced, as well as the occupation data on hardware, the processing time and the power consumption to two different implementations. The results show that both implementations achieve high throughputs allowing the use of Deep Learning techniques in massive data problems.CAPESCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAAprendizagem profundaStacked Sparse AutoencoderFPGAMatriz sistólicaProposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoderinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisPROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃOUFRNBrasilinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNTEXTPropostaimplementaçãohardware_Coutinho_2019.pdf.txtPropostaimplementaçãohardware_Coutinho_2019.pdf.txtExtracted texttext/plain113053https://repositorio.ufrn.br/bitstream/123456789/26677/2/Propostaimplementa%c3%a7%c3%a3ohardware_Coutinho_2019.pdf.txtbef68f37b76b3b656a5f171b932fec3cMD52THUMBNAILPropostaimplementaçãohardware_Coutinho_2019.pdf.jpgPropostaimplementaçãohardware_Coutinho_2019.pdf.jpgGenerated Thumbnailimage/jpeg1490https://repositorio.ufrn.br/bitstream/123456789/26677/3/Propostaimplementa%c3%a7%c3%a3ohardware_Coutinho_2019.pdf.jpge2fd76ee2d6a90479fb362362417c99dMD53ORIGINALPropostaimplementaçãohardware_Coutinho_2019.pdfapplication/pdf1658055https://repositorio.ufrn.br/bitstream/123456789/26677/1/Propostaimplementa%c3%a7%c3%a3ohardware_Coutinho_2019.pdf10dd58cd5cf6dd61861ba32064bf116aMD51123456789/266772019-05-26 03:10:15.84oai:https://repositorio.ufrn.br:123456789/26677Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2019-05-26T06:10:15Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false
dc.title.pt_BR.fl_str_mv Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder
title Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder
spellingShingle Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder
Coutinho, Maria Gracielly Fernandes
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Aprendizagem profunda
Stacked Sparse Autoencoder
FPGA
Matriz sistólica
title_short Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder
title_full Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder
title_fullStr Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder
title_full_unstemmed Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder
title_sort Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder
author Coutinho, Maria Gracielly Fernandes
author_facet Coutinho, Maria Gracielly Fernandes
author_role author
dc.contributor.authorID.pt_BR.fl_str_mv
dc.contributor.advisorID.pt_BR.fl_str_mv
dc.contributor.referees1.none.fl_str_mv Doria Neto, Adrião Duarte
dc.contributor.referees1ID.pt_BR.fl_str_mv
dc.contributor.referees2.none.fl_str_mv Sakuyama, Carlos Alberto Valderrama
dc.contributor.referees2ID.pt_BR.fl_str_mv
dc.contributor.referees3.none.fl_str_mv Belfort, Diomadson Rodrigues
dc.contributor.referees3ID.pt_BR.fl_str_mv
dc.contributor.author.fl_str_mv Coutinho, Maria Gracielly Fernandes
dc.contributor.advisor1.fl_str_mv Fernandes, Marcelo Augusto Costa
contributor_str_mv Fernandes, Marcelo Augusto Costa
dc.subject.cnpq.fl_str_mv CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
topic CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Aprendizagem profunda
Stacked Sparse Autoencoder
FPGA
Matriz sistólica
dc.subject.por.fl_str_mv Aprendizagem profunda
Stacked Sparse Autoencoder
FPGA
Matriz sistólica
description As técnicas de aprendizagem profunda (Deep Learning) aplicáveis a problemas de diversas áreas vêm ganhando grande destaque no âmbito da pesquisa mundial nos últimos anos. No entanto, os algoritmos com aprendizagem profunda possuem um custo computacional elevado, dificultando sua utilização em várias aplicações comerciais. Por outro lado, novas alternativas vêm sendo estudadas para acelerar algoritmos complexos, e entre elas, as baseadas em computação reconfigurável vêm apresentando resultados bastante significativos. Sendo assim, este trabalho tem como objetivo a implementação em hardware de uma rede neural para utilização de algoritmos com aprendizagem profunda. O hardware proposto foi desenvolvido em Field Programmable Gate Array (FPGA) e suporta Redes Neurais Profundas (Deep Neural Network - DNN) treinadas com a técnica Stacked Sparse Autoencoder (SSAE). Para permitir DNNs com muitas entradas e camadas no FPGA, foi utilizada a técnica de matriz sistólica (systolic array) em todo hardware desenvolvido. Os detalhes da arquitetura desenvolvida no FPGA são evidenciados, bem como, os dados de ocupação em hardware, o tempo de processamento e o consumo de potência para duas implementações distintas. Resultados mostram que as implementações conseguem atingir throughputs elevados, permitindo a utilização de técnicas de Deep Learning em problemas de dados massivos.
publishDate 2019
dc.date.accessioned.fl_str_mv 2019-03-07T21:28:10Z
dc.date.available.fl_str_mv 2019-03-07T21:28:10Z
dc.date.issued.fl_str_mv 2019-01-17
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv COUTINHO, Maria Gracielly Fernandes. Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder. 2019. 70f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2019.
dc.identifier.uri.fl_str_mv https://repositorio.ufrn.br/jspui/handle/123456789/26677
identifier_str_mv COUTINHO, Maria Gracielly Fernandes. Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder. 2019. 70f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2019.
url https://repositorio.ufrn.br/jspui/handle/123456789/26677
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.program.fl_str_mv PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃO
dc.publisher.initials.fl_str_mv UFRN
dc.publisher.country.fl_str_mv Brasil
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRN
instname:Universidade Federal do Rio Grande do Norte (UFRN)
instacron:UFRN
instname_str Universidade Federal do Rio Grande do Norte (UFRN)
instacron_str UFRN
institution UFRN
reponame_str Repositório Institucional da UFRN
collection Repositório Institucional da UFRN
bitstream.url.fl_str_mv https://repositorio.ufrn.br/bitstream/123456789/26677/2/Propostaimplementa%c3%a7%c3%a3ohardware_Coutinho_2019.pdf.txt
https://repositorio.ufrn.br/bitstream/123456789/26677/3/Propostaimplementa%c3%a7%c3%a3ohardware_Coutinho_2019.pdf.jpg
https://repositorio.ufrn.br/bitstream/123456789/26677/1/Propostaimplementa%c3%a7%c3%a3ohardware_Coutinho_2019.pdf
bitstream.checksum.fl_str_mv bef68f37b76b3b656a5f171b932fec3c
e2fd76ee2d6a90479fb362362417c99d
10dd58cd5cf6dd61861ba32064bf116a
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)
repository.mail.fl_str_mv
_version_ 1802117815079010304