Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFRN |
Texto Completo: | https://repositorio.ufrn.br/jspui/handle/123456789/26677 |
Resumo: | As técnicas de aprendizagem profunda (Deep Learning) aplicáveis a problemas de diversas áreas vêm ganhando grande destaque no âmbito da pesquisa mundial nos últimos anos. No entanto, os algoritmos com aprendizagem profunda possuem um custo computacional elevado, dificultando sua utilização em várias aplicações comerciais. Por outro lado, novas alternativas vêm sendo estudadas para acelerar algoritmos complexos, e entre elas, as baseadas em computação reconfigurável vêm apresentando resultados bastante significativos. Sendo assim, este trabalho tem como objetivo a implementação em hardware de uma rede neural para utilização de algoritmos com aprendizagem profunda. O hardware proposto foi desenvolvido em Field Programmable Gate Array (FPGA) e suporta Redes Neurais Profundas (Deep Neural Network - DNN) treinadas com a técnica Stacked Sparse Autoencoder (SSAE). Para permitir DNNs com muitas entradas e camadas no FPGA, foi utilizada a técnica de matriz sistólica (systolic array) em todo hardware desenvolvido. Os detalhes da arquitetura desenvolvida no FPGA são evidenciados, bem como, os dados de ocupação em hardware, o tempo de processamento e o consumo de potência para duas implementações distintas. Resultados mostram que as implementações conseguem atingir throughputs elevados, permitindo a utilização de técnicas de Deep Learning em problemas de dados massivos. |
id |
UFRN_cf5298610bb3ba16a3a29f6ce6ec5aef |
---|---|
oai_identifier_str |
oai:https://repositorio.ufrn.br:123456789/26677 |
network_acronym_str |
UFRN |
network_name_str |
Repositório Institucional da UFRN |
repository_id_str |
|
spelling |
Coutinho, Maria Gracielly FernandesDoria Neto, Adrião DuarteSakuyama, Carlos Alberto ValderramaBelfort, Diomadson RodriguesFernandes, Marcelo Augusto Costa2019-03-07T21:28:10Z2019-03-07T21:28:10Z2019-01-17COUTINHO, Maria Gracielly Fernandes. Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder. 2019. 70f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2019.https://repositorio.ufrn.br/jspui/handle/123456789/26677As técnicas de aprendizagem profunda (Deep Learning) aplicáveis a problemas de diversas áreas vêm ganhando grande destaque no âmbito da pesquisa mundial nos últimos anos. No entanto, os algoritmos com aprendizagem profunda possuem um custo computacional elevado, dificultando sua utilização em várias aplicações comerciais. Por outro lado, novas alternativas vêm sendo estudadas para acelerar algoritmos complexos, e entre elas, as baseadas em computação reconfigurável vêm apresentando resultados bastante significativos. Sendo assim, este trabalho tem como objetivo a implementação em hardware de uma rede neural para utilização de algoritmos com aprendizagem profunda. O hardware proposto foi desenvolvido em Field Programmable Gate Array (FPGA) e suporta Redes Neurais Profundas (Deep Neural Network - DNN) treinadas com a técnica Stacked Sparse Autoencoder (SSAE). Para permitir DNNs com muitas entradas e camadas no FPGA, foi utilizada a técnica de matriz sistólica (systolic array) em todo hardware desenvolvido. Os detalhes da arquitetura desenvolvida no FPGA são evidenciados, bem como, os dados de ocupação em hardware, o tempo de processamento e o consumo de potência para duas implementações distintas. Resultados mostram que as implementações conseguem atingir throughputs elevados, permitindo a utilização de técnicas de Deep Learning em problemas de dados massivos.The deep learning techniques have been gaining prominence in world research in the past years. However, the deep learning algorithms have high computational cost, making it hard to apply in several commercial applications. On the other hand, new alternatives have been studying to accelerate complex algorithms, among these, those based on reconfigurable hardware has been showing very significant results. Therefore, the objective of this work is the hardware implementation of a neural network for the use of algorithms with deep learning. The hardware was developed on Field Programmable Gate Array (FPGA) and supports Deep Neural Network (DNN) trained with the Stacked Sparse Autoencoder (SSAE) technique. In order to allow DNNs with many inputs and layers on the FPGA, the systolic array technique was used in all developed hardware. The details of the architecture designed on the FPGA were evidenced, as well as the occupation data on hardware, the processing time and the power consumption to two different implementations. The results show that both implementations achieve high throughputs allowing the use of Deep Learning techniques in massive data problems.CAPESCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAAprendizagem profundaStacked Sparse AutoencoderFPGAMatriz sistólicaProposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoderinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisPROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃOUFRNBrasilinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNTEXTPropostaimplementaçãohardware_Coutinho_2019.pdf.txtPropostaimplementaçãohardware_Coutinho_2019.pdf.txtExtracted texttext/plain113053https://repositorio.ufrn.br/bitstream/123456789/26677/2/Propostaimplementa%c3%a7%c3%a3ohardware_Coutinho_2019.pdf.txtbef68f37b76b3b656a5f171b932fec3cMD52THUMBNAILPropostaimplementaçãohardware_Coutinho_2019.pdf.jpgPropostaimplementaçãohardware_Coutinho_2019.pdf.jpgGenerated Thumbnailimage/jpeg1490https://repositorio.ufrn.br/bitstream/123456789/26677/3/Propostaimplementa%c3%a7%c3%a3ohardware_Coutinho_2019.pdf.jpge2fd76ee2d6a90479fb362362417c99dMD53ORIGINALPropostaimplementaçãohardware_Coutinho_2019.pdfapplication/pdf1658055https://repositorio.ufrn.br/bitstream/123456789/26677/1/Propostaimplementa%c3%a7%c3%a3ohardware_Coutinho_2019.pdf10dd58cd5cf6dd61861ba32064bf116aMD51123456789/266772019-05-26 03:10:15.84oai:https://repositorio.ufrn.br:123456789/26677Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2019-05-26T06:10:15Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false |
dc.title.pt_BR.fl_str_mv |
Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder |
title |
Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder |
spellingShingle |
Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder Coutinho, Maria Gracielly Fernandes CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Aprendizagem profunda Stacked Sparse Autoencoder FPGA Matriz sistólica |
title_short |
Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder |
title_full |
Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder |
title_fullStr |
Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder |
title_full_unstemmed |
Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder |
title_sort |
Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder |
author |
Coutinho, Maria Gracielly Fernandes |
author_facet |
Coutinho, Maria Gracielly Fernandes |
author_role |
author |
dc.contributor.authorID.pt_BR.fl_str_mv |
|
dc.contributor.advisorID.pt_BR.fl_str_mv |
|
dc.contributor.referees1.none.fl_str_mv |
Doria Neto, Adrião Duarte |
dc.contributor.referees1ID.pt_BR.fl_str_mv |
|
dc.contributor.referees2.none.fl_str_mv |
Sakuyama, Carlos Alberto Valderrama |
dc.contributor.referees2ID.pt_BR.fl_str_mv |
|
dc.contributor.referees3.none.fl_str_mv |
Belfort, Diomadson Rodrigues |
dc.contributor.referees3ID.pt_BR.fl_str_mv |
|
dc.contributor.author.fl_str_mv |
Coutinho, Maria Gracielly Fernandes |
dc.contributor.advisor1.fl_str_mv |
Fernandes, Marcelo Augusto Costa |
contributor_str_mv |
Fernandes, Marcelo Augusto Costa |
dc.subject.cnpq.fl_str_mv |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
topic |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Aprendizagem profunda Stacked Sparse Autoencoder FPGA Matriz sistólica |
dc.subject.por.fl_str_mv |
Aprendizagem profunda Stacked Sparse Autoencoder FPGA Matriz sistólica |
description |
As técnicas de aprendizagem profunda (Deep Learning) aplicáveis a problemas de diversas áreas vêm ganhando grande destaque no âmbito da pesquisa mundial nos últimos anos. No entanto, os algoritmos com aprendizagem profunda possuem um custo computacional elevado, dificultando sua utilização em várias aplicações comerciais. Por outro lado, novas alternativas vêm sendo estudadas para acelerar algoritmos complexos, e entre elas, as baseadas em computação reconfigurável vêm apresentando resultados bastante significativos. Sendo assim, este trabalho tem como objetivo a implementação em hardware de uma rede neural para utilização de algoritmos com aprendizagem profunda. O hardware proposto foi desenvolvido em Field Programmable Gate Array (FPGA) e suporta Redes Neurais Profundas (Deep Neural Network - DNN) treinadas com a técnica Stacked Sparse Autoencoder (SSAE). Para permitir DNNs com muitas entradas e camadas no FPGA, foi utilizada a técnica de matriz sistólica (systolic array) em todo hardware desenvolvido. Os detalhes da arquitetura desenvolvida no FPGA são evidenciados, bem como, os dados de ocupação em hardware, o tempo de processamento e o consumo de potência para duas implementações distintas. Resultados mostram que as implementações conseguem atingir throughputs elevados, permitindo a utilização de técnicas de Deep Learning em problemas de dados massivos. |
publishDate |
2019 |
dc.date.accessioned.fl_str_mv |
2019-03-07T21:28:10Z |
dc.date.available.fl_str_mv |
2019-03-07T21:28:10Z |
dc.date.issued.fl_str_mv |
2019-01-17 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
COUTINHO, Maria Gracielly Fernandes. Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder. 2019. 70f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2019. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufrn.br/jspui/handle/123456789/26677 |
identifier_str_mv |
COUTINHO, Maria Gracielly Fernandes. Proposta de implementação em hardware de rede neural profunda baseada em Stacked Sparse Autoencoder. 2019. 70f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2019. |
url |
https://repositorio.ufrn.br/jspui/handle/123456789/26677 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.program.fl_str_mv |
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃO |
dc.publisher.initials.fl_str_mv |
UFRN |
dc.publisher.country.fl_str_mv |
Brasil |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRN instname:Universidade Federal do Rio Grande do Norte (UFRN) instacron:UFRN |
instname_str |
Universidade Federal do Rio Grande do Norte (UFRN) |
instacron_str |
UFRN |
institution |
UFRN |
reponame_str |
Repositório Institucional da UFRN |
collection |
Repositório Institucional da UFRN |
bitstream.url.fl_str_mv |
https://repositorio.ufrn.br/bitstream/123456789/26677/2/Propostaimplementa%c3%a7%c3%a3ohardware_Coutinho_2019.pdf.txt https://repositorio.ufrn.br/bitstream/123456789/26677/3/Propostaimplementa%c3%a7%c3%a3ohardware_Coutinho_2019.pdf.jpg https://repositorio.ufrn.br/bitstream/123456789/26677/1/Propostaimplementa%c3%a7%c3%a3ohardware_Coutinho_2019.pdf |
bitstream.checksum.fl_str_mv |
bef68f37b76b3b656a5f171b932fec3c e2fd76ee2d6a90479fb362362417c99d 10dd58cd5cf6dd61861ba32064bf116a |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN) |
repository.mail.fl_str_mv |
|
_version_ |
1802117815079010304 |