Efficient trainingless metric for performance evaluation in the context of neural architecture search

Detalhes bibliográficos
Autor(a) principal: Fernandes, Bruno Griep
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/244437
Resumo: Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2022.
id UFSC_f44aca8da21f0e66d8a0caa6a1e3ddb9
oai_identifier_str oai:repositorio.ufsc.br:123456789/244437
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Efficient trainingless metric for performance evaluation in the context of neural architecture searchEngenharia elétricaAprendizado do computadorRedes neurais (Computação)Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2022.Este trabalho é dedicado ao problema de Pesquisa de Arquitetura Neural (NAS) no contexto de redes neurais profundas. Em termos gerais, tal problema envolve algoritmos com longos períodos de execução que buscam a melhor arquitetura de rede neural possível para resolver um problema prático específico. Algumas abordagens sem treinamento foram propostas recentemente com o objetivo de resolver o problema do NAS em menores períodos de tempo de execução. Essas abordagens são baseadas em métricas que ajudam a prever o desempenho de arquiteturas de redes neurais sem treiná-las. Neste trabalho de dissertação, é apresentada uma nova métrica de desempenho para NAS sem treinamento. A métrica proposta é derivada da chamada métrica NAS without Training (NAS-WOT), visando simplicidade e maior velocidade de busca na rede. Outra contribuição deste trabalho é um esquema de penalização envolvendo a métrica proposta, que auxilia na busca por redes efetivas que também sejam pequenas em termos de complexidade computacional necessária para implementação de inferências. Resultados experimentais mostram a eficácia da métrica proposta e de sua versão penalizada.Abstract: This work is dedicated to the problem of network architecture search (NAS) in the context of deep neural networks. In general terms, such a problem involves algorithms with long running times that look for the best possible neural network architecture for solving a specific practical problem. Some trainingless (or training-free) approaches have been proposed recently aiming to tackle the NAS problem in shorter times. These approaches are based in performance metrics that help predicting the performance of neural network architectures without training them. In this dissertation work, a novel performance metric for trainingless NAS is presented. The proposed metric is derived from the so-called NAS without training (NAS-WOT) metric, aiming at simplicity and further network-search speed ups. Another contribution of this work is a penalization scheme involving the proposed metric, which helps searching for effective networks that are also small in terms of computational complexity required for inference implementation. Experimental results show the effectiveness of the proposed metric and of its penalized version.Batista, Eduardo Luiz OrtizUniversidade Federal de Santa CatarinaFernandes, Bruno Griep2023-02-14T23:11:16Z2023-02-14T23:11:16Z2022info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis61 p.| il., gráfs.application/pdf380265https://repositorio.ufsc.br/handle/123456789/244437engreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccess2023-02-14T23:11:16Zoai:repositorio.ufsc.br:123456789/244437Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732023-02-14T23:11:16Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Efficient trainingless metric for performance evaluation in the context of neural architecture search
title Efficient trainingless metric for performance evaluation in the context of neural architecture search
spellingShingle Efficient trainingless metric for performance evaluation in the context of neural architecture search
Fernandes, Bruno Griep
Engenharia elétrica
Aprendizado do computador
Redes neurais (Computação)
title_short Efficient trainingless metric for performance evaluation in the context of neural architecture search
title_full Efficient trainingless metric for performance evaluation in the context of neural architecture search
title_fullStr Efficient trainingless metric for performance evaluation in the context of neural architecture search
title_full_unstemmed Efficient trainingless metric for performance evaluation in the context of neural architecture search
title_sort Efficient trainingless metric for performance evaluation in the context of neural architecture search
author Fernandes, Bruno Griep
author_facet Fernandes, Bruno Griep
author_role author
dc.contributor.none.fl_str_mv Batista, Eduardo Luiz Ortiz
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Fernandes, Bruno Griep
dc.subject.por.fl_str_mv Engenharia elétrica
Aprendizado do computador
Redes neurais (Computação)
topic Engenharia elétrica
Aprendizado do computador
Redes neurais (Computação)
description Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2022.
publishDate 2022
dc.date.none.fl_str_mv 2022
2023-02-14T23:11:16Z
2023-02-14T23:11:16Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv 380265
https://repositorio.ufsc.br/handle/123456789/244437
identifier_str_mv 380265
url https://repositorio.ufsc.br/handle/123456789/244437
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 61 p.| il., gráfs.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808651896395661312

Registros relacionados