Robust Neural Networks

Detalhes bibliográficos
Autor(a) principal: Morais, António Manuel Delgado
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/96170
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_36182564ef961ea38c057303aed1cea7
oai_identifier_str oai:estudogeral.uc.pt:10316/96170
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Robust Neural NetworksRedes Neuronais RobustasSistemas Seguros-CríticosRedes Neuronais ConvolucionaisTolerância a FalhasInjeção de FalhasStimulated DropoutSafety-Critical SystemsConvolutional Neural NetworksFault ToleranceFault InjectionStimulated DropoutDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaA utilização crescente de sistemas baseados em Aprendizagem Computacional (AC) em contextos seguros-críticos tem levado a um aumento da preocupação associada à fiabilidade dos modelos e algoritmos utilizados. Apesar da sua elevada eficiência, estes modelos podem cometer erros com consequências graves. Estas falhas são com frequência atribuíveis a algum tipo de defeito na arquitetura do modelo ou a falta de dados de treino. Contudo, existem ocasiões em que estes erros acontecem devido a falhas aleatórias de hardware. De forma a limitar os efeitos destes tipos de falhas, vários métodos foram desenvolvidos e aplicados a modelos de AC com o objetivo de aumentar a sua tolerância a falhas. Modelos baseados em Redes Neuronais Profundas (RNPs), particularmente Redes Neuronais Convolucionais (RNCs), são especialmente significativos devido à sua utilização em contextos sensíveis como a condução autónoma ou aplicações médicas.Neste projeto, estudamos a eficiência de métodos existentes para melhorar a tolerância a falhas de RNCs, como Dropout, Redundância, Ranger e Stimulated Dropout. Utilizamos quatro conjuntos de dados de complexidade variável que representam aplicações diversas de modelos de AC, uma delas num contexto seguro-crítico. Para além disto, combinamos alguns destes métodos de tolerância a falhas em abordagens híbridas.Para medir a tolerância a falhas dos modelos de AC, idealizamos e implementamos um processo experimental utilizável com qualquer modelo que utiliza a framework ucXception para injetar falhas durante a fase de testagem.A nossa avaliação dos métodos testados mostra que apenas o Ranger e Stimulated Dropout melhoram de forma consistente a tolerância a falhas de modelos de AC baseados em RNCs. Destes dois métodos, Stimulated Dropout mostra uma maior melhoria na tolerância a falhas; contudo, o elevado custo computacional deste método torna a sua utilização desafiante em arquiteturas modernas na sua forma atual, e mais investigação é necessária para melhorar o seu desempenho.The growing usage of Machine Learning (ML) based systems in safety-critical contexts has prompted increased concerns over the reliability of the models and algorithms used. Despite their effectiveness, these models can make mistakes with serious consequences. These failures are often attributable to some sort of defect in the model architecture or lack of training data. Other times, however, these errors happen due to random hardware faults. To limit the effects of the latter, several methods have been developed and applied to ML models with the goal of increasing their fault tolerance. Models based on Deep Neural Networks (DNNs), particularly Convolutional Neural Networks (CNNs), are especially significant due to their applications in safety-conscious tasks such as autonomous driving or medical environments.In this work, we study the effectiveness of existing methods in improving the fault tolerance of CNNs, such as Dropout, Redundancy, Ranger and Stimulated Dropout. We use four datasets of varying complexity that represent diverse applications of ML models, one of which in a safety-critical context. In addition, we combine some of these fault tolerance methods into hybrid approaches. To measure the fault tolerance of ML models, we devise and implement a model-agnostic experimental process that uses the ucXception framework to inject faults during the testing phase.Our evaluation of the tested methods shows that only Ranger and Stimulated Dropout consistently improve the fault tolerance of CNN-based ML models. Of these two methods, Stimulated Dropout shows the largest improvement in fault tolerance; however, the high computational costs of this method make its use a challenge for modern architectures in its current form, and further research is required to improve its performance.H20202021-09-16info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/96170http://hdl.handle.net/10316/96170TID:202778037engMorais, António Manuel Delgadoinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-05-25T06:22:58Zoai:estudogeral.uc.pt:10316/96170Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:14:29.630752Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Robust Neural Networks
Redes Neuronais Robustas
title Robust Neural Networks
spellingShingle Robust Neural Networks
Morais, António Manuel Delgado
Sistemas Seguros-Críticos
Redes Neuronais Convolucionais
Tolerância a Falhas
Injeção de Falhas
Stimulated Dropout
Safety-Critical Systems
Convolutional Neural Networks
Fault Tolerance
Fault Injection
Stimulated Dropout
title_short Robust Neural Networks
title_full Robust Neural Networks
title_fullStr Robust Neural Networks
title_full_unstemmed Robust Neural Networks
title_sort Robust Neural Networks
author Morais, António Manuel Delgado
author_facet Morais, António Manuel Delgado
author_role author
dc.contributor.author.fl_str_mv Morais, António Manuel Delgado
dc.subject.por.fl_str_mv Sistemas Seguros-Críticos
Redes Neuronais Convolucionais
Tolerância a Falhas
Injeção de Falhas
Stimulated Dropout
Safety-Critical Systems
Convolutional Neural Networks
Fault Tolerance
Fault Injection
Stimulated Dropout
topic Sistemas Seguros-Críticos
Redes Neuronais Convolucionais
Tolerância a Falhas
Injeção de Falhas
Stimulated Dropout
Safety-Critical Systems
Convolutional Neural Networks
Fault Tolerance
Fault Injection
Stimulated Dropout
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2021
dc.date.none.fl_str_mv 2021-09-16
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/96170
http://hdl.handle.net/10316/96170
TID:202778037
url http://hdl.handle.net/10316/96170
identifier_str_mv TID:202778037
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134042204930048

Registros relacionados