Detecting errors in convolutional neural networks using inter frame spatio-temporal correlation

Detalhes bibliográficos
Autor(a) principal: Draghetti, Lucas Klein
Data de Publicação: 2019
Tipo de documento: Trabalho de conclusão de curso
Idioma: eng
Título da fonte: Repositório Institucional da UFRGS
Texto Completo: http://hdl.handle.net/10183/214667
Resumo: Detecção de objetos, um recurso crítico para veículos autônomos, é realizada hoje usando Redes Neurais de Convolução (CNNs). Erros em uma execução de uma CNN podem modificar a maneira como o veículo detecta o ambiente ao redor, potencialmente causando acidentes ou comportamentos inesperados. Os altos requisitos computacionais de CNNs, combinados com a necessidade de realizar a detecção em tempo real, permitem pouca margem para a implementação da detecção de erros. Neste projeto, uma solução de detecção de erros extremamente eficiente para erros induzidos por radiação em CNN é apresentada com base na observação de que, na ausência de erros, as diferenças entre os quadros de entrada e a detecção fornecida pela CNN devem ser estritamente correlacionadas. Em outras palavras, se a imagem entre dois quadros subseqüentes não mudar significativamente, a detecção também deve ser muito semelhante. Da mesma forma, se a detecção variar consideravelmente de um quadro para outro, a imagem de entrada também deve ter sido diferente. Sempre que as imagens de entrada e a detecção de saída não se correlacionarem, é possível detectar um erro. Depois de formalizar e avaliar os limiares de correlação entre-quadros e de saída, a estratégia de detecção é implementada e validada, utilizando dados de experimentos anteriores de radiação. Explorando a eficiência intrínseca no processamento de imagens de dispositivos usados para executar CNNs, até 80% de erros são detectados, adicionando também pouca sobrecarga. A mesma solução de detecção de erro é então proposta para detectar falsos positivos em execuções de CNN sem falhas. Esta estratégia também é implementada e validada, utilizando anotações de valores de referência e execuções de CNN sem falhas. Para esta aplicação, 9 % dos falsos positivos podem ser detectados de forma confiável. Uma análise mais profunda mostra que mais falsos positivos podem ser detectados, se uma certa porcentagem de detecções incorretas for aceita.
id UFRGS-2_aa454b74857d878e41f4acb9c6880d40
oai_identifier_str oai:www.lume.ufrgs.br:10183/214667
network_acronym_str UFRGS-2
network_name_str Repositório Institucional da UFRGS
repository_id_str
spelling Draghetti, Lucas KleinRech, Paolo2020-11-05T04:08:55Z2019http://hdl.handle.net/10183/214667001098627Detecção de objetos, um recurso crítico para veículos autônomos, é realizada hoje usando Redes Neurais de Convolução (CNNs). Erros em uma execução de uma CNN podem modificar a maneira como o veículo detecta o ambiente ao redor, potencialmente causando acidentes ou comportamentos inesperados. Os altos requisitos computacionais de CNNs, combinados com a necessidade de realizar a detecção em tempo real, permitem pouca margem para a implementação da detecção de erros. Neste projeto, uma solução de detecção de erros extremamente eficiente para erros induzidos por radiação em CNN é apresentada com base na observação de que, na ausência de erros, as diferenças entre os quadros de entrada e a detecção fornecida pela CNN devem ser estritamente correlacionadas. Em outras palavras, se a imagem entre dois quadros subseqüentes não mudar significativamente, a detecção também deve ser muito semelhante. Da mesma forma, se a detecção variar consideravelmente de um quadro para outro, a imagem de entrada também deve ter sido diferente. Sempre que as imagens de entrada e a detecção de saída não se correlacionarem, é possível detectar um erro. Depois de formalizar e avaliar os limiares de correlação entre-quadros e de saída, a estratégia de detecção é implementada e validada, utilizando dados de experimentos anteriores de radiação. Explorando a eficiência intrínseca no processamento de imagens de dispositivos usados para executar CNNs, até 80% de erros são detectados, adicionando também pouca sobrecarga. A mesma solução de detecção de erro é então proposta para detectar falsos positivos em execuções de CNN sem falhas. Esta estratégia também é implementada e validada, utilizando anotações de valores de referência e execuções de CNN sem falhas. Para esta aplicação, 9 % dos falsos positivos podem ser detectados de forma confiável. Uma análise mais profunda mostra que mais falsos positivos podem ser detectados, se uma certa porcentagem de detecções incorretas for aceita.Object detection, a critical feature for autonomous vehicles, is performed today using Convolutional Neural Networks (CNNs). Errors in a CNN execution can modify the way the vehicle sense the surrounding environment, potentially causing accidents or unexpected behaviors. The high computational requirements of CNNs combined with the need to perform detection in real-time allow little margin for implementing error detection. In this project, an extremely efficient error detection solution for radiation induced errors in CNN is presented based on the observation that, in the absence of errors, the differences between the input frames and the detection provided by the CNN should be strictly correlated. In other words, if the image between two subsequent frames does not change significantly, the detection should also be very similar. Similarly, if the detection varies considerably from a frame to the next, then the input image should also have been different. Whenever input images and output detection don’t correlate, it is possible to detect an error. After formalizing and evaluating the inter-frame and output correlation thresholds, the detection strategy is implemented and validated, utilizing data from previous radiation experiments. Exploiting the intrinsic efficiency in processing images of devices used to execute CNNs, up to 80% of errors are detected, while adding low overhead. The same error detection solution is then proposed to detect false positives in fault-free CNN executions. This strategy is also implemented and validated, utilizing ground truth annotations and fault-free CNN executions. For this application, 9% of the false positives can be detected reliably. A deeper analysis shows that more false positives can be detected, if a certain percentage of wrong detections is accepted.application/pdfengRedes neuraisConvolutional Neural Networks.Object DetectionFault ToleranceError DetectionDetecting errors in convolutional neural networks using inter frame spatio-temporal correlationDetectando erros em redes neurais convolucionais usando correlação espaço-temporal entre quadros info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPorto Alegre, BR-RS2019Engenharia de Computaçãograduaçãoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001098627.pdf.txt001098627.pdf.txtExtracted Texttext/plain59929http://www.lume.ufrgs.br/bitstream/10183/214667/2/001098627.pdf.txt8d25e01caa2c25fa161d9ae0350a790fMD52ORIGINAL001098627.pdfTexto completo (inglês)application/pdf630002http://www.lume.ufrgs.br/bitstream/10183/214667/1/001098627.pdfab92ce8dd60ce30b801eac073bbf8539MD5110183/2146672020-11-06 05:10:49.639106oai:www.lume.ufrgs.br:10183/214667Repositório de PublicaçõesPUBhttps://lume.ufrgs.br/oai/requestopendoar:2020-11-06T07:10:49Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Detecting errors in convolutional neural networks using inter frame spatio-temporal correlation
dc.title.alternative.pt.fl_str_mv Detectando erros em redes neurais convolucionais usando correlação espaço-temporal entre quadros
title Detecting errors in convolutional neural networks using inter frame spatio-temporal correlation
spellingShingle Detecting errors in convolutional neural networks using inter frame spatio-temporal correlation
Draghetti, Lucas Klein
Redes neurais
Convolutional Neural Networks.
Object Detection
Fault Tolerance
Error Detection
title_short Detecting errors in convolutional neural networks using inter frame spatio-temporal correlation
title_full Detecting errors in convolutional neural networks using inter frame spatio-temporal correlation
title_fullStr Detecting errors in convolutional neural networks using inter frame spatio-temporal correlation
title_full_unstemmed Detecting errors in convolutional neural networks using inter frame spatio-temporal correlation
title_sort Detecting errors in convolutional neural networks using inter frame spatio-temporal correlation
author Draghetti, Lucas Klein
author_facet Draghetti, Lucas Klein
author_role author
dc.contributor.author.fl_str_mv Draghetti, Lucas Klein
dc.contributor.advisor1.fl_str_mv Rech, Paolo
contributor_str_mv Rech, Paolo
dc.subject.por.fl_str_mv Redes neurais
topic Redes neurais
Convolutional Neural Networks.
Object Detection
Fault Tolerance
Error Detection
dc.subject.eng.fl_str_mv Convolutional Neural Networks.
Object Detection
Fault Tolerance
Error Detection
description Detecção de objetos, um recurso crítico para veículos autônomos, é realizada hoje usando Redes Neurais de Convolução (CNNs). Erros em uma execução de uma CNN podem modificar a maneira como o veículo detecta o ambiente ao redor, potencialmente causando acidentes ou comportamentos inesperados. Os altos requisitos computacionais de CNNs, combinados com a necessidade de realizar a detecção em tempo real, permitem pouca margem para a implementação da detecção de erros. Neste projeto, uma solução de detecção de erros extremamente eficiente para erros induzidos por radiação em CNN é apresentada com base na observação de que, na ausência de erros, as diferenças entre os quadros de entrada e a detecção fornecida pela CNN devem ser estritamente correlacionadas. Em outras palavras, se a imagem entre dois quadros subseqüentes não mudar significativamente, a detecção também deve ser muito semelhante. Da mesma forma, se a detecção variar consideravelmente de um quadro para outro, a imagem de entrada também deve ter sido diferente. Sempre que as imagens de entrada e a detecção de saída não se correlacionarem, é possível detectar um erro. Depois de formalizar e avaliar os limiares de correlação entre-quadros e de saída, a estratégia de detecção é implementada e validada, utilizando dados de experimentos anteriores de radiação. Explorando a eficiência intrínseca no processamento de imagens de dispositivos usados para executar CNNs, até 80% de erros são detectados, adicionando também pouca sobrecarga. A mesma solução de detecção de erro é então proposta para detectar falsos positivos em execuções de CNN sem falhas. Esta estratégia também é implementada e validada, utilizando anotações de valores de referência e execuções de CNN sem falhas. Para esta aplicação, 9 % dos falsos positivos podem ser detectados de forma confiável. Uma análise mais profunda mostra que mais falsos positivos podem ser detectados, se uma certa porcentagem de detecções incorretas for aceita.
publishDate 2019
dc.date.issued.fl_str_mv 2019
dc.date.accessioned.fl_str_mv 2020-11-05T04:08:55Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/214667
dc.identifier.nrb.pt_BR.fl_str_mv 001098627
url http://hdl.handle.net/10183/214667
identifier_str_mv 001098627
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Repositório Institucional da UFRGS
collection Repositório Institucional da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/214667/2/001098627.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/214667/1/001098627.pdf
bitstream.checksum.fl_str_mv 8d25e01caa2c25fa161d9ae0350a790f
ab92ce8dd60ce30b801eac073bbf8539
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv
_version_ 1801224598515089408