Post-hoc methods to enhance selective classification performance of deep neural networks: Luís Felipe Prates Cattelan ; orientador, Danilo Silva.

Detalhes bibliográficos
Autor(a) principal: Cattelan, Luís Felipe Prates
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/251880
Resumo: Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2023.
id UFSC_5c55faf4f272f6ba673e9b5174217dca
oai_identifier_str oai:repositorio.ufsc.br:123456789/251880
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Post-hoc methods to enhance selective classification performance of deep neural networks: Luís Felipe Prates Cattelan ; orientador, Danilo Silva.Engenharia elétricaAprendizagemCerteza e duvidaAnalise de errosDissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2023.No cenário tecnológico em constante evolução de hoje, a ampla adoção do Aprendizado Profundo tem inaugurado uma era de conquistas sem precedentes na inteligência artificial. Conforme esses algoritmos poderosos continuam a permear vários aspectos de nossas vidas, surge uma necessidade específica de garantir a confiabilidade e segurança de suas particularidades. Esta dissertação explora o problema da classificação seletiva para redes neurais profundas, permitindo que os modelos se abstenham de fazer variações de baixa confiança para evitar erros potenciais. Especificamente, nosso foco está na otimização do estimador de confiança de um classificador fixo para melhorar o desempenho de detecção de erros de classificação. Essa melhoria visa aprimorar a capacidade do modelo de distinção entre corretas e incorretas, atribuindo valores de confiança mais altos às primeiras. Pesquisas anteriores indicaram que diferentes classificações exibiram níveis variados de desempenho na detecção de erros de classificação, especialmente ao usar a probabilidade máxima softmax (MSP) como medida de confiança. Argumentamos que essas disparidades são resultado de estimadores de confiança subótimos sendo usados ??para cada modelo. Para abordar esse problema, propomos um estimador de confiança post-hoc simples e eficiente chamado p-NormSoftmax. Esser estimado envolve a transformação dos logits por meio da normalização p-norma e do escalonamento de temperatura (ou seja, da multiplicação dos logits por um escalar), seguida pelo cálculo da MSP. Os valores de $p$ e de temperatura são otimizados com base em um conjunto de validação, tornando o estimador disponível aplicável a modelos já treinados. Em muitos casos, ele melhorou significativamente o desempenho de classificação seletiva dos modelos. Por meio de avaliação empírica em 84 classificados pré-treinados do conjunto de dados Imagenet, nosso método proposto p-NormSoftmax demonstra uma melhoria média de 16% na área sob a curva risco-cobertura (AURC), com alguns modelos exibindo melhorias de quase 50 %. Além disso, observamos que, após a aplicação do p-NormSoftmax, esses modelos alcançam níveis equivalentes de desempenho na detecção de erros de classificação, indicando que o desempenho de classificação seletiva de um modelo é predominantemente determinado pela acurácia global em cobertura completa. Esta pesquisa contribui para avançar na compreensão da classificação selecionada em redes neurais profundas e oferece um método eficaz para aprimorar suas capacidades de detecção de erros de classificação.Abstract: In today?s rapidly evolving technological landscape, the widespread adoption of Deep Learning has ushered in an era of unprecedented achievements in artificial intelligence. As these powerful algorithms continue to pervade various aspects of our lives, there arises an inherent need to ensure the reliability and safety of their predictions. This dissertation explores the problem of selective classification for deep neural networks, allowing models to abstain from making low-confidence predictions to avoid potential errors. Specifically, our focus lies in optimizing the confidence estimator of a fixed classifier to enhance its misclassification detection performance. This enhancement aims to improve the model?s ability to distinguish between correct and incorrect predictions by assigning higher confidence values to the former. Previous research has indicated that various classifiers exhibit differing levels of misclassification detection performance, particularly when using the maximum softmax probability (MSP) as a confidence measure. We argue that these disparities are largely a result of sub-optimal confidence estimators being employed for each model. To address this issue, we propose a straightforward and efficient post-hoc confidence estimator named p-NormSoftmax. This estimator involves transforming the logits through p-norm normalization and temperature scaling, followed by computing the MSP. The values of p and the temperature are optimized based on a hold-out set, making the estimator readily applicable to already trained models. In many cases, it significantly improves the selective classification performance of the models. Through empirical evaluation on 84 pretrained Imagenet classifiers, our proposed p-NormSoftmax method demonstrates an average improvement of 16% in the area under the risk-coverage curve (AURC), with some models exhibiting almost 50% of enhancements. Moreover, we observe that after applying p-NormSoftmax, these models attain equivalent levels of misclassification detection performance, suggesting that a model?s selective classification performance is predominantly determined by its overall accuracy at full coverage. This research contributes to advancing the understanding of selective classification in deep neural networks and provides an effective method to improve their misclassification detection capabilities.Silva, DaniloUniversidade Federal de Santa CatarinaCattelan, Luís Felipe Prates2023-11-09T23:26:44Z2023-11-09T23:26:44Z2023info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis67 p.| tabs.application/pdf384683https://repositorio.ufsc.br/handle/123456789/251880engreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccess2023-11-09T23:26:44Zoai:repositorio.ufsc.br:123456789/251880Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732023-11-09T23:26:44Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Post-hoc methods to enhance selective classification performance of deep neural networks: Luís Felipe Prates Cattelan ; orientador, Danilo Silva.
title Post-hoc methods to enhance selective classification performance of deep neural networks: Luís Felipe Prates Cattelan ; orientador, Danilo Silva.
spellingShingle Post-hoc methods to enhance selective classification performance of deep neural networks: Luís Felipe Prates Cattelan ; orientador, Danilo Silva.
Cattelan, Luís Felipe Prates
Engenharia elétrica
Aprendizagem
Certeza e duvida
Analise de erros
title_short Post-hoc methods to enhance selective classification performance of deep neural networks: Luís Felipe Prates Cattelan ; orientador, Danilo Silva.
title_full Post-hoc methods to enhance selective classification performance of deep neural networks: Luís Felipe Prates Cattelan ; orientador, Danilo Silva.
title_fullStr Post-hoc methods to enhance selective classification performance of deep neural networks: Luís Felipe Prates Cattelan ; orientador, Danilo Silva.
title_full_unstemmed Post-hoc methods to enhance selective classification performance of deep neural networks: Luís Felipe Prates Cattelan ; orientador, Danilo Silva.
title_sort Post-hoc methods to enhance selective classification performance of deep neural networks: Luís Felipe Prates Cattelan ; orientador, Danilo Silva.
author Cattelan, Luís Felipe Prates
author_facet Cattelan, Luís Felipe Prates
author_role author
dc.contributor.none.fl_str_mv Silva, Danilo
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Cattelan, Luís Felipe Prates
dc.subject.por.fl_str_mv Engenharia elétrica
Aprendizagem
Certeza e duvida
Analise de erros
topic Engenharia elétrica
Aprendizagem
Certeza e duvida
Analise de erros
description Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2023.
publishDate 2023
dc.date.none.fl_str_mv 2023-11-09T23:26:44Z
2023-11-09T23:26:44Z
2023
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv 384683
https://repositorio.ufsc.br/handle/123456789/251880
identifier_str_mv 384683
url https://repositorio.ufsc.br/handle/123456789/251880
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 67 p.| tabs.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1823043077146673152

Registros relacionados