Machine learning interpretability in a context of black box regression models

Detalhes bibliográficos
Autor(a) principal: Pimentel, João Pedro Torres
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/81339
Resumo: Dissertação de mestrado integrado em Engenharia Informática
id RCAP_06ef5a2c36f5ffdb837e74cbde13802d
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/81339
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Machine learning interpretability in a context of black box regression modelsInterpretabilidade em aprendizagem máquina num contexto de modelos de regressão caixa negraAprendizagem máquinaDesempenhoInterpretabilidadeRegressãoInterpretabilityMachine learningPerformanceRegressionDissertação de mestrado integrado em Engenharia InformáticaAs máquinas têm demonstrado várias vantagens em comparação com os humanos, nomeadamente a reproduzir e escalar tarefas, apresentando velocidade e precisão elevadas. Todavia, nem sempre é possível compreender o funcionamento dos seus algoritmos. Assim, a necessidade de explicar os resultados destes tem vindo a crescer, levando ao aumento da relevância de ferramentas de explicabilidade, já que estas possibilitam a redução das divergências entre a interpretação do modelo e o nível de raciocínio humano. O principal objetivo desta dissertação passou pelo desenvolvimento de uma técnica drill-down para avaliar modelos de regressão caixa negra, considerando interações multivariável no âmbito dos preditores. Assim, propomos EDRs, uma combinação entre DRs e EDPs. De modo a facilitar a sua análise, foram implementadas múltiplas formas de visualização: boxplots, histogramas e gráficos de densidade, exibindo distribuições completas, uma visualização em grafo para explorar interações entre preditores e tabelas de desempenho, comparando os quartis de cada distribuição com uma referência. Com base em pontos de corte e uma distribuição de referência, foi ainda efetuada uma extrapolação de contra-factos para regressão. Aplicaram-se quatro algoritmos distintos a uma gama heterogénia de conjuntos de dados com o intuito de eliminar qualquer potencial enviesamento de modelo. Estas experiências mostraram que as EDRs apresentam vantagens em comparação com os EDPs. O número de gráficos a analisar foi reduzido, já que apenas os subgrupos interessantes são apresentados. Além disso, podem ser detetadas interações compostas por mais de três condições. Foi, também, considerado um caso de estudo, retratando um problema de seleção de modelo. As EDRs mostraram-se cruciais para compreender como os modelos se comportam em relação a combinações específicas de dados e provar que o melhor modelo geral nem sempre é o melhor para certos subgrupos. Deste modo, as EDRs podem ser usadas para escolher um modelo ou para gerar ensembles, usando os modelos com melhor desempenho para cada subgrupo. Apesar das vantagens comparativamente às ferramentas existentes, o uso das regras não esgota o domínio das variáveis, pois não se exibem todas as combinações possíveis, com até três condições. No futuro, pode ser proveitoso estudar uma discretização dos preditores numéricos guiada pelas regras, já que esta etapa depende de técnicas externas. Meta-modelos também devem ser definidos para produzir ensembles baseados no desempenho de cada subgrupo.Machines have shown several advantages compared to humans, namely to reproduce and scale tasks, presenting high speed and precision. However, it is not always possible to understand how the algorithms used work. Consequently, the need to explain the results of these models has been increasing, leading to a boost in the relevance of explainability tools, as these enable the reduction of divergences between the interpretation of the model and the human level of reasoning. The main goal of this dissertation consisted of developing a drill-down technique to evaluate black box regression models, that considered multivariate interactions within the scope of the predictors. Thus, we propose EDRs, a combination between DRs and EDPs. In order to ease the examination of these, multiple visualization forms were implemented. Namely, boxplots, histograms and density plots to display complete distributions of values, a network visualization to rapidly check interactions of every feature condition and performance tables, comparing the quartiles of every distribution with a reference. Based on the cutting point values and a reference distribution, an extrapolation of counter-factual examples to regression was also implemented. Four distinct algorithms were applied to a heterogeneous range of datasets in order to eliminate any potential model bias. These experiments showed that EDRs present some advantages in comparison to EDPs. First, the number of plots to analyze is reduced, as only subgroups that differ significantly from the reference and similar subgroups are presented. Also, interactions composed by more than three conditions of feature values can be detected. A case study was considered, applying the developed tools to a model selection problem. EDRs showed to be crucial in helping users to understand how the models behave regarding specific combinations of data. Moreover, it was shown that the best model overall is not always the best for every subgroup. Hence, EDRs can be used to select a model or to generate ensembles, using the best performing models for each subgroup. Despite the advantages compared to the existing tools, the usage of rules does not exhaust the domain of variables, as not every possible combination of values, with up to three conditions, is displayed. In the future, a rule based discretization of numerical features might be proven fruitful, as this step relies on external techniques. Meta-models are also to be defined to produce ensembles based on performance for each subgroup.Azevedo, Paulo J.Universidade do MinhoPimentel, João Pedro Torres2021-08-102021-08-10T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/81339eng203056213info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:32:06Zoai:repositorium.sdum.uminho.pt:1822/81339Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:27:28.036402Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Machine learning interpretability in a context of black box regression models
Interpretabilidade em aprendizagem máquina num contexto de modelos de regressão caixa negra
title Machine learning interpretability in a context of black box regression models
spellingShingle Machine learning interpretability in a context of black box regression models
Pimentel, João Pedro Torres
Aprendizagem máquina
Desempenho
Interpretabilidade
Regressão
Interpretability
Machine learning
Performance
Regression
title_short Machine learning interpretability in a context of black box regression models
title_full Machine learning interpretability in a context of black box regression models
title_fullStr Machine learning interpretability in a context of black box regression models
title_full_unstemmed Machine learning interpretability in a context of black box regression models
title_sort Machine learning interpretability in a context of black box regression models
author Pimentel, João Pedro Torres
author_facet Pimentel, João Pedro Torres
author_role author
dc.contributor.none.fl_str_mv Azevedo, Paulo J.
Universidade do Minho
dc.contributor.author.fl_str_mv Pimentel, João Pedro Torres
dc.subject.por.fl_str_mv Aprendizagem máquina
Desempenho
Interpretabilidade
Regressão
Interpretability
Machine learning
Performance
Regression
topic Aprendizagem máquina
Desempenho
Interpretabilidade
Regressão
Interpretability
Machine learning
Performance
Regression
description Dissertação de mestrado integrado em Engenharia Informática
publishDate 2021
dc.date.none.fl_str_mv 2021-08-10
2021-08-10T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/81339
url https://hdl.handle.net/1822/81339
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 203056213
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132765952671744

Registros relacionados