Financial interpretability with intelligent methods understanding intelligent decisionmaking systems with knowledge transfer

Detalhes bibliográficos
Autor(a) principal: Faria, Tiago Alves
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/98004
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_d7656809a85d6aede3696aac3a1fb571
oai_identifier_str oai:estudogeral.uc.pt:10316/98004
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Financial interpretability with intelligent methods understanding intelligent decisionmaking systems with knowledge transferFINANCIAL INTERPRETABILITY WITH INTELLIGENT METHODS UNDERSTANDING INTELLIGENT DECISIONMAKING SYSTEMS WITH KNOWLEDGE TRANSFERinteligência artificialinterpretabilidadeárvores de decisãopreconceitoaprendizagem máquinaartificial inteligenceinterpretabilitydecision-treebiasmachine learningDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaMétodos deep-learning, como redes neurais convolucionais e recorrentes, têm-se tronado nos algoritmos padrão numa vasta gama de sectores de actividade. No entanto, a aplicabilidade em várias aplicações críticas, por exemplo, políticas públicas, sistemas de segurança, diagnósticos de saúde e detecção de fraude, tem enfrentado alguns obstáculos devido à falta de interpretabilidade destes modelos.A interpretabilidade tem sido um foco de investigação desde o início da concepção de modelos de a, isto deve-se ao facto de que a elevada precisão e abstracção destes modelos trazerem o problema da caixa negra o que por sua vez leva ao problema da precisão vs interpretabilidade. Este aspecto também é importante devido a problemas de fiabilidade, um modelo que não inspire confiança é um modelo que dificilmente será utilizado. Estas questões surgem frequentemente em cenários reais de aplicação, onde os utilizadores finais não são facilmente convencidos da fiabilidade destes modelos caixa negra. A existência de modelos tendenciosos (biased) é um exemplo claro deste problema. Com a crescente utilização de modelos inteligentes como parte de sistemas de recomendação e social scoring, os preconceitos sociais presentes nos dados utilizados na formação destes modelos tornaram-se num problema global recorrente que precisa de ser abordado. Quando estes modelos são alimentados com estes preconceitos implícitos durante o a fase de treino, aprendem também a ser preconceituosos, propagando e agravando potencialmente o problema a longo prazo. Definindo o contexto no sector de serviços financeiros, se um banco decidir adoptar um modelo de aprendizagem máquina para classificar a solvabilidade de um candidato, e utilizar dados históricos do banco, enquanto estes candidatos foram previamente aprovados ou negados por seres humanos, o modelo pode exibir padrões de preconceito contra géneros ou etnias. O trabalho na interpretabilidade visa mitigar problemas como este ao permitir a abertura de modelos de caixa negra. Ao compreender o raciocínio subjacente a uma determinada decisão, não só compreenderemos melhor o processo de tomada de decisão passado das entidades que os utilizam, como também seremos capazes de mitigar os preconceitos futuros, bem como aumentar a confiança nas decisões apoiadas pelos modelos.Os resultados mostram que a transferência de conhecimento pode ser utilizada para melhorar a precisão de modelos mais interpretáveis como árvores decisão e, em certos contextos, permite que estes substituam os modelos deep-learning.Em alguns casos o modelo para o qual o conhecimento está a ser transferido dadas as suas diferenças durante o treino pode ter capacidades diferentes, por exemplo, um recall, mantendo o mesmo F-score, o que permite a criação de um conjunto de modelos de modo a obter o melhor de ambas as partes.Deep learning methods, as convolutional and recurrent neural networks, are becoming standard go-to algorithms for a wide range of activity sectors. However, applicability in several critical applications, e.g. public policy, security/safety systems, health diagnosis, and fraud detection, has faced some hurdles due to lack of model interpretability. Interpretability has been a focus of research since the beginning of Deep Learning because the high accuracy and high abstraction bring the black-box problem, i.e. the accuracy vs interpretability problem. This aspect is also of importance because of trustworthiness issues, i.e. a model that is not trusted is a model that will not be used. These issues often arise in real application scenarios, where end-users are not easily convinced of the reliability of the black-box model. The existence of biased algorithms is a clear example of this problem.With the increased use of intelligent models as part of recommendation systems and social scorings, social biases present in the data used to train these models have made it a recurrent global problem that needs to be addressed. When algorithms are fed these implicit biases they learn how to be biased too, potentially propagating and escalating the problem in the long run. Setting the context on financial services, if a bank decides to adopt a \acrfull{ml} algorithm to classify the creditworthiness of an applicant, and uses bank historical data, when applicants were approved or denied by humans, the algorithm may display patterns of bias against gender or ethnicity. Works on interpretability aim to mitigate problems like this by opening these black-box models. If we can understand the reasoning behind a certain decision not only we will better understand the past decision-making process of the entities using these models, but we will also be able to mitigate future biases as well as increase trust in the decisions supported by the models.Results show that knowledge transfer can be used to improve more interpretable models accuracy and in certain contexts allows for complete substitution of the DNN model in place of a more interpretable model like a decision-tree. It is also shown than in certain experiments the model to which the knowledge is being transferred too has different capabilities e.g. higher recall while keeping same F-score, which allows for the creation of a model ensemble in order to get the best of both parts.2021-11-03info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/98004http://hdl.handle.net/10316/98004TID:202921417engFaria, Tiago Alvesinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-05-25T03:56:05Zoai:estudogeral.uc.pt:10316/98004Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:15:56.280471Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Financial interpretability with intelligent methods understanding intelligent decisionmaking systems with knowledge transfer
FINANCIAL INTERPRETABILITY WITH INTELLIGENT METHODS UNDERSTANDING INTELLIGENT DECISIONMAKING SYSTEMS WITH KNOWLEDGE TRANSFER
title Financial interpretability with intelligent methods understanding intelligent decisionmaking systems with knowledge transfer
spellingShingle Financial interpretability with intelligent methods understanding intelligent decisionmaking systems with knowledge transfer
Faria, Tiago Alves
inteligência artificial
interpretabilidade
árvores de decisão
preconceito
aprendizagem máquina
artificial inteligence
interpretability
decision-tree
bias
machine learning
title_short Financial interpretability with intelligent methods understanding intelligent decisionmaking systems with knowledge transfer
title_full Financial interpretability with intelligent methods understanding intelligent decisionmaking systems with knowledge transfer
title_fullStr Financial interpretability with intelligent methods understanding intelligent decisionmaking systems with knowledge transfer
title_full_unstemmed Financial interpretability with intelligent methods understanding intelligent decisionmaking systems with knowledge transfer
title_sort Financial interpretability with intelligent methods understanding intelligent decisionmaking systems with knowledge transfer
author Faria, Tiago Alves
author_facet Faria, Tiago Alves
author_role author
dc.contributor.author.fl_str_mv Faria, Tiago Alves
dc.subject.por.fl_str_mv inteligência artificial
interpretabilidade
árvores de decisão
preconceito
aprendizagem máquina
artificial inteligence
interpretability
decision-tree
bias
machine learning
topic inteligência artificial
interpretabilidade
árvores de decisão
preconceito
aprendizagem máquina
artificial inteligence
interpretability
decision-tree
bias
machine learning
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2021
dc.date.none.fl_str_mv 2021-11-03
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/98004
http://hdl.handle.net/10316/98004
TID:202921417
url http://hdl.handle.net/10316/98004
identifier_str_mv TID:202921417
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134055882555392

Registros relacionados