Natural language explanations of classifier behavior.

Detalhes bibliográficos
Autor(a) principal: Aquino, Rodrigo Monteiro de
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/3/3141/tde-22012021-130945/
Resumo: As machine learning models are increasingly used in a wide range of applications, there is growing concern about the challenges involved in understanding their predictions. The field of interpretability/explainability of artificial intelligences has developed several approaches and tools that aim at improving the understanding of such systems. These tools tend to focus on the knowledgeable data scientist as their main user. The tools usually produce plots, charts or another graphical representations (such as superposition of color on an image or text); thus the user must have some technical background so as to consume the information. This work developed techniques that generate a textual explanation for the internal behavior of a given classifier, aiming at users of machine learning with limited technical proficiency. A package for textual explanation generation, called NaLax, was built and tested with users. Preliminary results were published and presented at the IEEE International Conference of Artificial Intelligence and Knowledge Engineering (AIKE) in 2019.
id USP_619abb6e91ffe214b30ee7fe352ddc40
oai_identifier_str oai:teses.usp.br:tde-22012021-130945
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Natural language explanations of classifier behavior.Explicações em linguagem natural sobre o comportamento de classificadores.Aprendizado computacionalInterpretabilidadeInterpretabilityMachine learningTransparênciaTransparencyAs machine learning models are increasingly used in a wide range of applications, there is growing concern about the challenges involved in understanding their predictions. The field of interpretability/explainability of artificial intelligences has developed several approaches and tools that aim at improving the understanding of such systems. These tools tend to focus on the knowledgeable data scientist as their main user. The tools usually produce plots, charts or another graphical representations (such as superposition of color on an image or text); thus the user must have some technical background so as to consume the information. This work developed techniques that generate a textual explanation for the internal behavior of a given classifier, aiming at users of machine learning with limited technical proficiency. A package for textual explanation generation, called NaLax, was built and tested with users. Preliminary results were published and presented at the IEEE International Conference of Artificial Intelligence and Knowledge Engineering (AIKE) in 2019.Enquanto modelos de aprendizado estatístico avançam em um número cada vez maior de aplicações reais, tem-se percebido que o entendimento das predições apresentadas por estes modelos e bastante desafiador. O campo de estudo focado em interpretabilidade / explicabilidade de inteligências artificiais tem desenvolvido diversas abordagens e ferramentas para melhorar o entendimento desses sistemas. Tais ferramentas tendem a ser direcionadas a cientistas de dados com conhecimento técnico. Os resultados obtidos a partir delas podem ser tabelas, gráficos ou outra representação gráfica (como superposição de cores em um texto, por exemplo); desta maneira, o usuário necessita de conhecimento técnico prévio para o consumo desta informação. Neste trabalho são implementadas técnicas que geram explicações textuais sobre o funcionamento interno de um dado classificador, focando em usuários com menor proeficiência técnica a respeito dos recursos de aprendizado de máquinas. Um pacote de geração de explicações textuais, chamado NaLax, foi construído e testado do usuários. Resultados preliminares foram publicados e apresentados na IEEE International Conference of Artificial Intelligence and Knowledge Engineering (AIKE) em 2019.Biblioteca Digitais de Teses e Dissertações da USPCozman, Fabio GagliardiAquino, Rodrigo Monteiro de2020-07-30info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/3/3141/tde-22012021-130945/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesseng2021-02-02T15:42:02Zoai:teses.usp.br:tde-22012021-130945Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212021-02-02T15:42:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Natural language explanations of classifier behavior.
Explicações em linguagem natural sobre o comportamento de classificadores.
title Natural language explanations of classifier behavior.
spellingShingle Natural language explanations of classifier behavior.
Aquino, Rodrigo Monteiro de
Aprendizado computacional
Interpretabilidade
Interpretability
Machine learning
Transparência
Transparency
title_short Natural language explanations of classifier behavior.
title_full Natural language explanations of classifier behavior.
title_fullStr Natural language explanations of classifier behavior.
title_full_unstemmed Natural language explanations of classifier behavior.
title_sort Natural language explanations of classifier behavior.
author Aquino, Rodrigo Monteiro de
author_facet Aquino, Rodrigo Monteiro de
author_role author
dc.contributor.none.fl_str_mv Cozman, Fabio Gagliardi
dc.contributor.author.fl_str_mv Aquino, Rodrigo Monteiro de
dc.subject.por.fl_str_mv Aprendizado computacional
Interpretabilidade
Interpretability
Machine learning
Transparência
Transparency
topic Aprendizado computacional
Interpretabilidade
Interpretability
Machine learning
Transparência
Transparency
description As machine learning models are increasingly used in a wide range of applications, there is growing concern about the challenges involved in understanding their predictions. The field of interpretability/explainability of artificial intelligences has developed several approaches and tools that aim at improving the understanding of such systems. These tools tend to focus on the knowledgeable data scientist as their main user. The tools usually produce plots, charts or another graphical representations (such as superposition of color on an image or text); thus the user must have some technical background so as to consume the information. This work developed techniques that generate a textual explanation for the internal behavior of a given classifier, aiming at users of machine learning with limited technical proficiency. A package for textual explanation generation, called NaLax, was built and tested with users. Preliminary results were published and presented at the IEEE International Conference of Artificial Intelligence and Knowledge Engineering (AIKE) in 2019.
publishDate 2020
dc.date.none.fl_str_mv 2020-07-30
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/3/3141/tde-22012021-130945/
url https://www.teses.usp.br/teses/disponiveis/3/3141/tde-22012021-130945/
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809090975387090944