Nubilum : a Captum’s extension library for semantic segmentation models focused on point cloud data

Detalhes bibliográficos
Autor(a) principal: Oliveira, Leonardo Höltz de
Data de Publicação: 2023
Tipo de documento: Trabalho de conclusão de curso
Idioma: eng
Título da fonte: Repositório Institucional da UFRGS
Texto Completo: http://hdl.handle.net/10183/272482
Resumo: Com o aumento do desenvolvimento de aplicações de inteligência artificial (IA) na última década, garantir confiança sobre as decisões de sistemas de IA criou uma demanda para interpretabilidade e explicações para predições de modelos caixa preta. A segmentação semântica sobre dados em nuvem de pontos é uma das áreas com demanda significante para interpretabilidade, graças a sistemas visionários sendo desenvolvidos, como veículos autônomos e navegação de robôs. Parar interpretarmos modelos de segmentação semântica para nuvem de pontos, nós propomos uma nova biblioteca em Python chamada Nubilum, uma extensão do Captum, uma biblioteca de interpretabilidade de modelos construída sobre o PyTorch. Nós extendemos as implementações genéricas do Captum de métodos de atribuição post-hoc, desenvolvemos wrappers de modelos para serem usados como funções forward por estes métodos, e técnicas de visualização para visualizar nuvem de pontos, suas segmentações e explicações para qualquer modelo de segmentação semântica. Nós testamos nossa biblioteca com uma análise sobre o modelo SoftGroup e o conjunto de dados S3DIS, para visualizar atributos e interpretar as decisões feitas pelo SoftGroup.
id UFRGS-2_121eaf309ea875c5e115445b98160a0d
oai_identifier_str oai:www.lume.ufrgs.br:10183/272482
network_acronym_str UFRGS-2
network_name_str Repositório Institucional da UFRGS
repository_id_str
spelling Oliveira, Leonardo Höltz deComba, Joao Luiz DihlFreitas, Pedro Sidra de2024-02-29T04:59:17Z2023http://hdl.handle.net/10183/272482001187767Com o aumento do desenvolvimento de aplicações de inteligência artificial (IA) na última década, garantir confiança sobre as decisões de sistemas de IA criou uma demanda para interpretabilidade e explicações para predições de modelos caixa preta. A segmentação semântica sobre dados em nuvem de pontos é uma das áreas com demanda significante para interpretabilidade, graças a sistemas visionários sendo desenvolvidos, como veículos autônomos e navegação de robôs. Parar interpretarmos modelos de segmentação semântica para nuvem de pontos, nós propomos uma nova biblioteca em Python chamada Nubilum, uma extensão do Captum, uma biblioteca de interpretabilidade de modelos construída sobre o PyTorch. Nós extendemos as implementações genéricas do Captum de métodos de atribuição post-hoc, desenvolvemos wrappers de modelos para serem usados como funções forward por estes métodos, e técnicas de visualização para visualizar nuvem de pontos, suas segmentações e explicações para qualquer modelo de segmentação semântica. Nós testamos nossa biblioteca com uma análise sobre o modelo SoftGroup e o conjunto de dados S3DIS, para visualizar atributos e interpretar as decisões feitas pelo SoftGroup.With the increasing development of artificial intelligence (AI) applications in the last decade, ensuring trust in AI systems decisions created a demand for interpretability and explanations for black-box model predictions. Semantic segmentation over point cloud data is one of the areas with a significant demand for interpretability, thanks to visionary systems being developed, such as autonomous vehicles and robot navigation. To interpret semantic segmentation models for point cloud data, we propose a new Python’s library called Nubilum, an extension of Captum, a model interpretability library built on PyTorch. We extended Captum’s generic implementations of post-hoc attribution methods, developed model wrappers to be used as forward functions by these methods, and techniques to visualize the point cloud, its segmentation, and explanations for any semantic segmentation model. We tested our library by executing an analysis over the SoftGroup model and S3DIS dataset to visualize attributes and interpret the decisions made by SoftGroup.application/pdfengInteligência artificialAprendizado de máquinaSemântica computacionalExplainable artificial intelligence (XAI)Point cloudSemantic segmentationNubilum : a Captum’s extension library for semantic segmentation models focused on point cloud dataNubilum : uma biblioteca de extensão do Captum para modelos de segmentação semântica focados em dados de nuvem de pontosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPorto Alegre, BR-RS2023Ciência da Computação: Ênfase em Ciência da Computação: Bachareladograduaçãoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001187767.pdf.txt001187767.pdf.txtExtracted Texttext/plain98383http://www.lume.ufrgs.br/bitstream/10183/272482/2/001187767.pdf.txt82a294a11b56a762b04e2135878febb7MD52ORIGINAL001187767.pdfTexto completo (inglês)application/pdf13002858http://www.lume.ufrgs.br/bitstream/10183/272482/1/001187767.pdf1d8b115c53f38e5d992bd80b2e8e3ae5MD5110183/2724822024-03-02 05:06:35.640517oai:www.lume.ufrgs.br:10183/272482Repositório de PublicaçõesPUBhttps://lume.ufrgs.br/oai/requestopendoar:2024-03-02T08:06:35Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Nubilum : a Captum’s extension library for semantic segmentation models focused on point cloud data
dc.title.alternative.en.fl_str_mv Nubilum : uma biblioteca de extensão do Captum para modelos de segmentação semântica focados em dados de nuvem de pontos
title Nubilum : a Captum’s extension library for semantic segmentation models focused on point cloud data
spellingShingle Nubilum : a Captum’s extension library for semantic segmentation models focused on point cloud data
Oliveira, Leonardo Höltz de
Inteligência artificial
Aprendizado de máquina
Semântica computacional
Explainable artificial intelligence (XAI)
Point cloud
Semantic segmentation
title_short Nubilum : a Captum’s extension library for semantic segmentation models focused on point cloud data
title_full Nubilum : a Captum’s extension library for semantic segmentation models focused on point cloud data
title_fullStr Nubilum : a Captum’s extension library for semantic segmentation models focused on point cloud data
title_full_unstemmed Nubilum : a Captum’s extension library for semantic segmentation models focused on point cloud data
title_sort Nubilum : a Captum’s extension library for semantic segmentation models focused on point cloud data
author Oliveira, Leonardo Höltz de
author_facet Oliveira, Leonardo Höltz de
author_role author
dc.contributor.author.fl_str_mv Oliveira, Leonardo Höltz de
dc.contributor.advisor1.fl_str_mv Comba, Joao Luiz Dihl
dc.contributor.advisor-co1.fl_str_mv Freitas, Pedro Sidra de
contributor_str_mv Comba, Joao Luiz Dihl
Freitas, Pedro Sidra de
dc.subject.por.fl_str_mv Inteligência artificial
Aprendizado de máquina
Semântica computacional
topic Inteligência artificial
Aprendizado de máquina
Semântica computacional
Explainable artificial intelligence (XAI)
Point cloud
Semantic segmentation
dc.subject.eng.fl_str_mv Explainable artificial intelligence (XAI)
Point cloud
Semantic segmentation
description Com o aumento do desenvolvimento de aplicações de inteligência artificial (IA) na última década, garantir confiança sobre as decisões de sistemas de IA criou uma demanda para interpretabilidade e explicações para predições de modelos caixa preta. A segmentação semântica sobre dados em nuvem de pontos é uma das áreas com demanda significante para interpretabilidade, graças a sistemas visionários sendo desenvolvidos, como veículos autônomos e navegação de robôs. Parar interpretarmos modelos de segmentação semântica para nuvem de pontos, nós propomos uma nova biblioteca em Python chamada Nubilum, uma extensão do Captum, uma biblioteca de interpretabilidade de modelos construída sobre o PyTorch. Nós extendemos as implementações genéricas do Captum de métodos de atribuição post-hoc, desenvolvemos wrappers de modelos para serem usados como funções forward por estes métodos, e técnicas de visualização para visualizar nuvem de pontos, suas segmentações e explicações para qualquer modelo de segmentação semântica. Nós testamos nossa biblioteca com uma análise sobre o modelo SoftGroup e o conjunto de dados S3DIS, para visualizar atributos e interpretar as decisões feitas pelo SoftGroup.
publishDate 2023
dc.date.issued.fl_str_mv 2023
dc.date.accessioned.fl_str_mv 2024-02-29T04:59:17Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/272482
dc.identifier.nrb.pt_BR.fl_str_mv 001187767
url http://hdl.handle.net/10183/272482
identifier_str_mv 001187767
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Repositório Institucional da UFRGS
collection Repositório Institucional da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/272482/2/001187767.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/272482/1/001187767.pdf
bitstream.checksum.fl_str_mv 82a294a11b56a762b04e2135878febb7
1d8b115c53f38e5d992bd80b2e8e3ae5
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv
_version_ 1801224676342497280

Registros relacionados