Topological Expressiveness of Neural Networks: Topology of Learning

Detalhes bibliográficos
Autor(a) principal: Leitão, António Maria Lage de Sousa
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10362/129615
Resumo: Dissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced Analytics
id RCAP_6cef83166368be67d43d5ba2ad5b4f0f
oai_identifier_str oai:run.unl.pt:10362/129615
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Topological Expressiveness of Neural Networks: Topology of LearningTopological Data AnalysisNeural NetworksMachine LearningDecision BoundaryPersistent HomologyVoronoi DiagramAnálise Topológica de DadosRedes NeuronaisAprendizagem AutónomaDissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced AnalyticsGiven a neural network, how many di erent problems can it solve? This important and open question in deep learning is usually referred to as the problem of the expressive power of a neural network. Previous research has tackled this issue through statistical and geometrical methods. This work proposes a new method based on a topological perspective. Topology is the eld of mathematics aimed at describing spaces and functions through robust characterizing features. Topological Data Analysis is the young eld developed to extract topological insight from data. We rst show that topological features of the decision boundary describe the closest notion of the intrinsic complexity of a classi cation problem. These topological features divide classi cation problems into several equivalence classes. Linear-separability is an example of such a class. We establish the topological expressive power of a network architecture as the number of di erent topological classes it is able to express. Being a novel work in a young research eld, most of the thesis is devoted to developing this perspective and creating the tools required. The main objective of this thesis is to tackle neural network’s understanding in general and architecture selection in particular, through a novel approach. Our results show that topological expressiveness has a complex correlation with many features in a neural network’s architecture depending weakly on the total number of parameters. Some of our results recapitulate previous research on geometrical properties, while others are unique to this novel topological point of view, sometimes challenging previous research.Quantos problemas di erentes consegue uma dada rede neuronal resolver? Esta pergunta aberta é central no ramo de aprendizagem profunda e conhecida como o poder expressivo de uma rede neuronal. Tentativas anteriores em resolver este problema zeram-no usando métodos estatísticos ou geométricos. Este trabalho apresenta um novo método baseado numa prespectiva topologica. Topologia é o ramo de matemática responsável por descrever espaços e transformações com base em caracteristicas fundamentais. Topological Data Analysis (Análise Topológica de Dados) é o recente ramo de investigação desenvolvido para extrair conhecimento Topológico de dados. Começamos por mostrar que uma caraterização topológica da barreira de decisão é a noção mais próxima da complexidade de um problema de classi cação. Estas caracteristicas topoólicas dividas os problemas de classi cação em diversas classes de equivalência. O conjunto de problemas separaveis por uma reta são um exemplo de uma destas classes. Establecemos que a expressividade topológica de uma architectura neuronal é equivalente a quantas destas classes consegue resolver. Dado que é um método novo num ramo de investigação recente, grande parte desta tese foca-se em desenvolver esta perspectiva e em criar as ferramentas necessárias para o seu estudo. O objectivo desta dissertação é, apartir de uma abordagem original, enfrentar a falta de compreensão de redes neuronais no geral e, em particular, informar a escolha de arquitecturas. Os resultados obtidos mostram que a expressividade topológica tem correlações complexas com diversos elementos da arquitectura de uma rede, mostrando uma depêndencia ténue no número total de parametros. Alguns resultados seguem a mesma linha que a investigação gemétrica anterior, outros são únicos à perspectiva apresentada e complementando resultados anteriores.Petri, GiovanniPinheiro, Flávio Luís PortasRUNLeitão, António Maria Lage de Sousa2021-12-22T17:59:44Z2021-12-152021-12-15T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10362/129615TID:202833577enginfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-03-11T05:08:43Zoai:run.unl.pt:10362/129615Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T03:46:35.734037Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Topological Expressiveness of Neural Networks: Topology of Learning
title Topological Expressiveness of Neural Networks: Topology of Learning
spellingShingle Topological Expressiveness of Neural Networks: Topology of Learning
Leitão, António Maria Lage de Sousa
Topological Data Analysis
Neural Networks
Machine Learning
Decision Boundary
Persistent Homology
Voronoi Diagram
Análise Topológica de Dados
Redes Neuronais
Aprendizagem Autónoma
title_short Topological Expressiveness of Neural Networks: Topology of Learning
title_full Topological Expressiveness of Neural Networks: Topology of Learning
title_fullStr Topological Expressiveness of Neural Networks: Topology of Learning
title_full_unstemmed Topological Expressiveness of Neural Networks: Topology of Learning
title_sort Topological Expressiveness of Neural Networks: Topology of Learning
author Leitão, António Maria Lage de Sousa
author_facet Leitão, António Maria Lage de Sousa
author_role author
dc.contributor.none.fl_str_mv Petri, Giovanni
Pinheiro, Flávio Luís Portas
RUN
dc.contributor.author.fl_str_mv Leitão, António Maria Lage de Sousa
dc.subject.por.fl_str_mv Topological Data Analysis
Neural Networks
Machine Learning
Decision Boundary
Persistent Homology
Voronoi Diagram
Análise Topológica de Dados
Redes Neuronais
Aprendizagem Autónoma
topic Topological Data Analysis
Neural Networks
Machine Learning
Decision Boundary
Persistent Homology
Voronoi Diagram
Análise Topológica de Dados
Redes Neuronais
Aprendizagem Autónoma
description Dissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced Analytics
publishDate 2021
dc.date.none.fl_str_mv 2021-12-22T17:59:44Z
2021-12-15
2021-12-15T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10362/129615
TID:202833577
url http://hdl.handle.net/10362/129615
identifier_str_mv TID:202833577
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799138069269446656

Registros relacionados