Organization of information in neural networks

Detalhes bibliográficos
Autor(a) principal: Coke, Ricardo Miguel Branco
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10348/11093
Resumo: O mundo está a evoluir e a tecnologia tal como a conhecemos está a ultrapassar barreiras que antes pensávamos não poderem ser quebradas. A Inteligência Artificial tem sido uma das áreas que tem alcançado um nível de sucesso que proporciona a melhor das expectativas em muitas tarefas em todas as áreas de trabalho. No domínio de Machine Learning, as redes neuronais têm sido um dos conceitos que se tem destacado, resultando em precisões extremamente elevadas em problemas provenientes de todos os sectores. No entanto, a falta de interpretabilidade é um dos problemas inerentes que estas redes complexas com capacidade de produzir predições trouxe. Os modelos actuais de redes neuronais são muitas vezes considerados como ”caixas negras” devido à falta de ”explicabilidade” e transparência, uma vez que o conhecimento obtido pela aprendizagem do modelo com os dados fornecidos como entrada, são imprevisíveis e em sistemas complexos, inexplicáveis. A complexidade de uma rede está intrinsecamente ligada a alguns parâmetros como o número de camadas escondidas, função de ativação escolhida, que influencia o quão flexível é a rede na classificação de padrões, podendo fazer as devidas classificações em espaços dimensionais maiores com maior facilidade, com custo mais elevado em recursos, tempo e menos interpretabilidade ao computar o problema. Desde então sempre se tentou arranjar soluções alternativas, modificações à estrutura e método de aprendizagem das redes neuronais de modo a compensar os recursos adicionais necessitados. A falta de compreensão sobre a razão pela qual os modelos chegam a determinadas conclusões prejudica a implementação destes modelos em áreas críticas como medicina de precisão, direito ou finanças, onde o raciocínio para as conclusões apresentadas é extremamente necessário. Este problema levou à criação de um novo subcampo no domínio de Machine Learning onde a Inteligência Artificial explicável é uma prioridade. Esta dissertação apresenta uma revisão da literatura existente e contribuições disponíveis no campo da Inteligência Artificial explicável e no campo de modificações da estrutura das redes neuronais típicas. Baseado na investigação mais recente do Professor Paulo Salgado, que foi providenciada para compreensão e validação, sobre canais complementares de informação em Redes Neuronais e um algoritmo baseado neste modelo complementar, uma primeira contribuição desta dissertação foi formalizar os aspectos teóricos dessa investigação assim como a sua compreensão, seguido da validação do modelo com métricas típicas do domínio de Machine Learning.
id RCAP_2f4d35e1d4ed5b7244c8637feb77fd16
oai_identifier_str oai:repositorio.utad.pt:10348/11093
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Organization of information in neural networksExplainable Artificial IntelligenceMachine LearningO mundo está a evoluir e a tecnologia tal como a conhecemos está a ultrapassar barreiras que antes pensávamos não poderem ser quebradas. A Inteligência Artificial tem sido uma das áreas que tem alcançado um nível de sucesso que proporciona a melhor das expectativas em muitas tarefas em todas as áreas de trabalho. No domínio de Machine Learning, as redes neuronais têm sido um dos conceitos que se tem destacado, resultando em precisões extremamente elevadas em problemas provenientes de todos os sectores. No entanto, a falta de interpretabilidade é um dos problemas inerentes que estas redes complexas com capacidade de produzir predições trouxe. Os modelos actuais de redes neuronais são muitas vezes considerados como ”caixas negras” devido à falta de ”explicabilidade” e transparência, uma vez que o conhecimento obtido pela aprendizagem do modelo com os dados fornecidos como entrada, são imprevisíveis e em sistemas complexos, inexplicáveis. A complexidade de uma rede está intrinsecamente ligada a alguns parâmetros como o número de camadas escondidas, função de ativação escolhida, que influencia o quão flexível é a rede na classificação de padrões, podendo fazer as devidas classificações em espaços dimensionais maiores com maior facilidade, com custo mais elevado em recursos, tempo e menos interpretabilidade ao computar o problema. Desde então sempre se tentou arranjar soluções alternativas, modificações à estrutura e método de aprendizagem das redes neuronais de modo a compensar os recursos adicionais necessitados. A falta de compreensão sobre a razão pela qual os modelos chegam a determinadas conclusões prejudica a implementação destes modelos em áreas críticas como medicina de precisão, direito ou finanças, onde o raciocínio para as conclusões apresentadas é extremamente necessário. Este problema levou à criação de um novo subcampo no domínio de Machine Learning onde a Inteligência Artificial explicável é uma prioridade. Esta dissertação apresenta uma revisão da literatura existente e contribuições disponíveis no campo da Inteligência Artificial explicável e no campo de modificações da estrutura das redes neuronais típicas. Baseado na investigação mais recente do Professor Paulo Salgado, que foi providenciada para compreensão e validação, sobre canais complementares de informação em Redes Neuronais e um algoritmo baseado neste modelo complementar, uma primeira contribuição desta dissertação foi formalizar os aspectos teóricos dessa investigação assim como a sua compreensão, seguido da validação do modelo com métricas típicas do domínio de Machine Learning.The world is evolving and technology as we know its surpassing barriers that we once thought couldn’t be broken. Artificial Intelligence has been one of the areas that has achieved a level of success that delivers the best of expectations in many tasks across the field. In the domain of Machine Learning, Neural Networks have been one of the concepts that have stood out, providing extremely high accuracy when solving problems across all work sectors. However, the lack of interpretability is one of the inherent problems it has brought. The present neural network models are often considered as ”black-boxes” derived from the lack of explainability and transparency, since the knowledge the structure learns from the data provided as input is unpredictable and in complex systems, unexplainable. The neural network complexity is intrinsically associated with some parameters, such as number of hidden layers, activation function, which influence how flexible are the network pattern classifications allowing for easier classifications in higher spatial dimensions at the cost of more resources, time and interpretability when computing the problem. In order to solve the increased computational needs and lack of interpretability, new solutions and structure modifications to the typical networks have been researched and implemented. The lack of understanding on why the models reaches certain conclusions impairs these models to be deployed in critical areas such as precision medicine, law or finances where reasoning for the presented conclusions are needed. This problem led to the creation of a new sub-field in the domain of Machine Learning where explainable artificial intelligence is the priority. This dissertation presents a review of the existing literature and contributions available in the field of XAI and regarding structural modifications to the typical networks. Based on the most recent Professor Paulo Salgado’s investigation, which were provided for study and validation, about complementary information channels on Neural Networks and an algorithm based on this complementary sub model, the comprehension and formalization of the theoretical methods was another contribute of this dissertation followed by the validation of the model with typical Machine Learning performance metrics.2022-03-18T16:09:18Z2021-11-24T00:00:00Z2021-11-24info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfapplication/pdfapplication/pdfhttp://hdl.handle.net/10348/11093engCoke, Ricardo Miguel Brancoinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-02-02T12:32:22Zoai:repositorio.utad.pt:10348/11093Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T02:00:48.641444Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Organization of information in neural networks
title Organization of information in neural networks
spellingShingle Organization of information in neural networks
Coke, Ricardo Miguel Branco
Explainable Artificial Intelligence
Machine Learning
title_short Organization of information in neural networks
title_full Organization of information in neural networks
title_fullStr Organization of information in neural networks
title_full_unstemmed Organization of information in neural networks
title_sort Organization of information in neural networks
author Coke, Ricardo Miguel Branco
author_facet Coke, Ricardo Miguel Branco
author_role author
dc.contributor.author.fl_str_mv Coke, Ricardo Miguel Branco
dc.subject.por.fl_str_mv Explainable Artificial Intelligence
Machine Learning
topic Explainable Artificial Intelligence
Machine Learning
description O mundo está a evoluir e a tecnologia tal como a conhecemos está a ultrapassar barreiras que antes pensávamos não poderem ser quebradas. A Inteligência Artificial tem sido uma das áreas que tem alcançado um nível de sucesso que proporciona a melhor das expectativas em muitas tarefas em todas as áreas de trabalho. No domínio de Machine Learning, as redes neuronais têm sido um dos conceitos que se tem destacado, resultando em precisões extremamente elevadas em problemas provenientes de todos os sectores. No entanto, a falta de interpretabilidade é um dos problemas inerentes que estas redes complexas com capacidade de produzir predições trouxe. Os modelos actuais de redes neuronais são muitas vezes considerados como ”caixas negras” devido à falta de ”explicabilidade” e transparência, uma vez que o conhecimento obtido pela aprendizagem do modelo com os dados fornecidos como entrada, são imprevisíveis e em sistemas complexos, inexplicáveis. A complexidade de uma rede está intrinsecamente ligada a alguns parâmetros como o número de camadas escondidas, função de ativação escolhida, que influencia o quão flexível é a rede na classificação de padrões, podendo fazer as devidas classificações em espaços dimensionais maiores com maior facilidade, com custo mais elevado em recursos, tempo e menos interpretabilidade ao computar o problema. Desde então sempre se tentou arranjar soluções alternativas, modificações à estrutura e método de aprendizagem das redes neuronais de modo a compensar os recursos adicionais necessitados. A falta de compreensão sobre a razão pela qual os modelos chegam a determinadas conclusões prejudica a implementação destes modelos em áreas críticas como medicina de precisão, direito ou finanças, onde o raciocínio para as conclusões apresentadas é extremamente necessário. Este problema levou à criação de um novo subcampo no domínio de Machine Learning onde a Inteligência Artificial explicável é uma prioridade. Esta dissertação apresenta uma revisão da literatura existente e contribuições disponíveis no campo da Inteligência Artificial explicável e no campo de modificações da estrutura das redes neuronais típicas. Baseado na investigação mais recente do Professor Paulo Salgado, que foi providenciada para compreensão e validação, sobre canais complementares de informação em Redes Neuronais e um algoritmo baseado neste modelo complementar, uma primeira contribuição desta dissertação foi formalizar os aspectos teóricos dessa investigação assim como a sua compreensão, seguido da validação do modelo com métricas típicas do domínio de Machine Learning.
publishDate 2021
dc.date.none.fl_str_mv 2021-11-24T00:00:00Z
2021-11-24
2022-03-18T16:09:18Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10348/11093
url http://hdl.handle.net/10348/11093
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
application/pdf
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799137091817308160