Explorations of the semantic learning machine neuroevolution algorithm: dynamic training data use and ensemble construction methods

Detalhes bibliográficos
Autor(a) principal: Seca, Marta Sofia Lopes
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10362/99078
Resumo: Dissertation presented as the partial requirement for obtaining a Master’s degree in Data Science and Advanced Analytics
id RCAP_ff9a9914290451d6e8affcc8f3abec57
oai_identifier_str oai:run.unl.pt:10362/99078
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Explorations of the semantic learning machine neuroevolution algorithm: dynamic training data use and ensemble construction methodsSemantic Learning MachineNeuroevolutionEvolutionary Machine LearningArtificial Neural NetworksDeep LearningDissertation presented as the partial requirement for obtaining a Master’s degree in Data Science and Advanced AnalyticsAs the world’s technology evolves, the power to implement new and more efficient algorithms increases but so does the complexity of the problems at hand. Neuroevolution algorithms fit in this context in the sense that they are able to evolve Artificial Neural Networks (ANNs). The recently proposed Neuroevolution algorithm called Semantic Learning Machine (SLM) has the advantage of searching over unimodal error landscapes in any Supervised Learning task where the error is measured as a distance to the known targets. The absence of local optima in the search space results in a more efficient learning when compared to other neuroevolution algorithms. This work studies how different approaches of dynamically using the training data affect the generalization of the SLM algorithm. Results show that these methods can be useful in offering different alternatives to achieve a superior generalization. These approaches are evaluated experimentally in fifteen real-world binary classification data sets. Across these fifteen data sets, results show that the SLM is able to outperform the Multilayer Perceptron (MLP) in 13 out of the 15 considered problems with statistical significance after parameter tuning was applied to both algorithms. Furthermore, this work also considers how different ensemble construction methods such as a simple averaging approach, Bagging and Boosting affect the resulting generalization of the SLM and MLP algorithms. Results suggest that the stochastic nature of the SLM offers enough diversity to the base learner in a way that a simple averaging method can be competitive when compared to more complex techniques like Bagging and Boosting.À medida que a tecnologia evolui, a possibilidade de implementar algoritmos novos e mais eficientes aumenta, no entanto, a complexidade dos problemas com que nos deparamos também se torna maior. Algoritmos de Neuroevolution encaixam-se neste contexto, na medida em que são capazes de evoluir Artificial Neural Networks (ANNs). O algoritmo de Neuroevolution recentemente proposto chamado Semantic Learning Machine (SLM) tem a vantagem de procurar sobre landscapes de erros unimodais em qualquer problema de Supervised Learning, onde o erro é medido como a distância aos alvos conhecidos. A não existência de local optima no espaço de procura resulta numa aprendizagem mais eficiente quando comparada com outros algoritmos de Neuroevolution. Este trabalho estuda como métodos diferentes de uso dinâmico de dados de treino afeta a generalização do algoritmo SLM. Os resultados mostram que estes métodos são úteis a oferecer uma alternativa que atinge uma generalização competitiva. Estes métodos são testados em quinze problemas reais de classificação binária. Nestes quinze problemas, o algoritmo SLM mostra superioridade ao Multilayer Perceptron (MLP) em treze deles com significância estatística depois de ser aplicado parameter tuning em ambos os algoritmos. Para além disso, este trabalho também considera como diferentes métodos de construção de ensembles, tal como um simples método de averaging, Bagging e Boosting afetam os valores de generalização dos algoritmos SLM e MLP. Os resultados sugerem que a natureza estocástica da SLM oferece diversidade suficiente aos base learners de maneira a que o método mais simples de construção de ensembles se torne competitivo quando comparado com técnicas mais complexas como Bagging e Boosting.Gonçalves, Ivo Carlos PereiraCastelli, MauroRUNSeca, Marta Sofia Lopes2020-06-09T07:44:36Z2020-06-012020-06-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10362/99078TID:202485102enginfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-03-11T04:46:10Zoai:run.unl.pt:10362/99078Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T03:39:07.450061Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Explorations of the semantic learning machine neuroevolution algorithm: dynamic training data use and ensemble construction methods
title Explorations of the semantic learning machine neuroevolution algorithm: dynamic training data use and ensemble construction methods
spellingShingle Explorations of the semantic learning machine neuroevolution algorithm: dynamic training data use and ensemble construction methods
Seca, Marta Sofia Lopes
Semantic Learning Machine
Neuroevolution
Evolutionary Machine Learning
Artificial Neural Networks
Deep Learning
title_short Explorations of the semantic learning machine neuroevolution algorithm: dynamic training data use and ensemble construction methods
title_full Explorations of the semantic learning machine neuroevolution algorithm: dynamic training data use and ensemble construction methods
title_fullStr Explorations of the semantic learning machine neuroevolution algorithm: dynamic training data use and ensemble construction methods
title_full_unstemmed Explorations of the semantic learning machine neuroevolution algorithm: dynamic training data use and ensemble construction methods
title_sort Explorations of the semantic learning machine neuroevolution algorithm: dynamic training data use and ensemble construction methods
author Seca, Marta Sofia Lopes
author_facet Seca, Marta Sofia Lopes
author_role author
dc.contributor.none.fl_str_mv Gonçalves, Ivo Carlos Pereira
Castelli, Mauro
RUN
dc.contributor.author.fl_str_mv Seca, Marta Sofia Lopes
dc.subject.por.fl_str_mv Semantic Learning Machine
Neuroevolution
Evolutionary Machine Learning
Artificial Neural Networks
Deep Learning
topic Semantic Learning Machine
Neuroevolution
Evolutionary Machine Learning
Artificial Neural Networks
Deep Learning
description Dissertation presented as the partial requirement for obtaining a Master’s degree in Data Science and Advanced Analytics
publishDate 2020
dc.date.none.fl_str_mv 2020-06-09T07:44:36Z
2020-06-01
2020-06-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10362/99078
TID:202485102
url http://hdl.handle.net/10362/99078
identifier_str_mv TID:202485102
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799138007526146048

Registros relacionados