Automação de sistemas fechados usando inteligência artificial

Detalhes bibliográficos
Autor(a) principal: Alves, André Teixeira Baião
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10773/36681
Resumo: Atualmente, há uma necessidade de automação de processos aplicados nas redes devido à elevada complexidade e tamanho das mesmas. Nas redes das operadoras de telecomunicações registam diariamente eventos de alarmes que ocorreram nos seus dispositivos. Estes equipamentos como são de fornecedores ou operadoras diferentes, geram diagnósticos de falhas que utilizam nomenclaturas distintas para se referirem à mesma causa da falha. Deste modo, neste trabalho desenvolveu-se um modelo que mede relações de semelhança entre os termos que aparecem nos diagnósticos de falhas, na medida de tornar possível mapear os alarmes para um modelo único alarmístico. Inicialmente, processou-se uma base de dados de diagnósticos de falhas reais com intuito de treinar modelos de word embedding, tais como, Word2Vec e FastText, para converter as palavras em vetores numéricos. Portanto, para avaliar os modelos, gerou-se uma base de dados a partir de um captcha de palavras. Este foi utilizado por especialistas da área com objetivo de encontrarem pares de termos semelhantes. Através das suas respostas foi possível medir as suas respetivas similaridades, sendo consideradas como as esperadas. Contudo, os modelos de word embedding demonstraram não ter capacidade de encontrar este tipo de relações. Por isso, adicionou-se uma camada de modelos de machine learning, nos quais recebiam os vetores dos pares definidos na base de dados e tinham que prever a similaridade mais próxima da esperada. Com isto, uma rede neural simples com os vetores de 128 dimensões gerados pelo modelo Word2Vec com uma arquitetura CBOW obteve os melhores resultados, com valores de 0.95 e 0.90 de coeficientes de correlação de Pearson e Spearman, respetivamente. A CNN com vetores da mesma dimensão, mas com uma arquitetura skip-gram no Word2Vec obteve apenas 0.22 de correlação de Pearson e 0.23 de Spearman. As features geradas combinadas com a LSTM obteve-se valores de correlação próximos de zero, exceto com os vetores de 384 de dimensão gerados pelo Word2Vec com uma arquitetura CBOW, que conseguiram obter 0.62 como coeficiente de correlação de Pearson e 0.55 de Spearman. A CNN e LSTM embora sejam redes muito mais complexas, a base de dados não tem tamanho suficiente para este tipo de redes conseguirem encontrar uma boa função que meça a similaridade entre as palavras do vocabulário específico de redes e software.
id RCAP_a822717ce93919c0cb1d3c09256113d5
oai_identifier_str oai:ria.ua.pt:10773/36681
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Automação de sistemas fechados usando inteligência artificialCNNDiagnósticos de alarmesFastTextLSTMMachine learningModelos de word embeddingRede neuralRelações de semelhançaVocabulárioWord2VecAtualmente, há uma necessidade de automação de processos aplicados nas redes devido à elevada complexidade e tamanho das mesmas. Nas redes das operadoras de telecomunicações registam diariamente eventos de alarmes que ocorreram nos seus dispositivos. Estes equipamentos como são de fornecedores ou operadoras diferentes, geram diagnósticos de falhas que utilizam nomenclaturas distintas para se referirem à mesma causa da falha. Deste modo, neste trabalho desenvolveu-se um modelo que mede relações de semelhança entre os termos que aparecem nos diagnósticos de falhas, na medida de tornar possível mapear os alarmes para um modelo único alarmístico. Inicialmente, processou-se uma base de dados de diagnósticos de falhas reais com intuito de treinar modelos de word embedding, tais como, Word2Vec e FastText, para converter as palavras em vetores numéricos. Portanto, para avaliar os modelos, gerou-se uma base de dados a partir de um captcha de palavras. Este foi utilizado por especialistas da área com objetivo de encontrarem pares de termos semelhantes. Através das suas respostas foi possível medir as suas respetivas similaridades, sendo consideradas como as esperadas. Contudo, os modelos de word embedding demonstraram não ter capacidade de encontrar este tipo de relações. Por isso, adicionou-se uma camada de modelos de machine learning, nos quais recebiam os vetores dos pares definidos na base de dados e tinham que prever a similaridade mais próxima da esperada. Com isto, uma rede neural simples com os vetores de 128 dimensões gerados pelo modelo Word2Vec com uma arquitetura CBOW obteve os melhores resultados, com valores de 0.95 e 0.90 de coeficientes de correlação de Pearson e Spearman, respetivamente. A CNN com vetores da mesma dimensão, mas com uma arquitetura skip-gram no Word2Vec obteve apenas 0.22 de correlação de Pearson e 0.23 de Spearman. As features geradas combinadas com a LSTM obteve-se valores de correlação próximos de zero, exceto com os vetores de 384 de dimensão gerados pelo Word2Vec com uma arquitetura CBOW, que conseguiram obter 0.62 como coeficiente de correlação de Pearson e 0.55 de Spearman. A CNN e LSTM embora sejam redes muito mais complexas, a base de dados não tem tamanho suficiente para este tipo de redes conseguirem encontrar uma boa função que meça a similaridade entre as palavras do vocabulário específico de redes e software.Nowadays, given the networks complexity and size there is a need for process automation especially malfunction correction. Every day there are many failures in the devices, which, as they are from different vendors or belong to distinct telecommunications operators, alarm diagnostics use different vocabularies to refer to the exact cause of the failure. Thus, in this work, a model was developed that finds relations of similarity between these terms so that it is possible to map the alarms to a single alarmist model. Initially, a database of real fault diagnostics was processed to train embedding word models, such as Word2Vec and FastText, to convert the words into numeric vectors. Therefore, to evaluate the models, it is necessary to have a minimal amount of data, hence the creation of a captcha system to collect pairs of similar terms and measure the similarity between new acquired terms. However, word embedding models are not capable to find this type of relationships. Therefore, a layer of machine learning models was added, in which they received the vectors of the pairs defined in the database and had to predict the closest to the expected similarity. With this, the simple neural network has achieved the best results, while CNN and LSTM although they are much more complex network the database is not large enough to achieve good results. Thus, a neural network with 128-dimensional vectors generated by the Word2Vec model with a CBOW architecture achieved the best results, with final values of 0.95 and 0.90 of Pearson and Spearman correlation coefficients, respectively. The CNN with vectors of the same dimension buy with a skip-architecture in Word2Vec had only 0.23 Pearson basis and 0.23 Spearman basis. The features combined with the LSTM achieved low results values, except for the 384-dimensional vectors generated byWord2Vec with a CBOWarchitecture, with values of 0.62 of Pearson’s correlation coefficient and 0.55 of Spearman’s.2023-03-28T11:06:01Z2022-12-07T00:00:00Z2022-12-07info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10773/36681porAlves, André Teixeira Baiãoinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-02-22T12:10:39Zoai:ria.ua.pt:10773/36681Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T03:07:22.852815Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Automação de sistemas fechados usando inteligência artificial
title Automação de sistemas fechados usando inteligência artificial
spellingShingle Automação de sistemas fechados usando inteligência artificial
Alves, André Teixeira Baião
CNN
Diagnósticos de alarmes
FastText
LSTM
Machine learning
Modelos de word embedding
Rede neural
Relações de semelhança
Vocabulário
Word2Vec
title_short Automação de sistemas fechados usando inteligência artificial
title_full Automação de sistemas fechados usando inteligência artificial
title_fullStr Automação de sistemas fechados usando inteligência artificial
title_full_unstemmed Automação de sistemas fechados usando inteligência artificial
title_sort Automação de sistemas fechados usando inteligência artificial
author Alves, André Teixeira Baião
author_facet Alves, André Teixeira Baião
author_role author
dc.contributor.author.fl_str_mv Alves, André Teixeira Baião
dc.subject.por.fl_str_mv CNN
Diagnósticos de alarmes
FastText
LSTM
Machine learning
Modelos de word embedding
Rede neural
Relações de semelhança
Vocabulário
Word2Vec
topic CNN
Diagnósticos de alarmes
FastText
LSTM
Machine learning
Modelos de word embedding
Rede neural
Relações de semelhança
Vocabulário
Word2Vec
description Atualmente, há uma necessidade de automação de processos aplicados nas redes devido à elevada complexidade e tamanho das mesmas. Nas redes das operadoras de telecomunicações registam diariamente eventos de alarmes que ocorreram nos seus dispositivos. Estes equipamentos como são de fornecedores ou operadoras diferentes, geram diagnósticos de falhas que utilizam nomenclaturas distintas para se referirem à mesma causa da falha. Deste modo, neste trabalho desenvolveu-se um modelo que mede relações de semelhança entre os termos que aparecem nos diagnósticos de falhas, na medida de tornar possível mapear os alarmes para um modelo único alarmístico. Inicialmente, processou-se uma base de dados de diagnósticos de falhas reais com intuito de treinar modelos de word embedding, tais como, Word2Vec e FastText, para converter as palavras em vetores numéricos. Portanto, para avaliar os modelos, gerou-se uma base de dados a partir de um captcha de palavras. Este foi utilizado por especialistas da área com objetivo de encontrarem pares de termos semelhantes. Através das suas respostas foi possível medir as suas respetivas similaridades, sendo consideradas como as esperadas. Contudo, os modelos de word embedding demonstraram não ter capacidade de encontrar este tipo de relações. Por isso, adicionou-se uma camada de modelos de machine learning, nos quais recebiam os vetores dos pares definidos na base de dados e tinham que prever a similaridade mais próxima da esperada. Com isto, uma rede neural simples com os vetores de 128 dimensões gerados pelo modelo Word2Vec com uma arquitetura CBOW obteve os melhores resultados, com valores de 0.95 e 0.90 de coeficientes de correlação de Pearson e Spearman, respetivamente. A CNN com vetores da mesma dimensão, mas com uma arquitetura skip-gram no Word2Vec obteve apenas 0.22 de correlação de Pearson e 0.23 de Spearman. As features geradas combinadas com a LSTM obteve-se valores de correlação próximos de zero, exceto com os vetores de 384 de dimensão gerados pelo Word2Vec com uma arquitetura CBOW, que conseguiram obter 0.62 como coeficiente de correlação de Pearson e 0.55 de Spearman. A CNN e LSTM embora sejam redes muito mais complexas, a base de dados não tem tamanho suficiente para este tipo de redes conseguirem encontrar uma boa função que meça a similaridade entre as palavras do vocabulário específico de redes e software.
publishDate 2022
dc.date.none.fl_str_mv 2022-12-07T00:00:00Z
2022-12-07
2023-03-28T11:06:01Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10773/36681
url http://hdl.handle.net/10773/36681
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799137729224638464