Automação de sistemas fechados usando inteligência artificial
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/10773/36681 |
Resumo: | Atualmente, há uma necessidade de automação de processos aplicados nas redes devido à elevada complexidade e tamanho das mesmas. Nas redes das operadoras de telecomunicações registam diariamente eventos de alarmes que ocorreram nos seus dispositivos. Estes equipamentos como são de fornecedores ou operadoras diferentes, geram diagnósticos de falhas que utilizam nomenclaturas distintas para se referirem à mesma causa da falha. Deste modo, neste trabalho desenvolveu-se um modelo que mede relações de semelhança entre os termos que aparecem nos diagnósticos de falhas, na medida de tornar possível mapear os alarmes para um modelo único alarmístico. Inicialmente, processou-se uma base de dados de diagnósticos de falhas reais com intuito de treinar modelos de word embedding, tais como, Word2Vec e FastText, para converter as palavras em vetores numéricos. Portanto, para avaliar os modelos, gerou-se uma base de dados a partir de um captcha de palavras. Este foi utilizado por especialistas da área com objetivo de encontrarem pares de termos semelhantes. Através das suas respostas foi possível medir as suas respetivas similaridades, sendo consideradas como as esperadas. Contudo, os modelos de word embedding demonstraram não ter capacidade de encontrar este tipo de relações. Por isso, adicionou-se uma camada de modelos de machine learning, nos quais recebiam os vetores dos pares definidos na base de dados e tinham que prever a similaridade mais próxima da esperada. Com isto, uma rede neural simples com os vetores de 128 dimensões gerados pelo modelo Word2Vec com uma arquitetura CBOW obteve os melhores resultados, com valores de 0.95 e 0.90 de coeficientes de correlação de Pearson e Spearman, respetivamente. A CNN com vetores da mesma dimensão, mas com uma arquitetura skip-gram no Word2Vec obteve apenas 0.22 de correlação de Pearson e 0.23 de Spearman. As features geradas combinadas com a LSTM obteve-se valores de correlação próximos de zero, exceto com os vetores de 384 de dimensão gerados pelo Word2Vec com uma arquitetura CBOW, que conseguiram obter 0.62 como coeficiente de correlação de Pearson e 0.55 de Spearman. A CNN e LSTM embora sejam redes muito mais complexas, a base de dados não tem tamanho suficiente para este tipo de redes conseguirem encontrar uma boa função que meça a similaridade entre as palavras do vocabulário específico de redes e software. |
id |
RCAP_a822717ce93919c0cb1d3c09256113d5 |
---|---|
oai_identifier_str |
oai:ria.ua.pt:10773/36681 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Automação de sistemas fechados usando inteligência artificialCNNDiagnósticos de alarmesFastTextLSTMMachine learningModelos de word embeddingRede neuralRelações de semelhançaVocabulárioWord2VecAtualmente, há uma necessidade de automação de processos aplicados nas redes devido à elevada complexidade e tamanho das mesmas. Nas redes das operadoras de telecomunicações registam diariamente eventos de alarmes que ocorreram nos seus dispositivos. Estes equipamentos como são de fornecedores ou operadoras diferentes, geram diagnósticos de falhas que utilizam nomenclaturas distintas para se referirem à mesma causa da falha. Deste modo, neste trabalho desenvolveu-se um modelo que mede relações de semelhança entre os termos que aparecem nos diagnósticos de falhas, na medida de tornar possível mapear os alarmes para um modelo único alarmístico. Inicialmente, processou-se uma base de dados de diagnósticos de falhas reais com intuito de treinar modelos de word embedding, tais como, Word2Vec e FastText, para converter as palavras em vetores numéricos. Portanto, para avaliar os modelos, gerou-se uma base de dados a partir de um captcha de palavras. Este foi utilizado por especialistas da área com objetivo de encontrarem pares de termos semelhantes. Através das suas respostas foi possível medir as suas respetivas similaridades, sendo consideradas como as esperadas. Contudo, os modelos de word embedding demonstraram não ter capacidade de encontrar este tipo de relações. Por isso, adicionou-se uma camada de modelos de machine learning, nos quais recebiam os vetores dos pares definidos na base de dados e tinham que prever a similaridade mais próxima da esperada. Com isto, uma rede neural simples com os vetores de 128 dimensões gerados pelo modelo Word2Vec com uma arquitetura CBOW obteve os melhores resultados, com valores de 0.95 e 0.90 de coeficientes de correlação de Pearson e Spearman, respetivamente. A CNN com vetores da mesma dimensão, mas com uma arquitetura skip-gram no Word2Vec obteve apenas 0.22 de correlação de Pearson e 0.23 de Spearman. As features geradas combinadas com a LSTM obteve-se valores de correlação próximos de zero, exceto com os vetores de 384 de dimensão gerados pelo Word2Vec com uma arquitetura CBOW, que conseguiram obter 0.62 como coeficiente de correlação de Pearson e 0.55 de Spearman. A CNN e LSTM embora sejam redes muito mais complexas, a base de dados não tem tamanho suficiente para este tipo de redes conseguirem encontrar uma boa função que meça a similaridade entre as palavras do vocabulário específico de redes e software.Nowadays, given the networks complexity and size there is a need for process automation especially malfunction correction. Every day there are many failures in the devices, which, as they are from different vendors or belong to distinct telecommunications operators, alarm diagnostics use different vocabularies to refer to the exact cause of the failure. Thus, in this work, a model was developed that finds relations of similarity between these terms so that it is possible to map the alarms to a single alarmist model. Initially, a database of real fault diagnostics was processed to train embedding word models, such as Word2Vec and FastText, to convert the words into numeric vectors. Therefore, to evaluate the models, it is necessary to have a minimal amount of data, hence the creation of a captcha system to collect pairs of similar terms and measure the similarity between new acquired terms. However, word embedding models are not capable to find this type of relationships. Therefore, a layer of machine learning models was added, in which they received the vectors of the pairs defined in the database and had to predict the closest to the expected similarity. With this, the simple neural network has achieved the best results, while CNN and LSTM although they are much more complex network the database is not large enough to achieve good results. Thus, a neural network with 128-dimensional vectors generated by the Word2Vec model with a CBOW architecture achieved the best results, with final values of 0.95 and 0.90 of Pearson and Spearman correlation coefficients, respectively. The CNN with vectors of the same dimension buy with a skip-architecture in Word2Vec had only 0.23 Pearson basis and 0.23 Spearman basis. The features combined with the LSTM achieved low results values, except for the 384-dimensional vectors generated byWord2Vec with a CBOWarchitecture, with values of 0.62 of Pearson’s correlation coefficient and 0.55 of Spearman’s.2023-03-28T11:06:01Z2022-12-07T00:00:00Z2022-12-07info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10773/36681porAlves, André Teixeira Baiãoinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-02-22T12:10:39Zoai:ria.ua.pt:10773/36681Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T03:07:22.852815Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Automação de sistemas fechados usando inteligência artificial |
title |
Automação de sistemas fechados usando inteligência artificial |
spellingShingle |
Automação de sistemas fechados usando inteligência artificial Alves, André Teixeira Baião CNN Diagnósticos de alarmes FastText LSTM Machine learning Modelos de word embedding Rede neural Relações de semelhança Vocabulário Word2Vec |
title_short |
Automação de sistemas fechados usando inteligência artificial |
title_full |
Automação de sistemas fechados usando inteligência artificial |
title_fullStr |
Automação de sistemas fechados usando inteligência artificial |
title_full_unstemmed |
Automação de sistemas fechados usando inteligência artificial |
title_sort |
Automação de sistemas fechados usando inteligência artificial |
author |
Alves, André Teixeira Baião |
author_facet |
Alves, André Teixeira Baião |
author_role |
author |
dc.contributor.author.fl_str_mv |
Alves, André Teixeira Baião |
dc.subject.por.fl_str_mv |
CNN Diagnósticos de alarmes FastText LSTM Machine learning Modelos de word embedding Rede neural Relações de semelhança Vocabulário Word2Vec |
topic |
CNN Diagnósticos de alarmes FastText LSTM Machine learning Modelos de word embedding Rede neural Relações de semelhança Vocabulário Word2Vec |
description |
Atualmente, há uma necessidade de automação de processos aplicados nas redes devido à elevada complexidade e tamanho das mesmas. Nas redes das operadoras de telecomunicações registam diariamente eventos de alarmes que ocorreram nos seus dispositivos. Estes equipamentos como são de fornecedores ou operadoras diferentes, geram diagnósticos de falhas que utilizam nomenclaturas distintas para se referirem à mesma causa da falha. Deste modo, neste trabalho desenvolveu-se um modelo que mede relações de semelhança entre os termos que aparecem nos diagnósticos de falhas, na medida de tornar possível mapear os alarmes para um modelo único alarmístico. Inicialmente, processou-se uma base de dados de diagnósticos de falhas reais com intuito de treinar modelos de word embedding, tais como, Word2Vec e FastText, para converter as palavras em vetores numéricos. Portanto, para avaliar os modelos, gerou-se uma base de dados a partir de um captcha de palavras. Este foi utilizado por especialistas da área com objetivo de encontrarem pares de termos semelhantes. Através das suas respostas foi possível medir as suas respetivas similaridades, sendo consideradas como as esperadas. Contudo, os modelos de word embedding demonstraram não ter capacidade de encontrar este tipo de relações. Por isso, adicionou-se uma camada de modelos de machine learning, nos quais recebiam os vetores dos pares definidos na base de dados e tinham que prever a similaridade mais próxima da esperada. Com isto, uma rede neural simples com os vetores de 128 dimensões gerados pelo modelo Word2Vec com uma arquitetura CBOW obteve os melhores resultados, com valores de 0.95 e 0.90 de coeficientes de correlação de Pearson e Spearman, respetivamente. A CNN com vetores da mesma dimensão, mas com uma arquitetura skip-gram no Word2Vec obteve apenas 0.22 de correlação de Pearson e 0.23 de Spearman. As features geradas combinadas com a LSTM obteve-se valores de correlação próximos de zero, exceto com os vetores de 384 de dimensão gerados pelo Word2Vec com uma arquitetura CBOW, que conseguiram obter 0.62 como coeficiente de correlação de Pearson e 0.55 de Spearman. A CNN e LSTM embora sejam redes muito mais complexas, a base de dados não tem tamanho suficiente para este tipo de redes conseguirem encontrar uma boa função que meça a similaridade entre as palavras do vocabulário específico de redes e software. |
publishDate |
2022 |
dc.date.none.fl_str_mv |
2022-12-07T00:00:00Z 2022-12-07 2023-03-28T11:06:01Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10773/36681 |
url |
http://hdl.handle.net/10773/36681 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799137729224638464 |