Anomaly Detection in Managed Connectivity M2M

Detalhes bibliográficos
Autor(a) principal: Gomes, André Daniel Dinis
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/95541
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_a735fc28c9f9df470df6230d84c9c258
oai_identifier_str oai:estudogeral.uc.pt:10316/95541
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Anomaly Detection in Managed Connectivity M2MDeteção de Anomalias na Conectividade Gerida M2MDeteção de AnomaliasCall Detail RecordsTelecomunicaçõesMachine LearningReconhecimento de PadrõesAnomaly DetectionCall Detail RecordsTelecommunicationsMachine LearningPattern RecognitionDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaConsiderando o contexto das telecomunicações, soluções Machine-To-Machine (M2M) servem de suporte para comunicações entre dispositivos na rede móvel (p.e., smartphones, contadores de luz, entre outros smart devices), permitindo a gestão da sua conectividade e serviços associados. Muitas empresas e seus negócios estão dependentes do normal funcionamento deste tipo de equipamentos e qualquer interrupção ou indisponibilidade de serviços pode implicar custos adicionais ou quebras na infra-estrutura de negócio. A fiabilidade deste tipo de sistemas é crucial. A possibilidade de detetar qualquer atividade anómala em near real-time que possa por em causa o normal funcionamento destes sistemas é uma funcionalidade que atribui vantagens consideráveis a soluções M2M. Em particular, este estudo tem como foco a evolução da plataforma Smart2M Managed Connectivity, que já faz parte do portfólio da empresa Altice Labs. Enquanto prova de conceito, propõe-se o desenvolvimento de um Serviço de Detecção de Anomalias (ADS), apresentando-se como um novo módulo para detectar e notificar (quase em tempo real) situações consideradas anómalas, permitindo uma intervenção rápida e consequente redução de efeitos nocivos nos negócios dos clientes. Numa rede móvel, Call Detail Records (CDRs) são dados que nos permitem descrever em detalhe a atividade de determinado equipamento numa sessão de comunicação (p.e., contacto de origem e destino, duração da chamada, tipo de chamada, serviço utilizado, valores de consumo), permitindo assim monitorar a atividade através do reconhecimento de padrões de comportamentais regulares e irregulares. Assim, os principais objetivos do sistema são reconhecer os diferentes padrões de atividade existentes e detectar anomalias, definindo e caracterizando perfis de comportamento regular. Os métodos Hierarchical Clustering e K-Means são considerados para a segmentação de padrões de atividade, e o Interquartile Range (IQR) e Isolation Forest para deteção de anomalias. Este sistema híbrido identifica o comportamento anómalo comparando os valores de diferentes indicadores-chave de desempenho (p.e., volume de consumo, tempo, eventos) com os valores do respectivo padrão de atividade. Os objetivos deste estágio são alcançados com sucesso através da concepção de uma prova de conceito, consistindo no desenvolvimento de um Serviço de Deteção de Anomalias que, através da seleção de métricas de desempenho como F1-Score (i.e, média ponderada entre precisão e recall) e taxa de Falsos Positivos, alcançou resultados e níveis de desempenho muito promissores, considerando um F1-Score elevado (cerca de 95%) e uma taxa de Falsos positivos consideravelmente baixa (<1%). Fundamentalmente, este sistema integra um novo módulo aplicacional independente (ADS) que, em um futuro ambiente de produção, pode ser subscrito como um Plugin por clientes Smart2M que desejem monitorar a atividade dos seus equipamentos. O foco deste ADS está sobre a garantia de qualidade, segurança e disponibilidade de serviços de telecomunicações. Considerando o valor que este traz para a empresa, a introdução estratégica desta nova funcionalidade torna a sua solução mais competitiva e garante uma melhor experiência de utilização ao seus clientes.Considering the context of telecommunications, a Machine-To-Machine (M2M) solution supports communications between devices on a mobile network (e.g., mobile phones, electricity meters, and smart devices), enabling the management of their connectivity and associated services. Many companies and businesses are dependent on the regular operation of this type of equipment, and any service interruption or unavailability may imply additional costs or disruptions in the business infrastructure. The reliability of these systems is crucial. The possibility of detecting anomalous activity in near real-time that could jeopardize the normal functioning of these systems is a feature that gives considerable advantages to M2M solutions. In particular, this study focuses on the evolution of the Smart2M Managed Connectivity platform, which is already included in the portfolio of the company Altice Labs. As a proof of concept, the development of an Anomaly Detection Service (ADS) is proposed, presenting itself as a new module to detect and notify (in near real-time) situations considered to be anomalous, allowing for quick intervention and consequent reduction of harmful effects on the customers' businesses. In a mobile network, Call Detail Records (CDRs) are data that allow us to describe in detail the activity of a given equipment in a communication session (e.g., phone numbers, call duration, type of call, service used, consumption values), thus allowing to monitor it by recognizing regular and irregular activity patterns. Therefore, the system's main objectives are recognizing the different activity patterns existent and detecting anomalies, defining and characterizing profiles of regular behavior. The Hierarchical Clustering and K-Means methods are considered for the segmentation of activity patterns, and the Interquartile Range (IQR) and Isolation Forest for anomaly detection. This hybrid system identifies anomalous behavior by comparing the values of different Key Performance Indicators (e.g., consumption volume, time, events) with the values of the respective activity pattern. The objectives of this internship are successfully achieved with a proof of concept being carried out, which consisted in the development of an ADS that, through the selection of performance metrics such as F1-Score (i.e., weighted average between precision and recall) and False Positive Rate, achieved very promising results and performance levels, considering a high F1-Score (about 95%) and a low False Positive Rate (< 1%). In essence, this system integrates an application module that acts as an independent Anomaly Detection Service that, in a future production environment, can be subscribed as a Plugin by Smart2M customers who wish to monitor the activity of their equipment. The focus of this ADS is on quality assurance, security, and availability of telecommunications services. Considering the value it brings to the company, the strategic introduction of this new functionality keeps its solution more competitive and ensures a better user experience.2021-07-142027-07-13T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/95541http://hdl.handle.net/10316/95541TID:202753204engGomes, André Daniel Dinisinfo:eu-repo/semantics/embargoedAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-10-27T11:01:29Zoai:estudogeral.uc.pt:10316/95541Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:14:00.985766Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Anomaly Detection in Managed Connectivity M2M
Deteção de Anomalias na Conectividade Gerida M2M
title Anomaly Detection in Managed Connectivity M2M
spellingShingle Anomaly Detection in Managed Connectivity M2M
Gomes, André Daniel Dinis
Deteção de Anomalias
Call Detail Records
Telecomunicações
Machine Learning
Reconhecimento de Padrões
Anomaly Detection
Call Detail Records
Telecommunications
Machine Learning
Pattern Recognition
title_short Anomaly Detection in Managed Connectivity M2M
title_full Anomaly Detection in Managed Connectivity M2M
title_fullStr Anomaly Detection in Managed Connectivity M2M
title_full_unstemmed Anomaly Detection in Managed Connectivity M2M
title_sort Anomaly Detection in Managed Connectivity M2M
author Gomes, André Daniel Dinis
author_facet Gomes, André Daniel Dinis
author_role author
dc.contributor.author.fl_str_mv Gomes, André Daniel Dinis
dc.subject.por.fl_str_mv Deteção de Anomalias
Call Detail Records
Telecomunicações
Machine Learning
Reconhecimento de Padrões
Anomaly Detection
Call Detail Records
Telecommunications
Machine Learning
Pattern Recognition
topic Deteção de Anomalias
Call Detail Records
Telecomunicações
Machine Learning
Reconhecimento de Padrões
Anomaly Detection
Call Detail Records
Telecommunications
Machine Learning
Pattern Recognition
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2021
dc.date.none.fl_str_mv 2021-07-14
2027-07-13T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/95541
http://hdl.handle.net/10316/95541
TID:202753204
url http://hdl.handle.net/10316/95541
identifier_str_mv TID:202753204
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/embargoedAccess
eu_rights_str_mv embargoedAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134036958904320

Registros relacionados