Event processing and correlation for a cyber defence center
Autor(a) principal: | |
---|---|
Data de Publicação: | 2017 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/10451/31702 |
Resumo: | Tese de mestrado, Segurança Informática, Universidade de Lisboa, Faculdade de Ciências, 2017 |
id |
RCAP_c57695e4e985f9e83b22a589af971bd4 |
---|---|
oai_identifier_str |
oai:repositorio.ul.pt:10451/31702 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Event processing and correlation for a cyber defence centerCorrelação de EventosApache FlinkProcessamento de informaçãoSegurança da informaçãoMonitorizaçãoTeses de mestrado - 2017Departamento de InformáticaTese de mestrado, Segurança Informática, Universidade de Lisboa, Faculdade de Ciências, 2017O rápido avanço tecnológico que se tem vindo a verificar ao longo dos últimos anos, transformou drasticamente a forma como as organizações gerem o seu negócio. Os sistemas computacionais permitem um rápido processamento dos dados, facilitam a recolha e armazenamento de informação e, em alguns casos, possibilitam a automatização de processos recorrentes. Adicionalmente, o surgimento e evolução da Internet aumentou exponencialmente a troca de informação, facilitando a colaboração interna e entre diferentes organizações. Este novo paradigma, permite um maior foco na análise da informação produzida, levando a um aumento tanto em produtividade como eficiência. Para que a informação possa circular de forma segura, é necessário que todos os sistemas e padrões de comunicação sejam monitorizados. No que diz respeito à segurança da informação, esta monitorização é essencial especialmente quando considerando que os componentes de uma organização estão geralmente interconectados, implicando que potencial software malicioso possa disseminar-se com facilidade, tendo consequências desastrosas. Mesmo na ausência de ataques externos, os utilizadores poderão lançar ataques internos ou difundir informação confidencial. Uma das formas de identificar potenciais intrusões e comportamentos indevidos é através da coleção de dados de registo gerados pelos sistemas. Os dados de registo contêm informação crucial relativamente à infraestrutura de uma organização. Por exemplo, os registos de computadores pessoais fornecem informação sobre potenciais infeções ou comportamentos suspeitos, os registos de autenticação permitem acompanhar o movimento dos acessos às contas dos utilizadores pela rede e os registos de servidores proxy permitem identificar acessos a sitos web potencialmente perigosos. A recolha de dados de registo é apenas o primeiro passo para alcançar o objetivo principal. Isto é, inferir significado a partir dados colecionados. Sem as técnicas apropriadas, encontrar introspeções acerca dados recolhidos pode ser como ”tentar encontrar uma agulha num palheiro”. Os principais desafios incluem normalização, armazenamento e análise de informação, o que suscita vários problemas. Em primeiro lugar, diferentes sistemas podem armazenar os registos em diferentes formatos. Em alguns casos, a informação relevante poderá estar entre dezenas de campos pobremente estruturados. Em segundo lugar, o número total de eventos poderá ser colossal. O aumento da tecnologia por sensores (e.g. leitores de cartões) e a necessidade de monitorizar os sistemas levou a um aumento significativo na criação de dados de registo. Estes conjuntos poderão ser tao grandes e complexos que não podem ser armazenados e analisados de forma eficiente em bases de dados tracionais. Por último, é necessário correlacionar toda a informação obtida a partir de diferentes fontes de dados de modo a detetar anomalias. Atualmente, existem vários sistemas cujo objetivo é lidar com esta problemática. Algumas das soluções propostas representam sistemas de ficheiros distribuídos onde a informação é armazenada num formato que permite uma análise simples e rápida. Geralmente, estão associados a estes sistemas ferramentas que suportam consultas sobre dados armazenados. Para esta análise, tipicamente é colecionado um conjunto relativamente grande de dados e seguidamente são feitas consultas sobre estes, possibilitando, por exemplo, saber quantas vezes um utilizador acedeu a um determinado servidor durante um determinado período de tempo. Apesar deste método poder fornecer várias introspeções importantes sobre a informação recolhida, não permite uma resposta imediata pois os dados são primeiro armazenados antes da análise, o que introduz uma latência significativa. Em arquiteturas modernas existe a preocupação de processar os dados com baixa latência para que, se uma determinada condição de verificar (e.g. intrusão num sistema), seja despoletada uma ação imediata. Para além disso, os dados a serem analisados não são finitos pois estão continuamente a ser gerados, o que por sua vez agrava o problema. De modo a lidar com o fluxo continuo de dados e evitar a sobrecarga associada ao armazenamento, foram propostos vários sistemas de Processamento de Fluxos (do inglês Stream Processing engines). Estas soluções são capazes de processar grandes quantidades de dados mantendo latências reduzidas. Contudo, estas geralmente não fornecem meios que facilitem uma análise mais complexa que pode incluir, construções temporais, correlação de dados de diferentes fontes e deteção de sequências. Para este fim, normalmente são utilizadas t´técnicas de processamento complexo de dados (do inglês complex event processing). Estes sistemas foram desenhados especificamente para lidar com fluxos contínuos de dados, permitindo uma análise complexa dos mesmos e uma resposta imediata no caso de se verificarem determinadas condições. Podendo assim evitar a propagação de um ataque sofisticado. Apesar de úteis, os sistemas de processamento complexo de dados existentes, não fornecem módulos de análise por omissão, apenas meios que possibilitam essa construção. Para além disso, muitas das funcionalidades e garantias fornecidas não são as desejadas. Como tal, o objetivo do presente trabalho é fornecer uma solução completa que permita uma análise complexa de eventos numa perspetiva de segurança, fornecendo também meios para colecionar, agregar e analisar os eventos com facilidade, mantendo a disponibilidade do sistema e evitando a perda de dados, utilizando como base algumas soluções já existentes.The growth of computer systems in information technology infrastructures accompanied by an increase in their interconnectivity implies not only that critical information can now be scattered across different systems, but also that an intrusion can easily spread and have disastrous consequences. From a security standpoint, this means that every computer system must be actively monitored and if a suspicious activity is detected, a quick countermeasure must be taken. Many intrusion detection systems and prevention mechanisms struggle to monitor all the components, both because the amount of information generated is too large and complex to be interpreted, and also due to the sophistication of current attacks. Moreover, a possible attack must be quickly identified in order to avoid further propagation and damage. In this work, we present a solution resorting to existing frameworks that is capable of correlating information from different sources in order to quickly identify possible security breaches from continuous streams of events.Costa, António Casimiro Ferreira da, 1968-Costa, Luís Miguel DiasRepositório da Universidade de LisboaChaves, Pedro Miguel Rainho2019-10-26T00:30:16Z201720172017-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10451/31702TID:201870223enginfo:eu-repo/semantics/embargoedAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-11-08T16:25:29Zoai:repositorio.ul.pt:10451/31702Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:47:08.986744Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Event processing and correlation for a cyber defence center |
title |
Event processing and correlation for a cyber defence center |
spellingShingle |
Event processing and correlation for a cyber defence center Chaves, Pedro Miguel Rainho Correlação de Eventos Apache Flink Processamento de informação Segurança da informação Monitorização Teses de mestrado - 2017 Departamento de Informática |
title_short |
Event processing and correlation for a cyber defence center |
title_full |
Event processing and correlation for a cyber defence center |
title_fullStr |
Event processing and correlation for a cyber defence center |
title_full_unstemmed |
Event processing and correlation for a cyber defence center |
title_sort |
Event processing and correlation for a cyber defence center |
author |
Chaves, Pedro Miguel Rainho |
author_facet |
Chaves, Pedro Miguel Rainho |
author_role |
author |
dc.contributor.none.fl_str_mv |
Costa, António Casimiro Ferreira da, 1968- Costa, Luís Miguel Dias Repositório da Universidade de Lisboa |
dc.contributor.author.fl_str_mv |
Chaves, Pedro Miguel Rainho |
dc.subject.por.fl_str_mv |
Correlação de Eventos Apache Flink Processamento de informação Segurança da informação Monitorização Teses de mestrado - 2017 Departamento de Informática |
topic |
Correlação de Eventos Apache Flink Processamento de informação Segurança da informação Monitorização Teses de mestrado - 2017 Departamento de Informática |
description |
Tese de mestrado, Segurança Informática, Universidade de Lisboa, Faculdade de Ciências, 2017 |
publishDate |
2017 |
dc.date.none.fl_str_mv |
2017 2017 2017-01-01T00:00:00Z 2019-10-26T00:30:16Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10451/31702 TID:201870223 |
url |
http://hdl.handle.net/10451/31702 |
identifier_str_mv |
TID:201870223 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/embargoedAccess |
eu_rights_str_mv |
embargoedAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799134396919316480 |