Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa

Detalhes bibliográficos
Autor(a) principal: Puhl de Souza, Luís Henrique
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFSCAR
Texto Completo: https://repositorio.ufscar.br/handle/ufscar/15377
Resumo: The ongoing implementation of the Internet of Things (IoT) is sharply increasing the number and variety of small devices on edge networks. Likewise, the attack opportunities for hostile agents also grows, requiring more effort from network administrators and strategies to detect and react to those threats. For a network security system to operate in the context of fog and IoT, it has to comply with processing, storage, and energy requirements alongside traditional requirements for stream and network analysis like accuracy and scalability. Using a previously defined architecture (IDSA-IoT), we address the construction and evaluation of a support mechanism for distributed Network Intrusion Detection Systems (NIDS) based on the MINAS Data Stream Novelty Detection algorithm. We discuss the algorithm steps, how it can be deployed in a distributed environment, the impacts on the accuracy, and evaluate performance and scalability using a cluster of constrained devices commonly found in IoT scenarios. The obtained results show equivalent metrics in the distributed version but also a reduction in the execution time using low-profile devices. Although not efficient, the parallel version showed to be viable as the proposed granularity provides equivalent accuracy and the same response times.
id SCAR_b84e4de5556f8dcceea18241eecddc00
oai_identifier_str oai:repositorio.ufscar.br:ufscar/15377
network_acronym_str SCAR
network_name_str Repositório Institucional da UFSCAR
repository_id_str 4322
spelling Puhl de Souza, Luís HenriqueSenger, Hermeshttp://lattes.cnpq.br/3691742159298316http://lattes.cnpq.br/6871990866953300cc6abb80-d35e-496a-82a5-a7caa659ae542021-12-17T09:26:06Z2021-12-17T09:26:06Z2021-07-05PUHL DE SOUZA, Luís Henrique. Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa. 2021. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2021. Disponível em: https://repositorio.ufscar.br/handle/ufscar/15377.https://repositorio.ufscar.br/handle/ufscar/15377The ongoing implementation of the Internet of Things (IoT) is sharply increasing the number and variety of small devices on edge networks. Likewise, the attack opportunities for hostile agents also grows, requiring more effort from network administrators and strategies to detect and react to those threats. For a network security system to operate in the context of fog and IoT, it has to comply with processing, storage, and energy requirements alongside traditional requirements for stream and network analysis like accuracy and scalability. Using a previously defined architecture (IDSA-IoT), we address the construction and evaluation of a support mechanism for distributed Network Intrusion Detection Systems (NIDS) based on the MINAS Data Stream Novelty Detection algorithm. We discuss the algorithm steps, how it can be deployed in a distributed environment, the impacts on the accuracy, and evaluate performance and scalability using a cluster of constrained devices commonly found in IoT scenarios. The obtained results show equivalent metrics in the distributed version but also a reduction in the execution time using low-profile devices. Although not efficient, the parallel version showed to be viable as the proposed granularity provides equivalent accuracy and the same response times.Em um cenário de crescente número de dispositivos na Internet das Coisas (IoT), gerando um crescimento no volume dos fluxos de dados gerados, são constantes e evolutivas as ameaças ativas e passivas aos recursos computacionais e aos conteúdos transmitidos. Métodos para mineração de dados de forma robusta e contínua podem ser um aliado à segurança nesses casos. Particularmente em ambientes distribuídos e nos quais busca-se manter o tratamento dos fluxos de informação próximo de onde eles são gerados, como nas bordas das redes IoT, e na computação em névoa de maneira geral, a detecção de ameaças é essencial e não trivial. Além disso, a evolução constante dos tipos de dispositivos e de tráfegos nessas redes favorece que as ferramentas de detecção de ameaças sejam beneficiadas por algoritmos de Detecção de Novidades em Fluxo de Dados. MINAS é um exemplo de algoritmo de detecção de novidades em fluxos de dados com potencial para aplicação na computação em névoa. No entanto, apesar de sua divisão em três partes semi-independentes, este algoritmo ainda não foi adaptado para tratar grandes volumes de fluxos reais em ambiente de computação em névoa. O presente trabalho aborda essa lacuna propondo um sistema que implementa o algoritmo MINAS de maneira distribuída inserido num contexto de detecção de intrusão e computação em névoa. Esta implementação foi feita em MPI e é avaliada com auxílio do conjunto de dados Kyoto 2006+ em um ambiente de teste com 3 nós com recursos limitados. Os resultados obtidos mostram a viabilidade do modelo de detecção de novidades distribuído em ambiente de computação em névoa. Observou-se baixa degradação nas métricas de classificação porém com redução no número de novidades (anomalias, ataques) encontradas. Além disso, observou-se redução do tempo de processamento na nova implementação distribuída em relação à implementação original, porém o speedup não refletiu a adição de processadores.Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)CNPq: 167345/2018-4porUniversidade Federal de São CarlosCâmpus São CarlosPrograma de Pós-Graduação em Ciência da Computação - PPGCCUFSCarAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessDetecção de novidadesDetecção de intrusãoFluxos de dadosComputação distribuídaComputação em névoaInternet das coisasNovelty detectionIntrusion detectionData streamsDistributed computingFog computingInternet of thingsCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAOAnálise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoaAnalysis of a distributed implementation of the data stream novelty detection algorithm MINAS for intrusion detection in a fog environmentinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis6006002947c428-30b1-4d14-8369-e5871a4d7accreponame:Repositório Institucional da UFSCARinstname:Universidade Federal de São Carlos (UFSCAR)instacron:UFSCARORIGINALDissertacaoLuisPuhl-MFOG.pdfDissertacaoLuisPuhl-MFOG.pdfDissertação MFOGapplication/pdf2357815https://repositorio.ufscar.br/bitstream/ufscar/15377/4/DissertacaoLuisPuhl-MFOG.pdf3d45a4d7e382beadc9e58c1f41c785b7MD54Atestado_Orientador_Versao_Final_assinado-Hermes (1).pdfAtestado_Orientador_Versao_Final_assinado-Hermes (1).pdfCarta comprovante assinada pelo orientadorapplication/pdf163352https://repositorio.ufscar.br/bitstream/ufscar/15377/8/Atestado_Orientador_Versao_Final_assinado-Hermes%20%281%29.pdf6589189ec70ce71ee224dfca9d8d1053MD58LuisPuhl-MFOG.bundleLuisPuhl-MFOG.bundleSource Code in a Git bundle to cloneapplication/octet-stream38009449https://repositorio.ufscar.br/bitstream/ufscar/15377/2/LuisPuhl-MFOG.bundle3c2a5a17a99c4ba704e53ef425758547MD52thumb.pngthumb.pngiconeimage/png100531https://repositorio.ufscar.br/bitstream/ufscar/15377/6/thumb.png2931b0e19413caf16f131d14f0af09e8MD56CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufscar.br/bitstream/ufscar/15377/9/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD59TEXTDissertacaoLuisPuhl-MFOG.pdf.txtDissertacaoLuisPuhl-MFOG.pdf.txtExtracted texttext/plain155248https://repositorio.ufscar.br/bitstream/ufscar/15377/10/DissertacaoLuisPuhl-MFOG.pdf.txtc45a291906d5c703aaebe68359d45f5dMD510Atestado_Orientador_Versao_Final_assinado-Hermes (1).pdf.txtAtestado_Orientador_Versao_Final_assinado-Hermes (1).pdf.txtExtracted texttext/plain1616https://repositorio.ufscar.br/bitstream/ufscar/15377/12/Atestado_Orientador_Versao_Final_assinado-Hermes%20%281%29.pdf.txt1fff5b9395c5513cd89f97740cbeaf35MD512THUMBNAILDissertacaoLuisPuhl-MFOG.pdf.jpgDissertacaoLuisPuhl-MFOG.pdf.jpgIM Thumbnailimage/jpeg7753https://repositorio.ufscar.br/bitstream/ufscar/15377/11/DissertacaoLuisPuhl-MFOG.pdf.jpg66ef44219fb1318b4a70a89a7cbbf89cMD511Atestado_Orientador_Versao_Final_assinado-Hermes (1).pdf.jpgAtestado_Orientador_Versao_Final_assinado-Hermes (1).pdf.jpgIM Thumbnailimage/jpeg14648https://repositorio.ufscar.br/bitstream/ufscar/15377/13/Atestado_Orientador_Versao_Final_assinado-Hermes%20%281%29.pdf.jpg1318e86d794cfa575067812600b9053cMD513thumb.png.jpgthumb.png.jpgGenerated Thumbnailimage/jpeg6560https://repositorio.ufscar.br/bitstream/ufscar/15377/14/thumb.png.jpgbbef54720403b71732e871c8ae2e6280MD514ufscar/153772023-09-18 18:32:16.626oai:repositorio.ufscar.br:ufscar/15377Repositório InstitucionalPUBhttps://repositorio.ufscar.br/oai/requestopendoar:43222023-09-18T18:32:16Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)false
dc.title.por.fl_str_mv Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa
dc.title.alternative.eng.fl_str_mv Analysis of a distributed implementation of the data stream novelty detection algorithm MINAS for intrusion detection in a fog environment
title Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa
spellingShingle Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa
Puhl de Souza, Luís Henrique
Detecção de novidades
Detecção de intrusão
Fluxos de dados
Computação distribuída
Computação em névoa
Internet das coisas
Novelty detection
Intrusion detection
Data streams
Distributed computing
Fog computing
Internet of things
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
title_short Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa
title_full Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa
title_fullStr Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa
title_full_unstemmed Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa
title_sort Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa
author Puhl de Souza, Luís Henrique
author_facet Puhl de Souza, Luís Henrique
author_role author
dc.contributor.authorlattes.por.fl_str_mv http://lattes.cnpq.br/6871990866953300
dc.contributor.author.fl_str_mv Puhl de Souza, Luís Henrique
dc.contributor.advisor1.fl_str_mv Senger, Hermes
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/3691742159298316
dc.contributor.authorID.fl_str_mv cc6abb80-d35e-496a-82a5-a7caa659ae54
contributor_str_mv Senger, Hermes
dc.subject.por.fl_str_mv Detecção de novidades
Detecção de intrusão
Fluxos de dados
Computação distribuída
Computação em névoa
Internet das coisas
topic Detecção de novidades
Detecção de intrusão
Fluxos de dados
Computação distribuída
Computação em névoa
Internet das coisas
Novelty detection
Intrusion detection
Data streams
Distributed computing
Fog computing
Internet of things
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
dc.subject.eng.fl_str_mv Novelty detection
Intrusion detection
Data streams
Distributed computing
Fog computing
Internet of things
dc.subject.cnpq.fl_str_mv CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
description The ongoing implementation of the Internet of Things (IoT) is sharply increasing the number and variety of small devices on edge networks. Likewise, the attack opportunities for hostile agents also grows, requiring more effort from network administrators and strategies to detect and react to those threats. For a network security system to operate in the context of fog and IoT, it has to comply with processing, storage, and energy requirements alongside traditional requirements for stream and network analysis like accuracy and scalability. Using a previously defined architecture (IDSA-IoT), we address the construction and evaluation of a support mechanism for distributed Network Intrusion Detection Systems (NIDS) based on the MINAS Data Stream Novelty Detection algorithm. We discuss the algorithm steps, how it can be deployed in a distributed environment, the impacts on the accuracy, and evaluate performance and scalability using a cluster of constrained devices commonly found in IoT scenarios. The obtained results show equivalent metrics in the distributed version but also a reduction in the execution time using low-profile devices. Although not efficient, the parallel version showed to be viable as the proposed granularity provides equivalent accuracy and the same response times.
publishDate 2021
dc.date.accessioned.fl_str_mv 2021-12-17T09:26:06Z
dc.date.available.fl_str_mv 2021-12-17T09:26:06Z
dc.date.issued.fl_str_mv 2021-07-05
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv PUHL DE SOUZA, Luís Henrique. Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa. 2021. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2021. Disponível em: https://repositorio.ufscar.br/handle/ufscar/15377.
dc.identifier.uri.fl_str_mv https://repositorio.ufscar.br/handle/ufscar/15377
identifier_str_mv PUHL DE SOUZA, Luís Henrique. Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa. 2021. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2021. Disponível em: https://repositorio.ufscar.br/handle/ufscar/15377.
url https://repositorio.ufscar.br/handle/ufscar/15377
dc.language.iso.fl_str_mv por
language por
dc.relation.confidence.fl_str_mv 600
600
dc.relation.authority.fl_str_mv 2947c428-30b1-4d14-8369-e5871a4d7acc
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de São Carlos
Câmpus São Carlos
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Ciência da Computação - PPGCC
dc.publisher.initials.fl_str_mv UFSCar
publisher.none.fl_str_mv Universidade Federal de São Carlos
Câmpus São Carlos
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSCAR
instname:Universidade Federal de São Carlos (UFSCAR)
instacron:UFSCAR
instname_str Universidade Federal de São Carlos (UFSCAR)
instacron_str UFSCAR
institution UFSCAR
reponame_str Repositório Institucional da UFSCAR
collection Repositório Institucional da UFSCAR
bitstream.url.fl_str_mv https://repositorio.ufscar.br/bitstream/ufscar/15377/4/DissertacaoLuisPuhl-MFOG.pdf
https://repositorio.ufscar.br/bitstream/ufscar/15377/8/Atestado_Orientador_Versao_Final_assinado-Hermes%20%281%29.pdf
https://repositorio.ufscar.br/bitstream/ufscar/15377/2/LuisPuhl-MFOG.bundle
https://repositorio.ufscar.br/bitstream/ufscar/15377/6/thumb.png
https://repositorio.ufscar.br/bitstream/ufscar/15377/9/license_rdf
https://repositorio.ufscar.br/bitstream/ufscar/15377/10/DissertacaoLuisPuhl-MFOG.pdf.txt
https://repositorio.ufscar.br/bitstream/ufscar/15377/12/Atestado_Orientador_Versao_Final_assinado-Hermes%20%281%29.pdf.txt
https://repositorio.ufscar.br/bitstream/ufscar/15377/11/DissertacaoLuisPuhl-MFOG.pdf.jpg
https://repositorio.ufscar.br/bitstream/ufscar/15377/13/Atestado_Orientador_Versao_Final_assinado-Hermes%20%281%29.pdf.jpg
https://repositorio.ufscar.br/bitstream/ufscar/15377/14/thumb.png.jpg
bitstream.checksum.fl_str_mv 3d45a4d7e382beadc9e58c1f41c785b7
6589189ec70ce71ee224dfca9d8d1053
3c2a5a17a99c4ba704e53ef425758547
2931b0e19413caf16f131d14f0af09e8
e39d27027a6cc9cb039ad269a5db8e34
c45a291906d5c703aaebe68359d45f5d
1fff5b9395c5513cd89f97740cbeaf35
66ef44219fb1318b4a70a89a7cbbf89c
1318e86d794cfa575067812600b9053c
bbef54720403b71732e871c8ae2e6280
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)
repository.mail.fl_str_mv
_version_ 1813715636879097856