Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFSCAR |
Texto Completo: | https://repositorio.ufscar.br/handle/ufscar/15377 |
Resumo: | The ongoing implementation of the Internet of Things (IoT) is sharply increasing the number and variety of small devices on edge networks. Likewise, the attack opportunities for hostile agents also grows, requiring more effort from network administrators and strategies to detect and react to those threats. For a network security system to operate in the context of fog and IoT, it has to comply with processing, storage, and energy requirements alongside traditional requirements for stream and network analysis like accuracy and scalability. Using a previously defined architecture (IDSA-IoT), we address the construction and evaluation of a support mechanism for distributed Network Intrusion Detection Systems (NIDS) based on the MINAS Data Stream Novelty Detection algorithm. We discuss the algorithm steps, how it can be deployed in a distributed environment, the impacts on the accuracy, and evaluate performance and scalability using a cluster of constrained devices commonly found in IoT scenarios. The obtained results show equivalent metrics in the distributed version but also a reduction in the execution time using low-profile devices. Although not efficient, the parallel version showed to be viable as the proposed granularity provides equivalent accuracy and the same response times. |
id |
SCAR_b84e4de5556f8dcceea18241eecddc00 |
---|---|
oai_identifier_str |
oai:repositorio.ufscar.br:ufscar/15377 |
network_acronym_str |
SCAR |
network_name_str |
Repositório Institucional da UFSCAR |
repository_id_str |
4322 |
spelling |
Puhl de Souza, Luís HenriqueSenger, Hermeshttp://lattes.cnpq.br/3691742159298316http://lattes.cnpq.br/6871990866953300cc6abb80-d35e-496a-82a5-a7caa659ae542021-12-17T09:26:06Z2021-12-17T09:26:06Z2021-07-05PUHL DE SOUZA, Luís Henrique. Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa. 2021. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2021. Disponível em: https://repositorio.ufscar.br/handle/ufscar/15377.https://repositorio.ufscar.br/handle/ufscar/15377The ongoing implementation of the Internet of Things (IoT) is sharply increasing the number and variety of small devices on edge networks. Likewise, the attack opportunities for hostile agents also grows, requiring more effort from network administrators and strategies to detect and react to those threats. For a network security system to operate in the context of fog and IoT, it has to comply with processing, storage, and energy requirements alongside traditional requirements for stream and network analysis like accuracy and scalability. Using a previously defined architecture (IDSA-IoT), we address the construction and evaluation of a support mechanism for distributed Network Intrusion Detection Systems (NIDS) based on the MINAS Data Stream Novelty Detection algorithm. We discuss the algorithm steps, how it can be deployed in a distributed environment, the impacts on the accuracy, and evaluate performance and scalability using a cluster of constrained devices commonly found in IoT scenarios. The obtained results show equivalent metrics in the distributed version but also a reduction in the execution time using low-profile devices. Although not efficient, the parallel version showed to be viable as the proposed granularity provides equivalent accuracy and the same response times.Em um cenário de crescente número de dispositivos na Internet das Coisas (IoT), gerando um crescimento no volume dos fluxos de dados gerados, são constantes e evolutivas as ameaças ativas e passivas aos recursos computacionais e aos conteúdos transmitidos. Métodos para mineração de dados de forma robusta e contínua podem ser um aliado à segurança nesses casos. Particularmente em ambientes distribuídos e nos quais busca-se manter o tratamento dos fluxos de informação próximo de onde eles são gerados, como nas bordas das redes IoT, e na computação em névoa de maneira geral, a detecção de ameaças é essencial e não trivial. Além disso, a evolução constante dos tipos de dispositivos e de tráfegos nessas redes favorece que as ferramentas de detecção de ameaças sejam beneficiadas por algoritmos de Detecção de Novidades em Fluxo de Dados. MINAS é um exemplo de algoritmo de detecção de novidades em fluxos de dados com potencial para aplicação na computação em névoa. No entanto, apesar de sua divisão em três partes semi-independentes, este algoritmo ainda não foi adaptado para tratar grandes volumes de fluxos reais em ambiente de computação em névoa. O presente trabalho aborda essa lacuna propondo um sistema que implementa o algoritmo MINAS de maneira distribuída inserido num contexto de detecção de intrusão e computação em névoa. Esta implementação foi feita em MPI e é avaliada com auxílio do conjunto de dados Kyoto 2006+ em um ambiente de teste com 3 nós com recursos limitados. Os resultados obtidos mostram a viabilidade do modelo de detecção de novidades distribuído em ambiente de computação em névoa. Observou-se baixa degradação nas métricas de classificação porém com redução no número de novidades (anomalias, ataques) encontradas. Além disso, observou-se redução do tempo de processamento na nova implementação distribuída em relação à implementação original, porém o speedup não refletiu a adição de processadores.Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)CNPq: 167345/2018-4porUniversidade Federal de São CarlosCâmpus São CarlosPrograma de Pós-Graduação em Ciência da Computação - PPGCCUFSCarAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessDetecção de novidadesDetecção de intrusãoFluxos de dadosComputação distribuídaComputação em névoaInternet das coisasNovelty detectionIntrusion detectionData streamsDistributed computingFog computingInternet of thingsCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAOAnálise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoaAnalysis of a distributed implementation of the data stream novelty detection algorithm MINAS for intrusion detection in a fog environmentinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis6006002947c428-30b1-4d14-8369-e5871a4d7accreponame:Repositório Institucional da UFSCARinstname:Universidade Federal de São Carlos (UFSCAR)instacron:UFSCARORIGINALDissertacaoLuisPuhl-MFOG.pdfDissertacaoLuisPuhl-MFOG.pdfDissertação MFOGapplication/pdf2357815https://repositorio.ufscar.br/bitstream/ufscar/15377/4/DissertacaoLuisPuhl-MFOG.pdf3d45a4d7e382beadc9e58c1f41c785b7MD54Atestado_Orientador_Versao_Final_assinado-Hermes (1).pdfAtestado_Orientador_Versao_Final_assinado-Hermes (1).pdfCarta comprovante assinada pelo orientadorapplication/pdf163352https://repositorio.ufscar.br/bitstream/ufscar/15377/8/Atestado_Orientador_Versao_Final_assinado-Hermes%20%281%29.pdf6589189ec70ce71ee224dfca9d8d1053MD58LuisPuhl-MFOG.bundleLuisPuhl-MFOG.bundleSource Code in a Git bundle to cloneapplication/octet-stream38009449https://repositorio.ufscar.br/bitstream/ufscar/15377/2/LuisPuhl-MFOG.bundle3c2a5a17a99c4ba704e53ef425758547MD52thumb.pngthumb.pngiconeimage/png100531https://repositorio.ufscar.br/bitstream/ufscar/15377/6/thumb.png2931b0e19413caf16f131d14f0af09e8MD56CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufscar.br/bitstream/ufscar/15377/9/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD59TEXTDissertacaoLuisPuhl-MFOG.pdf.txtDissertacaoLuisPuhl-MFOG.pdf.txtExtracted texttext/plain155248https://repositorio.ufscar.br/bitstream/ufscar/15377/10/DissertacaoLuisPuhl-MFOG.pdf.txtc45a291906d5c703aaebe68359d45f5dMD510Atestado_Orientador_Versao_Final_assinado-Hermes (1).pdf.txtAtestado_Orientador_Versao_Final_assinado-Hermes (1).pdf.txtExtracted texttext/plain1616https://repositorio.ufscar.br/bitstream/ufscar/15377/12/Atestado_Orientador_Versao_Final_assinado-Hermes%20%281%29.pdf.txt1fff5b9395c5513cd89f97740cbeaf35MD512THUMBNAILDissertacaoLuisPuhl-MFOG.pdf.jpgDissertacaoLuisPuhl-MFOG.pdf.jpgIM Thumbnailimage/jpeg7753https://repositorio.ufscar.br/bitstream/ufscar/15377/11/DissertacaoLuisPuhl-MFOG.pdf.jpg66ef44219fb1318b4a70a89a7cbbf89cMD511Atestado_Orientador_Versao_Final_assinado-Hermes (1).pdf.jpgAtestado_Orientador_Versao_Final_assinado-Hermes (1).pdf.jpgIM Thumbnailimage/jpeg14648https://repositorio.ufscar.br/bitstream/ufscar/15377/13/Atestado_Orientador_Versao_Final_assinado-Hermes%20%281%29.pdf.jpg1318e86d794cfa575067812600b9053cMD513thumb.png.jpgthumb.png.jpgGenerated Thumbnailimage/jpeg6560https://repositorio.ufscar.br/bitstream/ufscar/15377/14/thumb.png.jpgbbef54720403b71732e871c8ae2e6280MD514ufscar/153772023-09-18 18:32:16.626oai:repositorio.ufscar.br:ufscar/15377Repositório InstitucionalPUBhttps://repositorio.ufscar.br/oai/requestopendoar:43222023-09-18T18:32:16Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)false |
dc.title.por.fl_str_mv |
Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa |
dc.title.alternative.eng.fl_str_mv |
Analysis of a distributed implementation of the data stream novelty detection algorithm MINAS for intrusion detection in a fog environment |
title |
Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa |
spellingShingle |
Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa Puhl de Souza, Luís Henrique Detecção de novidades Detecção de intrusão Fluxos de dados Computação distribuída Computação em névoa Internet das coisas Novelty detection Intrusion detection Data streams Distributed computing Fog computing Internet of things CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO |
title_short |
Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa |
title_full |
Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa |
title_fullStr |
Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa |
title_full_unstemmed |
Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa |
title_sort |
Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa |
author |
Puhl de Souza, Luís Henrique |
author_facet |
Puhl de Souza, Luís Henrique |
author_role |
author |
dc.contributor.authorlattes.por.fl_str_mv |
http://lattes.cnpq.br/6871990866953300 |
dc.contributor.author.fl_str_mv |
Puhl de Souza, Luís Henrique |
dc.contributor.advisor1.fl_str_mv |
Senger, Hermes |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/3691742159298316 |
dc.contributor.authorID.fl_str_mv |
cc6abb80-d35e-496a-82a5-a7caa659ae54 |
contributor_str_mv |
Senger, Hermes |
dc.subject.por.fl_str_mv |
Detecção de novidades Detecção de intrusão Fluxos de dados Computação distribuída Computação em névoa Internet das coisas |
topic |
Detecção de novidades Detecção de intrusão Fluxos de dados Computação distribuída Computação em névoa Internet das coisas Novelty detection Intrusion detection Data streams Distributed computing Fog computing Internet of things CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO |
dc.subject.eng.fl_str_mv |
Novelty detection Intrusion detection Data streams Distributed computing Fog computing Internet of things |
dc.subject.cnpq.fl_str_mv |
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO |
description |
The ongoing implementation of the Internet of Things (IoT) is sharply increasing the number and variety of small devices on edge networks. Likewise, the attack opportunities for hostile agents also grows, requiring more effort from network administrators and strategies to detect and react to those threats. For a network security system to operate in the context of fog and IoT, it has to comply with processing, storage, and energy requirements alongside traditional requirements for stream and network analysis like accuracy and scalability. Using a previously defined architecture (IDSA-IoT), we address the construction and evaluation of a support mechanism for distributed Network Intrusion Detection Systems (NIDS) based on the MINAS Data Stream Novelty Detection algorithm. We discuss the algorithm steps, how it can be deployed in a distributed environment, the impacts on the accuracy, and evaluate performance and scalability using a cluster of constrained devices commonly found in IoT scenarios. The obtained results show equivalent metrics in the distributed version but also a reduction in the execution time using low-profile devices. Although not efficient, the parallel version showed to be viable as the proposed granularity provides equivalent accuracy and the same response times. |
publishDate |
2021 |
dc.date.accessioned.fl_str_mv |
2021-12-17T09:26:06Z |
dc.date.available.fl_str_mv |
2021-12-17T09:26:06Z |
dc.date.issued.fl_str_mv |
2021-07-05 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
PUHL DE SOUZA, Luís Henrique. Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa. 2021. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2021. Disponível em: https://repositorio.ufscar.br/handle/ufscar/15377. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufscar.br/handle/ufscar/15377 |
identifier_str_mv |
PUHL DE SOUZA, Luís Henrique. Análise de uma implementação distribuída do algoritmo de detecção de novidade em fluxos de Dados MINAS para detecção de intrusão em um ambiente de névoa. 2021. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2021. Disponível em: https://repositorio.ufscar.br/handle/ufscar/15377. |
url |
https://repositorio.ufscar.br/handle/ufscar/15377 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.confidence.fl_str_mv |
600 600 |
dc.relation.authority.fl_str_mv |
2947c428-30b1-4d14-8369-e5871a4d7acc |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de São Carlos Câmpus São Carlos |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Ciência da Computação - PPGCC |
dc.publisher.initials.fl_str_mv |
UFSCar |
publisher.none.fl_str_mv |
Universidade Federal de São Carlos Câmpus São Carlos |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFSCAR instname:Universidade Federal de São Carlos (UFSCAR) instacron:UFSCAR |
instname_str |
Universidade Federal de São Carlos (UFSCAR) |
instacron_str |
UFSCAR |
institution |
UFSCAR |
reponame_str |
Repositório Institucional da UFSCAR |
collection |
Repositório Institucional da UFSCAR |
bitstream.url.fl_str_mv |
https://repositorio.ufscar.br/bitstream/ufscar/15377/4/DissertacaoLuisPuhl-MFOG.pdf https://repositorio.ufscar.br/bitstream/ufscar/15377/8/Atestado_Orientador_Versao_Final_assinado-Hermes%20%281%29.pdf https://repositorio.ufscar.br/bitstream/ufscar/15377/2/LuisPuhl-MFOG.bundle https://repositorio.ufscar.br/bitstream/ufscar/15377/6/thumb.png https://repositorio.ufscar.br/bitstream/ufscar/15377/9/license_rdf https://repositorio.ufscar.br/bitstream/ufscar/15377/10/DissertacaoLuisPuhl-MFOG.pdf.txt https://repositorio.ufscar.br/bitstream/ufscar/15377/12/Atestado_Orientador_Versao_Final_assinado-Hermes%20%281%29.pdf.txt https://repositorio.ufscar.br/bitstream/ufscar/15377/11/DissertacaoLuisPuhl-MFOG.pdf.jpg https://repositorio.ufscar.br/bitstream/ufscar/15377/13/Atestado_Orientador_Versao_Final_assinado-Hermes%20%281%29.pdf.jpg https://repositorio.ufscar.br/bitstream/ufscar/15377/14/thumb.png.jpg |
bitstream.checksum.fl_str_mv |
3d45a4d7e382beadc9e58c1f41c785b7 6589189ec70ce71ee224dfca9d8d1053 3c2a5a17a99c4ba704e53ef425758547 2931b0e19413caf16f131d14f0af09e8 e39d27027a6cc9cb039ad269a5db8e34 c45a291906d5c703aaebe68359d45f5d 1fff5b9395c5513cd89f97740cbeaf35 66ef44219fb1318b4a70a89a7cbbf89c 1318e86d794cfa575067812600b9053c bbef54720403b71732e871c8ae2e6280 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR) |
repository.mail.fl_str_mv |
|
_version_ |
1813715636879097856 |