Neural information extraction pipeline for cyber forensics with pre-trained language models

Detalhes bibliográficos
Autor(a) principal: Rodrigues, Fillipe Barros
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UnB
Texto Completo: https://repositorio.unb.br/handle/10482/44406
Resumo: Dissertação (mestrado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, Mestrado Profissional em Engenharia Elétrica, 2022.
id UNB_c28311a83b61677dc3aa51c880555f06
oai_identifier_str oai:repositorio.unb.br:10482/44406
network_acronym_str UNB
network_name_str Repositório Institucional da UnB
repository_id_str
spelling Neural information extraction pipeline for cyber forensics with pre-trained language modelsPipeline de extração de informações neurais para forense cibernética com modelos de linguagem pré-treinadosExtração de informaçõesLinguagem natural - processamentoCibernética forenseGrafos de conhecimentoDissertação (mestrado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, Mestrado Profissional em Engenharia Elétrica, 2022.A investigação digital é uma tarefa desafiadora composta por várias etapas e procedimentos que são muitas vezes lentos e propensos a erros. Da coleta de informações à análise e comunicação de resultados, muitas subtarefas são dependentes de soluções tecnológicas que visam reduzir a sobrecarga de informações que os investigadores enfrentam. Algumas ferramentas forenses oferecem mecanismos para automatizar pesquisas e categorizações de objetos e dados relevantes, mas ainda não têm suporte para cenários complexos e dinâmicos, especialmente em aplicações de Big Data. A maioria desses dados não é estruturada, o que significa que é mais difícil organizar e encontrar insights significativos. Avanços recentes em Machine Learning (ML) e, mais especificamente, em Processamento de Linguagem Natural (NLP) trouxeram à existência novas arquiteturas e modelos de linguagem que podem ser usados para aumentar significativamente o desempenho de tarefas de Extração de Informações (IE), como Reconhecimento de Entidades Mencionadas (NER) e Extração de Relacionamentos (RE). Este trabalho propõe uma configuração reproduzível para construir, testar e ajustar um pipeline de extração de informação que pode ser aplicado a investigações forenses cibernéticas usando NLP de textos em diferentes idiomas. As tarefas de NER e RE são profundamente exploradas e discutidas, com base nos mais recentes modelos de linguagem natural, como BERT e RoBERTa. Também é discutido como otimizar o desempenho de um modelo de NLP ajustando seus hiperparâmetros, validando seu desempenho com métricas de avaliação padrão e comparações com benchmarks bem conhecidos. O pipeline proposto também é aplicado a diferentes cenários com exemplos hipotéticos mas realistas, culminando com a apresentação de grafos de conhecimento abrangentes para análise de informações. Os componentes do pipeline são organizados de forma que seja possível configurar classes de entidade e de relacionamento para diferentes domínios de aplicação com alterações mínimas, não limitadas ao contexto da análise forense cibernética nem a uma linguagem específica. Os resultados apresentados neste trabalho tanto para o português quanto para o inglês alcançaram níveis de desempenho do estado da arte seguindo as etapas propostas para cada tarefa, corroborando a ideia de que o processamento por etapas tem potencial para melhorar ainda mais o resultado final.Digital investigation is a challenging task composed of several steps and procedures that are often slow and error-prone. From collection to analysis and reporting, many sub-tasks are dependent on technological solutions that aim to reduce the overhead of information the investigators face. Some forensic tools offer mechanisms to automate searches and categorizations of relevant objects and data, but they still lack support for complex and dynamic scenarios, especially regarding Big Data applications. Most of this data is unstructured, meaning it is harder to organize and find meaningful insights. Recent advances in Machine Learning (ML) and, more specifically, in Natural Language Processing (NLP) brought to existence new architectures and language models that can be used to significantly increase the performance of Information Extraction (IE) tasks, such as Named Entity Recognition (NER) and Relation Extraction (RE). This work proposes a reproducible setup to build, test and fine-tune an information extraction pipeline that can be applied to cyber forensics investigations using NLP of texts in different languages. The tasks of NER and RE are deeply explored and discussed, based on the latest state-of-the-art language models such as BERT and RoBERTa. It is also discussed how to optimize the performance of an NLP model by tuning its hyper-parameters, validating their performance with standard evaluation metrics and comparisons with well-known benchmarks. The proposed pipeline is also applied to different application scenarios with hypothetical yet realistic examples, culminating with the presentation of comprehensive knowledge graphs for structured information analysis. The components of the pipeline are organized in such a way that makes it possible to configure both entity and relationship classes for different application domains with minimal changes, not limited to the cyber forensics context nor a specific language. The results presented in this work for both Portuguese and English achieved state-of-the-art performance following the steps proposed for each task, corroborating the idea that staged processing has the potential to further improve the final result.Faculdade de Tecnologia (FT)Departamento de Engenharia Elétrica (FT ENE)Programa de Pós-Graduação em Engenharia Elétrica, Mestrado ProfissionalGiozza, William FerreiraAlbuquerque, Robson de OliveiraRodrigues, Fillipe Barros2022-08-03T22:00:05Z2022-08-03T22:00:05Z2022-08-032022-05-16info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfRODRIGUES, Fillipe Barros. Neural information extraction pipeline for cyber forensics with pre-trained language models. 2022. xvii, 113 f., il. Dissertação (Mestrado Profissional em Engenharia Elétrica) — Universidade de Brasília, Brasília, 2022.https://repositorio.unb.br/handle/10482/44406info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNB2024-03-01T16:15:56Zoai:repositorio.unb.br:10482/44406Repositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2024-03-01T16:15:56Repositório Institucional da UnB - Universidade de Brasília (UnB)false
dc.title.none.fl_str_mv Neural information extraction pipeline for cyber forensics with pre-trained language models
Pipeline de extração de informações neurais para forense cibernética com modelos de linguagem pré-treinados
title Neural information extraction pipeline for cyber forensics with pre-trained language models
spellingShingle Neural information extraction pipeline for cyber forensics with pre-trained language models
Rodrigues, Fillipe Barros
Extração de informações
Linguagem natural - processamento
Cibernética forense
Grafos de conhecimento
title_short Neural information extraction pipeline for cyber forensics with pre-trained language models
title_full Neural information extraction pipeline for cyber forensics with pre-trained language models
title_fullStr Neural information extraction pipeline for cyber forensics with pre-trained language models
title_full_unstemmed Neural information extraction pipeline for cyber forensics with pre-trained language models
title_sort Neural information extraction pipeline for cyber forensics with pre-trained language models
author Rodrigues, Fillipe Barros
author_facet Rodrigues, Fillipe Barros
author_role author
dc.contributor.none.fl_str_mv Giozza, William Ferreira
Albuquerque, Robson de Oliveira
dc.contributor.author.fl_str_mv Rodrigues, Fillipe Barros
dc.subject.por.fl_str_mv Extração de informações
Linguagem natural - processamento
Cibernética forense
Grafos de conhecimento
topic Extração de informações
Linguagem natural - processamento
Cibernética forense
Grafos de conhecimento
description Dissertação (mestrado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, Mestrado Profissional em Engenharia Elétrica, 2022.
publishDate 2022
dc.date.none.fl_str_mv 2022-08-03T22:00:05Z
2022-08-03T22:00:05Z
2022-08-03
2022-05-16
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv RODRIGUES, Fillipe Barros. Neural information extraction pipeline for cyber forensics with pre-trained language models. 2022. xvii, 113 f., il. Dissertação (Mestrado Profissional em Engenharia Elétrica) — Universidade de Brasília, Brasília, 2022.
https://repositorio.unb.br/handle/10482/44406
identifier_str_mv RODRIGUES, Fillipe Barros. Neural information extraction pipeline for cyber forensics with pre-trained language models. 2022. xvii, 113 f., il. Dissertação (Mestrado Profissional em Engenharia Elétrica) — Universidade de Brasília, Brasília, 2022.
url https://repositorio.unb.br/handle/10482/44406
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Repositório Institucional da UnB
collection Repositório Institucional da UnB
repository.name.fl_str_mv Repositório Institucional da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv repositorio@unb.br
_version_ 1810580842784751616

Registros relacionados