Enabling self-driving networks with machine learning

Detalhes bibliográficos
Autor(a) principal: Jacobs, Arthur Selle
Data de Publicação: 2022
Tipo de documento: Tese
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/252138
Resumo: Conforme as redes modernas crescem em tamanho e complexidade, elas também se tor nam cada vez mais sujeitas a erros humanos. Essa tendência tem levado a indústria e o meio acadêmico a tentar automatizar as tarefas de gestão e controle, visando reduzir a interação humana com a rede e os erros de origem humana. Idealmente, pesquisado res imaginam um projeto de rede que não seja apenas automático (i.e., , dependente de instruções humanas), mas autônomo (i.e., , capaz de tomar suas próprias decisões). A rede autônoma tem sido uma meta buscada há anos, com diversos conceitos, projetos e implementações, mas nunca foi totalmente realizada, principalmente devido às limi tações tecnológicas. Avanços recentes em Inteligência Artificial (IA) e Aprendizado de Máquina (Machine Learning — ML) introduziram ar fresco neste conceito, ressurgindo como o conceito renomeado de em redes autodirigidas, em vista de suas contrapartes de automóveis autodirigidos. Em termos gerais, uma rede autodirigida é uma rede autônoma capaz de agir de acordo com as intenções de alto nível de um operador e se adaptar au tomaticamente às mudanças no tráfego e no comportamento dos usuários. Para alcançar essa visão, uma rede precisaria cumprir quatro requisitos principais: (i) compreender as intenções de alto nível de um operador para ditar seu comportamento, (ii) monitorar-se com base nas intenções de entrada, (iii) prevêr e identificar padrões em dados monitorados e (iv) adaptar-se a novos comportamentos sem a intervenção de um operador.Como o cumprimento dos requisitos de uma rede autônoma exige uma grande depen dência de modelos de ML para tomar decisões e classificações que afetam diretamente a rede, um problema específico se torna proeminente com esse design: confiança. Aplicar ML para resolver tarefas de gerenciamento de rede, como as descritas acima, tem sido uma tendência popular entre os pesquisadores recentemente. No entanto, apesar do tó pico receber muita atenção, os operadores da indústria têm relutado em tirar proveito de tais soluções, principalmente por causa da natureza de caixa preta dos modelos de ML, que produzem decisões sem qualquer explicação ou razão para as quais essas decisões foram tomadas. Dada a natureza de alto risco das redes de produção, torna-se impossível confiar em um modelo de ML que pode tomar ações inadequadas automaticamente e, o mais importante para o escopo desta tese, um desafio proibitivo que deve ser abordado para que uma rede autodirigidas seja alcançada. A presente tese visa habilitar redes autônomas, abordando o problema da falta de confi ança inerente nos modelos de ML que a capacitam. Para tanto, avaliamos e escrutinamos o processo de tomada de decisão de classificadores baseados em ML usados para compor uma rede autônoma.Primeiro, investigamos e avaliamos a precisão e credibilidade das classificações feitas por modelos de ML usados para processar intenções de alto nível do operador.Para essa avaliação, propomos uma nova interface conversacional chamada LUMI que permite aos operadores usar linguagem natural para descrever como a rede deve se comportar. Segundo, analisamos e avaliamos a precisão e a credibilidade das decisões tomadas pelos modelos de ML usados para autoconfigurar a rede de acordo com os dados monitorados. Nessa análise, descobrimos a necessidade de reinventar como os pesquisa dores aplicam IA/ML a problemas de rede, então propomos um novo pipeline de IA/ML que apresenta etapas para examinar modelos de ML usando técnicas do campo emergente de IA eXplicável (IAX).
id URGS_2f09b11676ace3bee3dd7d19f01a99c9
oai_identifier_str oai:www.lume.ufrgs.br:10183/252138
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Jacobs, Arthur SelleGranville, Lisandro ZambenedettiFerreira, Ronaldo Alves2022-12-01T04:53:27Z2022http://hdl.handle.net/10183/252138001154439Conforme as redes modernas crescem em tamanho e complexidade, elas também se tor nam cada vez mais sujeitas a erros humanos. Essa tendência tem levado a indústria e o meio acadêmico a tentar automatizar as tarefas de gestão e controle, visando reduzir a interação humana com a rede e os erros de origem humana. Idealmente, pesquisado res imaginam um projeto de rede que não seja apenas automático (i.e., , dependente de instruções humanas), mas autônomo (i.e., , capaz de tomar suas próprias decisões). A rede autônoma tem sido uma meta buscada há anos, com diversos conceitos, projetos e implementações, mas nunca foi totalmente realizada, principalmente devido às limi tações tecnológicas. Avanços recentes em Inteligência Artificial (IA) e Aprendizado de Máquina (Machine Learning — ML) introduziram ar fresco neste conceito, ressurgindo como o conceito renomeado de em redes autodirigidas, em vista de suas contrapartes de automóveis autodirigidos. Em termos gerais, uma rede autodirigida é uma rede autônoma capaz de agir de acordo com as intenções de alto nível de um operador e se adaptar au tomaticamente às mudanças no tráfego e no comportamento dos usuários. Para alcançar essa visão, uma rede precisaria cumprir quatro requisitos principais: (i) compreender as intenções de alto nível de um operador para ditar seu comportamento, (ii) monitorar-se com base nas intenções de entrada, (iii) prevêr e identificar padrões em dados monitorados e (iv) adaptar-se a novos comportamentos sem a intervenção de um operador.Como o cumprimento dos requisitos de uma rede autônoma exige uma grande depen dência de modelos de ML para tomar decisões e classificações que afetam diretamente a rede, um problema específico se torna proeminente com esse design: confiança. Aplicar ML para resolver tarefas de gerenciamento de rede, como as descritas acima, tem sido uma tendência popular entre os pesquisadores recentemente. No entanto, apesar do tó pico receber muita atenção, os operadores da indústria têm relutado em tirar proveito de tais soluções, principalmente por causa da natureza de caixa preta dos modelos de ML, que produzem decisões sem qualquer explicação ou razão para as quais essas decisões foram tomadas. Dada a natureza de alto risco das redes de produção, torna-se impossível confiar em um modelo de ML que pode tomar ações inadequadas automaticamente e, o mais importante para o escopo desta tese, um desafio proibitivo que deve ser abordado para que uma rede autodirigidas seja alcançada. A presente tese visa habilitar redes autônomas, abordando o problema da falta de confi ança inerente nos modelos de ML que a capacitam. Para tanto, avaliamos e escrutinamos o processo de tomada de decisão de classificadores baseados em ML usados para compor uma rede autônoma.Primeiro, investigamos e avaliamos a precisão e credibilidade das classificações feitas por modelos de ML usados para processar intenções de alto nível do operador.Para essa avaliação, propomos uma nova interface conversacional chamada LUMI que permite aos operadores usar linguagem natural para descrever como a rede deve se comportar. Segundo, analisamos e avaliamos a precisão e a credibilidade das decisões tomadas pelos modelos de ML usados para autoconfigurar a rede de acordo com os dados monitorados. Nessa análise, descobrimos a necessidade de reinventar como os pesquisa dores aplicam IA/ML a problemas de rede, então propomos um novo pipeline de IA/ML que apresenta etapas para examinar modelos de ML usando técnicas do campo emergente de IA eXplicável (IAX).As modern networks grow in size and complexity, they also become increasingly prone to human errors. This trend has driven both industry and academia to try to automate management and control tasks, aiming to reduce human interaction with the network and human-made mistakes. Ideally, researchers envision a network design that is not only au tomatic (i.e., dependent of human instructions) but autonomous (i.e., capable of making its own decisions). Autonomous networking has been a goal sought for years, with many different concepts, designs and implementations, but it was never fully realized, mainly due to technological limitations. Recent advances in Artificial Intelligence (AI) and Ma chine Learning (ML) introduced a breath of fresh air into this concept, reemerging as the re-branded concept of self-driving networks, in view of its autonomous car counterparts. In broad terms, a self-driving network is an autonomous network capable of acting ac cording to high-level intents from an operator and automatically adapting to changes in traffic and user behavior. To achieve that vision, a network would need to fulfill four ma jor requirements: (i) understand high-level intents from an operator to dictate its behavior, (ii) monitor itself based on input intents, (iii) predict and identify patterns from monitored data and (iv) adapt itself to new behaviors without the intervention of an operator. As fulfilling the requirements of a self-driving network requires heavily relying on ML models to make decisions and classifications that directly impact the network, one partic ular issue becomes prominent with this design: trust. Applying ML to solve networking management tasks, such as the ones described above, has been a popular trend among researchers recently. However, despite the topic receiving much attention, industry op erators have been reluctant to take advantage of such solutions, mainly because of the black-box nature of ML models which produce decisions without any explanation or rea son as to which those decisions were made. Given the high-stakes nature of production networks, it becomes impossible to trust a ML model that may take system-breaking ac tions automatically, and most important to the scope of this thesis, a prohibitive challenge that must be addressed if a self-driving network design is ever to be achieved. The present thesis aims to enable self-driving networks by tackling the problem of the inherent lack of trust in ML models that empower it. To that end, we assess and scruti nize the decision-making process of ML-based classifiers used to compose a self-driving network. First, we investigate and evaluate the accuracy and credibility of classifications made by ML models used to process high-level intents from the operator. For that eval- uation, we propose a novel conversational interface called LUMI that allows operators to use natural language to describe how the network should behave. Second, we analyze and assess the accuracy and credibility of ML models’ decisions to self-configure the net work according to monitored data. In that analysis, we uncover the need to reinvent how researchers apply AI/ML to networking problems, so we propose a new AI/ML pipeline that introduces steps to scrutinize ML models using techniques from the emerging field of eXplainable AI (XAI).Finally, we investigate if there is a viable method to improve the trust of operators in the decision made by ML models that enable self-driving networks.Our investigation led us to propose a new XAI method to extract explanations from any given black-box ML model in the form of decision trees while maintaining a manageable size, which we called TRUSTEE.application/pdfengAprendizado de máquinaSegurança cibernéticaGerenciamento de redes : ComputadoresSelf-driving networksMachine learningExplainabilityIntent-based networkingOperator feedbackNetwork securityEnabling self-driving networks with machine learningAprendizado de máquina para redes autodirigidas info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2022doutoradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001154439.pdf.txt001154439.pdf.txtExtracted Texttext/plain341889http://www.lume.ufrgs.br/bitstream/10183/252138/2/001154439.pdf.txtc572a7e1f3c13718f65cd5dd8ed32cd6MD52ORIGINAL001154439.pdfTexto completo (inglês)application/pdf4954161http://www.lume.ufrgs.br/bitstream/10183/252138/1/001154439.pdf973db23d034145cbdfef4ed2019728aaMD5110183/2521382022-12-07 05:54:04.300391oai:www.lume.ufrgs.br:10183/252138Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532022-12-07T07:54:04Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Enabling self-driving networks with machine learning
dc.title.alternative.pt.fl_str_mv Aprendizado de máquina para redes autodirigidas
title Enabling self-driving networks with machine learning
spellingShingle Enabling self-driving networks with machine learning
Jacobs, Arthur Selle
Aprendizado de máquina
Segurança cibernética
Gerenciamento de redes : Computadores
Self-driving networks
Machine learning
Explainability
Intent-based networking
Operator feedback
Network security
title_short Enabling self-driving networks with machine learning
title_full Enabling self-driving networks with machine learning
title_fullStr Enabling self-driving networks with machine learning
title_full_unstemmed Enabling self-driving networks with machine learning
title_sort Enabling self-driving networks with machine learning
author Jacobs, Arthur Selle
author_facet Jacobs, Arthur Selle
author_role author
dc.contributor.author.fl_str_mv Jacobs, Arthur Selle
dc.contributor.advisor1.fl_str_mv Granville, Lisandro Zambenedetti
dc.contributor.advisor-co1.fl_str_mv Ferreira, Ronaldo Alves
contributor_str_mv Granville, Lisandro Zambenedetti
Ferreira, Ronaldo Alves
dc.subject.por.fl_str_mv Aprendizado de máquina
Segurança cibernética
Gerenciamento de redes : Computadores
topic Aprendizado de máquina
Segurança cibernética
Gerenciamento de redes : Computadores
Self-driving networks
Machine learning
Explainability
Intent-based networking
Operator feedback
Network security
dc.subject.eng.fl_str_mv Self-driving networks
Machine learning
Explainability
Intent-based networking
Operator feedback
Network security
description Conforme as redes modernas crescem em tamanho e complexidade, elas também se tor nam cada vez mais sujeitas a erros humanos. Essa tendência tem levado a indústria e o meio acadêmico a tentar automatizar as tarefas de gestão e controle, visando reduzir a interação humana com a rede e os erros de origem humana. Idealmente, pesquisado res imaginam um projeto de rede que não seja apenas automático (i.e., , dependente de instruções humanas), mas autônomo (i.e., , capaz de tomar suas próprias decisões). A rede autônoma tem sido uma meta buscada há anos, com diversos conceitos, projetos e implementações, mas nunca foi totalmente realizada, principalmente devido às limi tações tecnológicas. Avanços recentes em Inteligência Artificial (IA) e Aprendizado de Máquina (Machine Learning — ML) introduziram ar fresco neste conceito, ressurgindo como o conceito renomeado de em redes autodirigidas, em vista de suas contrapartes de automóveis autodirigidos. Em termos gerais, uma rede autodirigida é uma rede autônoma capaz de agir de acordo com as intenções de alto nível de um operador e se adaptar au tomaticamente às mudanças no tráfego e no comportamento dos usuários. Para alcançar essa visão, uma rede precisaria cumprir quatro requisitos principais: (i) compreender as intenções de alto nível de um operador para ditar seu comportamento, (ii) monitorar-se com base nas intenções de entrada, (iii) prevêr e identificar padrões em dados monitorados e (iv) adaptar-se a novos comportamentos sem a intervenção de um operador.Como o cumprimento dos requisitos de uma rede autônoma exige uma grande depen dência de modelos de ML para tomar decisões e classificações que afetam diretamente a rede, um problema específico se torna proeminente com esse design: confiança. Aplicar ML para resolver tarefas de gerenciamento de rede, como as descritas acima, tem sido uma tendência popular entre os pesquisadores recentemente. No entanto, apesar do tó pico receber muita atenção, os operadores da indústria têm relutado em tirar proveito de tais soluções, principalmente por causa da natureza de caixa preta dos modelos de ML, que produzem decisões sem qualquer explicação ou razão para as quais essas decisões foram tomadas. Dada a natureza de alto risco das redes de produção, torna-se impossível confiar em um modelo de ML que pode tomar ações inadequadas automaticamente e, o mais importante para o escopo desta tese, um desafio proibitivo que deve ser abordado para que uma rede autodirigidas seja alcançada. A presente tese visa habilitar redes autônomas, abordando o problema da falta de confi ança inerente nos modelos de ML que a capacitam. Para tanto, avaliamos e escrutinamos o processo de tomada de decisão de classificadores baseados em ML usados para compor uma rede autônoma.Primeiro, investigamos e avaliamos a precisão e credibilidade das classificações feitas por modelos de ML usados para processar intenções de alto nível do operador.Para essa avaliação, propomos uma nova interface conversacional chamada LUMI que permite aos operadores usar linguagem natural para descrever como a rede deve se comportar. Segundo, analisamos e avaliamos a precisão e a credibilidade das decisões tomadas pelos modelos de ML usados para autoconfigurar a rede de acordo com os dados monitorados. Nessa análise, descobrimos a necessidade de reinventar como os pesquisa dores aplicam IA/ML a problemas de rede, então propomos um novo pipeline de IA/ML que apresenta etapas para examinar modelos de ML usando técnicas do campo emergente de IA eXplicável (IAX).
publishDate 2022
dc.date.accessioned.fl_str_mv 2022-12-01T04:53:27Z
dc.date.issued.fl_str_mv 2022
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/252138
dc.identifier.nrb.pt_BR.fl_str_mv 001154439
url http://hdl.handle.net/10183/252138
identifier_str_mv 001154439
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/252138/2/001154439.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/252138/1/001154439.pdf
bitstream.checksum.fl_str_mv c572a7e1f3c13718f65cd5dd8ed32cd6
973db23d034145cbdfef4ed2019728aa
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1810085603347267584