Monitoramento de ambientes computacionais distribuídos em tempo real

Detalhes bibliográficos
Autor(a) principal: Taveira, Luís Felipe Rabello
Data de Publicação: 2015
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Biblioteca Digital de Monografias da UnB
Texto Completo: http://bdm.unb.br/handle/10483/10154
Resumo: Monografia (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2015.
id UNB-2_1469e1ad8bee08ad1a4c59a55b814a8b
oai_identifier_str oai:bdm.unb.br:10483/10154
network_acronym_str UNB-2
network_name_str Biblioteca Digital de Monografias da UnB
repository_id_str 11571
spelling Taveira, Luís Felipe RabelloTeodoro, George Luiz MedeirosTAVEIRA, Luís Felipe Rabello. Monitoramento de ambientes computacionais distribuídos em tempo real. 2015. ix, 57 f., il. Monografia (Bacharelado em Ciência da Computação)—Universidade de Brasília, Brasília, 2015.http://bdm.unb.br/handle/10483/10154Monografia (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2015.Extrair informações de estado de um conjunto de máquinas e permitir que o responsável por elas atue em tempo real no sistema monitorado é algo extremamente relevante no cenário da computação atual. Além disso, monitorar o tráfego de uma rede e reconhecer padrões de ciberataques antes que informações críticas sejam acessadas por terceiros também é um grande desafio. Este trabalho apresenta o projeto de um sistema de processamento em tempo real extensível, capaz de extrair informações de estado dos recursos monitorados e processálos com baixa latência. O sistema de monitoramento foi projetado para rodar em um conjunto de máquinas distribuídas (cluster ) a fim de garantir escalabilidade. Além disso, a comunicação entre os ambientes computacionais monitorados e o sistema de processamento pode acontecer de maneira segura através da utilização de certificados digitais (SSL/TLS) para autenticar os recursos e cifrar os dados trafegados entres as máquinas. No projeto deste sistema foram utilizadas apenas ferramentas livres e consolidadas, como o Apache Storm, o Apache Kafka e o framework Netty. A solução proposta foi desenvolvida em duas arquiteturas. A primeira delas provê um canal de comunicação direto entre o recurso monitorado e o servidor de monitoramento. Esta solução foi projetada principalmente para monitorar ambientes computacionais que necessitam que as suas informações de estado sejam tratadas com baixa latência. A segunda arquitetura foi projetada para monitorar ativos que necessitam transmitir uma larga quantidade de dados por unidade de tempo para representar suas informações de estado, como por exemplo roteadores e switches. Dessa forma, escolheu-se colocar uma fila de mensagens intermediária entre o recurso monitorado e o servidor de monitoramento para permitir o tratamento assíncrono dessas informações. Apesar de apresentar uma latência maior, a segunda arquitetura permite que um número maior de máquinas seja monitorado simultaneamente em relação à primeira, devido à capacidade das filas de mensagens de lidarem com um grande número de transações concorrentes. Cada arquitetura proposta será defendida por meio da apresentação dos seus detalhes e de suas respectivas vantagens e desvantagens quando comparadas com as outras arquiteturas. Foram realizados testes comparativos de performance para sustentar as idéias discutidas neste texto. ____________________________________________________________________________ ABSTRACTExtracting status information from a set of computers and analyzing them in real-time is extremely relevant in the current computing scenario. Moreover, monitoring the traffic of a network and recognizing cyber attack patterns before critical information is leaked to third parties is also a great challenge. This paper presents the design of an extensible real-time processing system, able to extract status information of monitored resources and process them with low latency. The monitoring system is designed to run on a distributed network of computers (cluster) to ensure scalability. Furthermore, communication between the monitored computing environments and the central processing unit can take place in a secure manner using digital certificates (SSL / TLS) to authenticate and encrypt the data exchanged between the machines. Only open-source tools were used in this project, namely Apache Storm, Apache Kafka and the Netty API. The proposed solution was developed in two architectures. The first provides a direct communication channel between the monitored resource and the monitoring server. This solution was designed mainly to monitor computing environments that require their status information to be treated with low latency. The second architecture was designed to monitor assets that need to transmit a large amount of data per unit of time to represent its status information, such as routers and switches. Thus, it was decided to place an intermediate message queue between the monitored resource and the monitoring server to allow asynchronous processing of the information. Although it presents a larger latency, the second architecture allows a greater number of machines to be simultaneously monitored than the first, since message queues are capable of coping with a large number of concurrent transactions. Each proposed architecture will be defended by presenting its implementation and their respective advantages and disadvantages when compared to the other architecture. Comparative performance tests were conducted to support the ideas presented in this text. Creating a tool that can help these type of systems to be less human dependent, making their own decisions based on the data collected from themselves and warning the system administrators of any suspicious behavior, contribute to the Information Technology community by providing a reliable tool to systems administrators. This framework doesn’t deal with all the received data yet, but with further work, this software could be used to monitor and analyze all kinds of data received from remote machines and networks.Submitted by Cristiane Maria Mendes (mcristianem@gmail.com) on 2015-03-30T19:36:23Z No. of bitstreams: 1 2015_LuisFelipeRabelloTaveira.pdf: 3968946 bytes, checksum: ef9ed566aaf6ada7b4471837d50ce0c5 (MD5)Approved for entry into archive by Ruthlea Nascimento(ruthlea.nascimento@gmail.com) on 2015-04-01T20:09:05Z (GMT) No. of bitstreams: 1 2015_LuisFelipeRabelloTaveira.pdf: 3968946 bytes, checksum: ef9ed566aaf6ada7b4471837d50ce0c5 (MD5)Made available in DSpace on 2015-04-01T20:09:05Z (GMT). No. of bitstreams: 1 2015_LuisFelipeRabelloTaveira.pdf: 3968946 bytes, checksum: ef9ed566aaf6ada7b4471837d50ce0c5 (MD5)Processamento paralelo (Computadores)Monitoramento eletrônico de dados em tempo realMonitoramento de ambientes computacionais distribuídos em tempo realinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesis2015-04-01T20:09:05Z2015-04-01T20:09:05Z2015-04-01T20:09:05Z2015-02-06info:eu-repo/semantics/openAccessporreponame:Biblioteca Digital de Monografias da UnBinstname:Universidade de Brasília (UnB)instacron:UNBORIGINAL2015_LuisFelipeRabelloTaveira.pdf2015_LuisFelipeRabelloTaveira.pdfapplication/pdf3968946http://bdm.unb.br/xmlui/bitstream/10483/10154/1/2015_LuisFelipeRabelloTaveira.pdfef9ed566aaf6ada7b4471837d50ce0c5MD51CC-LICENSElicense_urllicense_urltext/plain49http://bdm.unb.br/xmlui/bitstream/10483/10154/2/license_url4afdbb8c545fd630ea7db775da747b2fMD52license_textlicense_textapplication/octet-stream0http://bdm.unb.br/xmlui/bitstream/10483/10154/3/license_textd41d8cd98f00b204e9800998ecf8427eMD53license_rdflicense_rdfapplication/octet-stream23148http://bdm.unb.br/xmlui/bitstream/10483/10154/4/license_rdf9da0b6dfac957114c6a7714714b86306MD54LICENSElicense.txtlicense.txttext/plain1857http://bdm.unb.br/xmlui/bitstream/10483/10154/5/license.txta25d3e9909548fc801f82ddb1e7ba253MD5510483/101542015-04-01 17:09:05.121oai:bdm.unb.br:10483/10154TGljZW5zZSBncmFudGVkIGJ5IENyaXN0aWFuZSAgTWFyaWEgTWVuZGVzIChtY3Jpc3RpYW5lbUBnbWFpbC5jb20pIG9uIDIwMTUtMDMtMzBUMTk6MzY6MjJaIChHTVQpOgoKw4kgbmVjZXNzw6FyaW8gY29uY29yZGFyIGNvbSBhIGxpY2Vuw6dhIGRlIGRpc3RyaWJ1acOnw6NvIG7Do28tZXhjbHVzaXZhLAphbnRlcyBxdWUgbyBkb2N1bWVudG8gcG9zc2EgYXBhcmVjZXIgbm8gUmVwb3NpdMOzcmlvLiBQb3IgZmF2b3IsIGxlaWEgYQpsaWNlbsOnYSBhdGVudGFtZW50ZS4gQ2FzbyBuZWNlc3NpdGUgZGUgYWxndW0gZXNjbGFyZWNpbWVudG8gZW50cmUgZW0KY29udGF0byBhdHJhdsOpcyBkZTogYmRtQGJjZS51bmIuYnIgb3UgMzEwNy0yNjg3LgoKTElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkFvIGFzc2luYXIgZSBlbnRyZWdhciBlc3RhIGxpY2Vuw6dhLCBvL2EgU3IuL1NyYS4gKGF1dG9yIG91IGRldGVudG9yIGRvcwpkaXJlaXRvcyBkZSBhdXRvcik6CgphKSBDb25jZWRlIMOgIFVuaXZlcnNpZGFkZSBkZSBCcmFzw61saWEgbyBkaXJlaXRvIG7Do28tZXhjbHVzaXZvIGRlCnJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhYmFpeG8pLCBjb211bmljYXIgZS9vdQpkaXN0cmlidWlyIG8gZG9jdW1lbnRvIGVudHJlZ3VlIChpbmNsdWluZG8gbyByZXN1bW8vYWJzdHJhY3QpIGVtCmZvcm1hdG8gZGlnaXRhbCBvdSBpbXByZXNzbyBlIGVtIHF1YWxxdWVyIG1laW8uCgpiKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqSBzZXUgdHJhYmFsaG8gb3JpZ2luYWwsIGUgcXVlCmRldMOpbSBvIGRpcmVpdG8gZGUgY29uY2VkZXIgb3MgZGlyZWl0b3MgY29udGlkb3MgbmVzdGEgbGljZW7Dp2EuIERlY2xhcmEKdGFtYsOpbSBxdWUgYSBlbnRyZWdhIGRvIGRvY3VtZW50byBuw6NvIGluZnJpbmdlLCB0YW50byBxdWFudG8gbGhlIMOpCnBvc3PDrXZlbCBzYWJlciwgb3MgZGlyZWl0b3MgZGUgcXVhbHF1ZXIgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlLgoKYykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgY29udMOpbSBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zCmRpcmVpdG9zIGRlIGF1dG9yLCBkZWNsYXJhIHF1ZSBvYnRldmUgYXV0b3JpemHDp8OjbyBkbyBkZXRlbnRvciBkb3MKZGlyZWl0b3MgZGUgYXV0b3IgcGFyYSBjb25jZWRlciDDoCBVbml2ZXJzaWRhZGUgZGUgQnJhc8OtbGlhIG9zIGRpcmVpdG9zCnJlcXVlcmlkb3MgcG9yIGVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgY3Vqb3MgZGlyZWl0b3Mgc8OjbyBkZQp0ZXJjZWlyb3MgZXN0w6EgY2xhcmFtZW50ZSBpZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdQpjb250ZcO6ZG8gZG8gZG9jdW1lbnRvIGVudHJlZ3VlLgoKU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8KcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVbml2ZXJzaWRhZGUgZGUgQnJhc8OtbGlhLCBkZWNsYXJhIHF1ZQpjdW1wcml1IHF1YWlzcXVlciBvYnJpZ2HDp8O1ZXMgZXhpZ2lkYXMgcGVsbyByZXNwZWN0aXZvIGNvbnRyYXRvIG91CmFjb3Jkby4KCkEgVW5pdmVyc2lkYWRlIGRlIEJyYXPDrWxpYSBpZGVudGlmaWNhcsOhIGNsYXJhbWVudGUgbyhzKSBzZXUgKHMpIG5vbWUgKHMpCmNvbW8gbyAocykgYXV0b3IgKGVzKSBvdSBkZXRlbnRvciAoZXMpIGRvcyBkaXJlaXRvcyBkbyBkb2N1bWVudG8KZW50cmVndWUsIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgcGFyYSBhbMOpbSBkYXMgcGVybWl0aWRhcyBwb3IKZXN0YSBsaWNlbsOnYS4KBiblioteca Digital de Monografiahttps://bdm.unb.br/PUBhttp://bdm.unb.br/oai/requestbdm@bce.unb.br||patricia@bce.unb.bropendoar:115712015-04-01T20:09:05Biblioteca Digital de Monografias da UnB - Universidade de Brasília (UnB)false
dc.title.en.fl_str_mv Monitoramento de ambientes computacionais distribuídos em tempo real
title Monitoramento de ambientes computacionais distribuídos em tempo real
spellingShingle Monitoramento de ambientes computacionais distribuídos em tempo real
Taveira, Luís Felipe Rabello
Processamento paralelo (Computadores)
Monitoramento eletrônico de dados em tempo real
title_short Monitoramento de ambientes computacionais distribuídos em tempo real
title_full Monitoramento de ambientes computacionais distribuídos em tempo real
title_fullStr Monitoramento de ambientes computacionais distribuídos em tempo real
title_full_unstemmed Monitoramento de ambientes computacionais distribuídos em tempo real
title_sort Monitoramento de ambientes computacionais distribuídos em tempo real
author Taveira, Luís Felipe Rabello
author_facet Taveira, Luís Felipe Rabello
author_role author
dc.contributor.author.fl_str_mv Taveira, Luís Felipe Rabello
dc.contributor.advisor1.fl_str_mv Teodoro, George Luiz Medeiros
contributor_str_mv Teodoro, George Luiz Medeiros
dc.subject.keyword.en.fl_str_mv Processamento paralelo (Computadores)
Monitoramento eletrônico de dados em tempo real
topic Processamento paralelo (Computadores)
Monitoramento eletrônico de dados em tempo real
description Monografia (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2015.
publishDate 2015
dc.date.submitted.none.fl_str_mv 2015-02-06
dc.date.accessioned.fl_str_mv 2015-04-01T20:09:05Z
dc.date.available.fl_str_mv 2015-04-01T20:09:05Z
dc.date.issued.fl_str_mv 2015-04-01T20:09:05Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv TAVEIRA, Luís Felipe Rabello. Monitoramento de ambientes computacionais distribuídos em tempo real. 2015. ix, 57 f., il. Monografia (Bacharelado em Ciência da Computação)—Universidade de Brasília, Brasília, 2015.
dc.identifier.uri.fl_str_mv http://bdm.unb.br/handle/10483/10154
identifier_str_mv TAVEIRA, Luís Felipe Rabello. Monitoramento de ambientes computacionais distribuídos em tempo real. 2015. ix, 57 f., il. Monografia (Bacharelado em Ciência da Computação)—Universidade de Brasília, Brasília, 2015.
url http://bdm.unb.br/handle/10483/10154
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Monografias da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Biblioteca Digital de Monografias da UnB
collection Biblioteca Digital de Monografias da UnB
bitstream.url.fl_str_mv http://bdm.unb.br/xmlui/bitstream/10483/10154/1/2015_LuisFelipeRabelloTaveira.pdf
http://bdm.unb.br/xmlui/bitstream/10483/10154/2/license_url
http://bdm.unb.br/xmlui/bitstream/10483/10154/3/license_text
http://bdm.unb.br/xmlui/bitstream/10483/10154/4/license_rdf
http://bdm.unb.br/xmlui/bitstream/10483/10154/5/license.txt
bitstream.checksum.fl_str_mv ef9ed566aaf6ada7b4471837d50ce0c5
4afdbb8c545fd630ea7db775da747b2f
d41d8cd98f00b204e9800998ecf8427e
9da0b6dfac957114c6a7714714b86306
a25d3e9909548fc801f82ddb1e7ba253
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Monografias da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv bdm@bce.unb.br||patricia@bce.unb.br
_version_ 1801492960390414336

Registros relacionados