Um método para acelerar a detecção de comunidades em redes complexas esparsas

Detalhes bibliográficos
Autor(a) principal: Carnivali, Gustavo Simões
Data de Publicação: 2019
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações do LNCC
Texto Completo: https://tede.lncc.br/handle/tede/282
Resumo: A graph is a structure composed of a set of objects (vertices) that may be connected by edges, which establish a relationship between a pair of vertices. A common problem that finds great applicability in several areas is the attempt to find communities in this structure. The community detection problem in graphs aims at finding sets of vertices that have some common relationship. In the literature dedicated to this subject, an optimization algorithm, called Louvain Method (ML), stands out as an effective and fast option for community detection in large scale complex networks. This work proposes an analysis about the graph structure targeting the community detection problem and, as a main result, an effective method for decreasing the processing time experienced by ML. In this context, the Fast Method of Grouping Vertices (MRAV in Portuguese) is proposed to quickly generate an initial solution (i.e., a first community set) that will be used by the ML. MRAV only replaces the first application of the constructive ML algorithm. With this modification, the processing time of ML can be reduced, at the cost of a slight reduction in the quality of the detected communities. The method was experimentally validated using real and artificial networks and it was observed that the proposal is more indicated for networks of low average degree, i.e., sparse networks. For these networks of low average degree, the proposal obtained a reduction in the process time of the ML of 47% with negligible reductions on the quality of the detected community structure.
id LNCC_a23dce10dfb0e0dfedc1d176c11aa657
oai_identifier_str oai:tede-server.lncc.br:tede/282
network_acronym_str LNCC
network_name_str Biblioteca Digital de Teses e Dissertações do LNCC
repository_id_str
spelling Ziviani, ArturEsquef, Paulo Antonio AndradeVieira, Alex BorgesZiviani, ArturGadelha Júnior, Luiz Manoel RochaRocha, Antonio Augusto de AragãoSilva, Ana Paula Couto dahttp://lattes.cnpq.br/6514216871020126Carnivali, Gustavo Simões2023-02-16T18:07:16Z2019-03-13Carnivali, G. S. Um método para acelerar a detecção de comunidades em redes complexas esparsas. 2019. 78 f. Dissertação (Programa de Pós-Graduação em Modelagem Computacional) - Laboratório Nacional de Computação Científica, Petrópolis, 2019.https://tede.lncc.br/handle/tede/282A graph is a structure composed of a set of objects (vertices) that may be connected by edges, which establish a relationship between a pair of vertices. A common problem that finds great applicability in several areas is the attempt to find communities in this structure. The community detection problem in graphs aims at finding sets of vertices that have some common relationship. In the literature dedicated to this subject, an optimization algorithm, called Louvain Method (ML), stands out as an effective and fast option for community detection in large scale complex networks. This work proposes an analysis about the graph structure targeting the community detection problem and, as a main result, an effective method for decreasing the processing time experienced by ML. In this context, the Fast Method of Grouping Vertices (MRAV in Portuguese) is proposed to quickly generate an initial solution (i.e., a first community set) that will be used by the ML. MRAV only replaces the first application of the constructive ML algorithm. With this modification, the processing time of ML can be reduced, at the cost of a slight reduction in the quality of the detected communities. The method was experimentally validated using real and artificial networks and it was observed that the proposal is more indicated for networks of low average degree, i.e., sparse networks. For these networks of low average degree, the proposal obtained a reduction in the process time of the ML of 47% with negligible reductions on the quality of the detected community structure.Um grafo é uma estrutura composta por um conjunto de objetos (vértices) que podem estar conectados por arestas indicando a existência de uma relação entre um par de vértices. Um problema comum e de grande aplicabilidade em diversas áreas é a tentativa de encontrar comunidades nessa estrutura. O problema de detecção de comunidades em grafos consiste em encontrar conjuntos de vértices que possuem alguma relação em comum. Na literatura dedicada a esse assunto, um algoritmo de otimização denominado Método de Louvain (ML) se destaca como opção eficaz e rápida para a detecção de comunidades em redes complexas de larga-escala. Este trabalho propõe uma análise sobre a estrutura de grafos visando o problema de detecção de comunidades e, como resultado principal, um método eficaz para diminuir o tempo de processamento alcançado pelo ML. Nesse contexto, é proposto o Método Rápido de Agrupamento de Vértices (MRAV) que de forma rápida gera uma solução inicial (i.e., um primeiro conjunto de comunidades) que será utilizado pelo ML. A proposta substitui apenas a primeira aplicação do algoritmo construtivo do ML pelo MRAV. Com essa modificação, o tempo de processamento do ML é reduzido, porém sem alterar de forma significativa a qualidade das comunidades encontradas. O método foi validado experimentalmente utilizando redes reais e artificias, sendo observado que a proposta é mais indicada para redes de baixo grau médio, ou seja, esparsas. Para as redes complexas de baixo grau médio utilizadas, a proposta obteve uma redução no tempo de processamento do ML de 47% com inexpressíveis reduções de qualidade das comunidades encontradas.Submitted by Parícia Vieira Silva (library@lncc.br) on 2023-02-16T18:03:28Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Gustavo Carnivali_Dissertacao2019.pdf: 2183317 bytes, checksum: acbc964e25cb4ab725417f2a5608bad5 (MD5)Approved for entry into archive by Parícia Vieira Silva (library@lncc.br) on 2023-02-16T18:05:57Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Gustavo Carnivali_Dissertacao2019.pdf: 2183317 bytes, checksum: acbc964e25cb4ab725417f2a5608bad5 (MD5)Made available in DSpace on 2023-02-16T18:07:16Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Gustavo Carnivali_Dissertacao2019.pdf: 2183317 bytes, checksum: acbc964e25cb4ab725417f2a5608bad5 (MD5) Previous issue date: 2019-03-13Coordenação de Aperfeiçoamento de Pessoal de Nível Superiorapplication/pdfhttp://tede-server.lncc.br:8080/retrieve/947/Gustavo%20Carnivali_Dissertacao2019.pdf.jpgporLaboratório Nacional de Computação CientíficaPrograma de Pós-Graduação em Modelagem ComputacionalLNCCBrasilCoordenação de Pós-Graduação e Aperfeiçoamento (COPGA)http://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessCiência de redesTeoria dos grafosMétodo de LouvainClusteringCNPQ::CIENCIAS EXATAS E DA TERRA::MATEMATICA::ALGEBRA::LOGICA MATEMATICAUm método para acelerar a detecção de comunidades em redes complexas esparsasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Biblioteca Digital de Teses e Dissertações do LNCCinstname:Laboratório Nacional de Computação Científica (LNCC)instacron:LNCCLICENSElicense.txtlicense.txttext/plain; charset=utf-82165http://tede-server.lncc.br:8080/tede/bitstream/tede/282/1/license.txtbd3efa91386c1718a7f26a329fdcb468MD51CC-LICENSElicense_urllicense_urltext/plain; charset=utf-849http://tede-server.lncc.br:8080/tede/bitstream/tede/282/2/license_url4afdbb8c545fd630ea7db775da747b2fMD52license_textlicense_texttext/html; charset=utf-80http://tede-server.lncc.br:8080/tede/bitstream/tede/282/3/license_textd41d8cd98f00b204e9800998ecf8427eMD53license_rdflicense_rdfapplication/rdf+xml; charset=utf-80http://tede-server.lncc.br:8080/tede/bitstream/tede/282/4/license_rdfd41d8cd98f00b204e9800998ecf8427eMD54ORIGINALGustavo Carnivali_Dissertacao2019.pdfGustavo Carnivali_Dissertacao2019.pdfapplication/pdf2183317http://tede-server.lncc.br:8080/tede/bitstream/tede/282/5/Gustavo+Carnivali_Dissertacao2019.pdfacbc964e25cb4ab725417f2a5608bad5MD55TEXTGustavo Carnivali_Dissertacao2019.pdf.txtGustavo Carnivali_Dissertacao2019.pdf.txttext/plain159300http://tede-server.lncc.br:8080/tede/bitstream/tede/282/6/Gustavo+Carnivali_Dissertacao2019.pdf.txt46088f303e6dfaa874ddd623c7d39499MD56THUMBNAILGustavo Carnivali_Dissertacao2019.pdf.jpgGustavo Carnivali_Dissertacao2019.pdf.jpgimage/jpeg3412http://tede-server.lncc.br:8080/tede/bitstream/tede/282/7/Gustavo+Carnivali_Dissertacao2019.pdf.jpgf3996f6acc1564f269c2d2771f0e9c0eMD57tede/2822023-02-17 02:02:14.793oai:tede-server.lncc.br:tede/282Tk9UQTogQ09MT1FVRSBBUVVJIEEgU1VBIFBSw5NQUklBIExJQ0VOw4dBCkVzdGEgbGljZW7Dp2EgZGUgZXhlbXBsbyDDqSBmb3JuZWNpZGEgYXBlbmFzIHBhcmEgZmlucyBpbmZvcm1hdGl2b3MuCgpMSUNFTsOHQSBERSBESVNUUklCVUnDh8ODTyBOw4NPLUVYQ0xVU0lWQQoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgClhYWCAoU2lnbGEgZGEgVW5pdmVyc2lkYWRlKSBvIGRpcmVpdG8gbsOjby1leGNsdXNpdm8gZGUgcmVwcm9kdXppciwgIHRyYWR1emlyIChjb25mb3JtZSBkZWZpbmlkbyBhYmFpeG8pLCBlL291IApkaXN0cmlidWlyIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlIAplbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIApwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgU2lnbGEgZGUgVW5pdmVyc2lkYWRlIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBhIHN1YSB0ZXNlIG91IApkaXNzZXJ0YcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyAKbmVzdGEgbGljZW7Dp2EuIFZvY8OqIHRhbWLDqW0gZGVjbGFyYSBxdWUgbyBkZXDDs3NpdG8gZGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBuw6NvLCBxdWUgc2VqYSBkZSBzZXUgCmNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiAKZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSAKb3MgZGlyZWl0b3MgYXByZXNlbnRhZG9zIG5lc3RhIGxpY2Vuw6dhLCBlIHF1ZSBlc3NlIG1hdGVyaWFsIGRlIHByb3ByaWVkYWRlIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIAppZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdSBubyBjb250ZcO6ZG8gZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG9yYSBkZXBvc2l0YWRhLgoKQ0FTTyBBIFRFU0UgT1UgRElTU0VSVEHDh8ODTyBPUkEgREVQT1NJVEFEQSBURU5IQSBTSURPIFJFU1VMVEFETyBERSBVTSBQQVRST0PDjU5JTyBPVSAKQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PIFFVRSBOw4NPIFNFSkEgQSBTSUdMQSBERSAKVU5JVkVSU0lEQURFLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyAKVEFNQsOJTSBBUyBERU1BSVMgT0JSSUdBw4fDlUVTIEVYSUdJREFTIFBPUiBDT05UUkFUTyBPVSBBQ09SRE8uCgpBIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lIChzKSBvdSBvKHMpIG5vbWUocykgZG8ocykgCmRldGVudG9yKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIApjb25jZWRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo=Biblioteca Digital de Teses e Dissertaçõeshttps://tede.lncc.br/PUBhttps://tede.lncc.br/oai/requestlibrary@lncc.br||library@lncc.bropendoar:2023-02-17T04:02:14Biblioteca Digital de Teses e Dissertações do LNCC - Laboratório Nacional de Computação Científica (LNCC)false
dc.title.por.fl_str_mv Um método para acelerar a detecção de comunidades em redes complexas esparsas
title Um método para acelerar a detecção de comunidades em redes complexas esparsas
spellingShingle Um método para acelerar a detecção de comunidades em redes complexas esparsas
Carnivali, Gustavo Simões
Ciência de redes
Teoria dos grafos
Método de Louvain
Clustering
CNPQ::CIENCIAS EXATAS E DA TERRA::MATEMATICA::ALGEBRA::LOGICA MATEMATICA
title_short Um método para acelerar a detecção de comunidades em redes complexas esparsas
title_full Um método para acelerar a detecção de comunidades em redes complexas esparsas
title_fullStr Um método para acelerar a detecção de comunidades em redes complexas esparsas
title_full_unstemmed Um método para acelerar a detecção de comunidades em redes complexas esparsas
title_sort Um método para acelerar a detecção de comunidades em redes complexas esparsas
author Carnivali, Gustavo Simões
author_facet Carnivali, Gustavo Simões
author_role author
dc.contributor.advisor1.fl_str_mv Ziviani, Artur
dc.contributor.advisor2.fl_str_mv Esquef, Paulo Antonio Andrade
dc.contributor.advisor-co1.fl_str_mv Vieira, Alex Borges
dc.contributor.referee1.fl_str_mv Ziviani, Artur
dc.contributor.referee2.fl_str_mv Gadelha Júnior, Luiz Manoel Rocha
dc.contributor.referee3.fl_str_mv Rocha, Antonio Augusto de Aragão
dc.contributor.referee4.fl_str_mv Silva, Ana Paula Couto da
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/6514216871020126
dc.contributor.author.fl_str_mv Carnivali, Gustavo Simões
contributor_str_mv Ziviani, Artur
Esquef, Paulo Antonio Andrade
Vieira, Alex Borges
Ziviani, Artur
Gadelha Júnior, Luiz Manoel Rocha
Rocha, Antonio Augusto de Aragão
Silva, Ana Paula Couto da
dc.subject.por.fl_str_mv Ciência de redes
Teoria dos grafos
Método de Louvain
Clustering
topic Ciência de redes
Teoria dos grafos
Método de Louvain
Clustering
CNPQ::CIENCIAS EXATAS E DA TERRA::MATEMATICA::ALGEBRA::LOGICA MATEMATICA
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::MATEMATICA::ALGEBRA::LOGICA MATEMATICA
description A graph is a structure composed of a set of objects (vertices) that may be connected by edges, which establish a relationship between a pair of vertices. A common problem that finds great applicability in several areas is the attempt to find communities in this structure. The community detection problem in graphs aims at finding sets of vertices that have some common relationship. In the literature dedicated to this subject, an optimization algorithm, called Louvain Method (ML), stands out as an effective and fast option for community detection in large scale complex networks. This work proposes an analysis about the graph structure targeting the community detection problem and, as a main result, an effective method for decreasing the processing time experienced by ML. In this context, the Fast Method of Grouping Vertices (MRAV in Portuguese) is proposed to quickly generate an initial solution (i.e., a first community set) that will be used by the ML. MRAV only replaces the first application of the constructive ML algorithm. With this modification, the processing time of ML can be reduced, at the cost of a slight reduction in the quality of the detected communities. The method was experimentally validated using real and artificial networks and it was observed that the proposal is more indicated for networks of low average degree, i.e., sparse networks. For these networks of low average degree, the proposal obtained a reduction in the process time of the ML of 47% with negligible reductions on the quality of the detected community structure.
publishDate 2019
dc.date.issued.fl_str_mv 2019-03-13
dc.date.accessioned.fl_str_mv 2023-02-16T18:07:16Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv Carnivali, G. S. Um método para acelerar a detecção de comunidades em redes complexas esparsas. 2019. 78 f. Dissertação (Programa de Pós-Graduação em Modelagem Computacional) - Laboratório Nacional de Computação Científica, Petrópolis, 2019.
dc.identifier.uri.fl_str_mv https://tede.lncc.br/handle/tede/282
identifier_str_mv Carnivali, G. S. Um método para acelerar a detecção de comunidades em redes complexas esparsas. 2019. 78 f. Dissertação (Programa de Pós-Graduação em Modelagem Computacional) - Laboratório Nacional de Computação Científica, Petrópolis, 2019.
url https://tede.lncc.br/handle/tede/282
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Laboratório Nacional de Computação Científica
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Modelagem Computacional
dc.publisher.initials.fl_str_mv LNCC
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Coordenação de Pós-Graduação e Aperfeiçoamento (COPGA)
publisher.none.fl_str_mv Laboratório Nacional de Computação Científica
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações do LNCC
instname:Laboratório Nacional de Computação Científica (LNCC)
instacron:LNCC
instname_str Laboratório Nacional de Computação Científica (LNCC)
instacron_str LNCC
institution LNCC
reponame_str Biblioteca Digital de Teses e Dissertações do LNCC
collection Biblioteca Digital de Teses e Dissertações do LNCC
bitstream.url.fl_str_mv http://tede-server.lncc.br:8080/tede/bitstream/tede/282/1/license.txt
http://tede-server.lncc.br:8080/tede/bitstream/tede/282/2/license_url
http://tede-server.lncc.br:8080/tede/bitstream/tede/282/3/license_text
http://tede-server.lncc.br:8080/tede/bitstream/tede/282/4/license_rdf
http://tede-server.lncc.br:8080/tede/bitstream/tede/282/5/Gustavo+Carnivali_Dissertacao2019.pdf
http://tede-server.lncc.br:8080/tede/bitstream/tede/282/6/Gustavo+Carnivali_Dissertacao2019.pdf.txt
http://tede-server.lncc.br:8080/tede/bitstream/tede/282/7/Gustavo+Carnivali_Dissertacao2019.pdf.jpg
bitstream.checksum.fl_str_mv bd3efa91386c1718a7f26a329fdcb468
4afdbb8c545fd630ea7db775da747b2f
d41d8cd98f00b204e9800998ecf8427e
d41d8cd98f00b204e9800998ecf8427e
acbc964e25cb4ab725417f2a5608bad5
46088f303e6dfaa874ddd623c7d39499
f3996f6acc1564f269c2d2771f0e9c0e
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações do LNCC - Laboratório Nacional de Computação Científica (LNCC)
repository.mail.fl_str_mv library@lncc.br||library@lncc.br
_version_ 1797683219127074816