Per-instance algorithm configuration: from meta-learning to multi-objective decomposition

Detalhes bibliográficos
Autor(a) principal: Pavelski, Lucas Marcondes
Data de Publicação: 2021
Tipo de documento: Tese
Idioma: eng
Título da fonte: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
Texto Completo: http://repositorio.utfpr.edu.br/jspui/handle/1/27906
Resumo: A busca pelo melhor algoritmo e sua configuração é uma tarefa difícil na maioria dos cenários de otimização, especialmente em problemas NP-difíceis, uma vez que existem diferentes metaheurísticas propostas, e testar muitos parâmetros demanda um alto custo computacional. Além disso, o entendimento de tais parâmetros e sua relação com as instâncias do problema é de suma importância para a área de configuração de algoritmos. A literatura sobre Configuração Automática de Algoritmos (AAC do inglês Automatic Algorithm Configuration) propõe várias estratégias para encontrar a melhor configuração, embora o foco geralmente seja menos na explicabilidade e mais no desempenho dessas diferentes configurações. Com base em experiências anteriores obtidas a partir de dados, a área de Configuração Automática Baseada em Instância (PIAC, do inglês Per Instance Algorithm Configuration) foca no mapeamento construído para recomendar as melhores configurações. Este trabalho tem como objetivo propor e analisar duas abordagens PIAC. A primeira, chamada de MetaL PIAC, é uma extensão do problema de seleção de algoritmo e usa meta-aprendizado para recomendar meta-heurísticas e seus parâmetros de configuração. A segunda abordagem, chamada de MOAAC/D, é baseada em uma nova formulação multiobjetivo do problema AAC, que decompõe o espaço do problema e usa uma plataforma baseada em decomposição para fornecer configurações generalistas e especialistas ao mesmo tempo. Para cada objetivo, existe um conjunto de problemas relacionados a ele, e um algoritmo multiobjetivo baseado em decomposição é proposto para encontrar configurações com bons balanceamentos. Como estudo de caso principal, o trabalho considera problemas Flowshop. Experimentos extensivos realizados em mais de 6000 instâncias, consideram o MetaL PIAC para ajustar os parâmetros de diferentes meta-heurísticas, e o MOAAC/D para ajustar configurações da busca local iterativa e busca gulosa iterativa. Os resultados mostram que ambas as estratégias superam a solução generalista fornecida pelo irace – uma das abordagens de AAC mais conhecidas na área – com uma ligeira vantagem do MOAAC/D sobre o MetaL PIAC.
id UTFPR-12_b7607d97742cf6a9187994e195f6b3a1
oai_identifier_str oai:repositorio.utfpr.edu.br:1/27906
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling 2022-04-08T13:52:33Z2022-04-08T13:52:33Z2021-12-13PAVELSKI, Lucas Marcondes. Per-instance algorithm configuration: from meta-learning to multi-objective decomposition. 2021. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2021.http://repositorio.utfpr.edu.br/jspui/handle/1/27906A busca pelo melhor algoritmo e sua configuração é uma tarefa difícil na maioria dos cenários de otimização, especialmente em problemas NP-difíceis, uma vez que existem diferentes metaheurísticas propostas, e testar muitos parâmetros demanda um alto custo computacional. Além disso, o entendimento de tais parâmetros e sua relação com as instâncias do problema é de suma importância para a área de configuração de algoritmos. A literatura sobre Configuração Automática de Algoritmos (AAC do inglês Automatic Algorithm Configuration) propõe várias estratégias para encontrar a melhor configuração, embora o foco geralmente seja menos na explicabilidade e mais no desempenho dessas diferentes configurações. Com base em experiências anteriores obtidas a partir de dados, a área de Configuração Automática Baseada em Instância (PIAC, do inglês Per Instance Algorithm Configuration) foca no mapeamento construído para recomendar as melhores configurações. Este trabalho tem como objetivo propor e analisar duas abordagens PIAC. A primeira, chamada de MetaL PIAC, é uma extensão do problema de seleção de algoritmo e usa meta-aprendizado para recomendar meta-heurísticas e seus parâmetros de configuração. A segunda abordagem, chamada de MOAAC/D, é baseada em uma nova formulação multiobjetivo do problema AAC, que decompõe o espaço do problema e usa uma plataforma baseada em decomposição para fornecer configurações generalistas e especialistas ao mesmo tempo. Para cada objetivo, existe um conjunto de problemas relacionados a ele, e um algoritmo multiobjetivo baseado em decomposição é proposto para encontrar configurações com bons balanceamentos. Como estudo de caso principal, o trabalho considera problemas Flowshop. Experimentos extensivos realizados em mais de 6000 instâncias, consideram o MetaL PIAC para ajustar os parâmetros de diferentes meta-heurísticas, e o MOAAC/D para ajustar configurações da busca local iterativa e busca gulosa iterativa. Os resultados mostram que ambas as estratégias superam a solução generalista fornecida pelo irace – uma das abordagens de AAC mais conhecidas na área – com uma ligeira vantagem do MOAAC/D sobre o MetaL PIAC.The search for the best algorithm and its configuration is a difficult task on most optimization scenarios, especially on NP-hard problems, since different proposed metaheuristics exist, and testing many parameters demands high computational costs. Moreover, the understanding of such parameters and their relation to problem instances is of great importance in the field of algorithm configuration. The literature on Automatic Algorithm Configuration (AAC) proposes several strategies to find out the best configuration, although the focus is usually less on explainability and more on the performance of the different configurations. Based on past experience obtained from data, Per-Instance Algorithm Configuration (PIAC) focuses on the mapping built to recommend the best configurations. This work aims at proposing and analyzing two PIAC approaches. The first, namely MetaL PIAC, is an extension of the algorithm selection problem and uses meta-learning to recommend metaheuristics and their configuration parameters. The other, namely MOAAC/D is based on a brand new multi-objective formulation of the AAC problem, that decomposes the problem space and uses a decomposition-based framework to provide generalist and specialist configurations at the same time. For each objective, there is a set of problems related to it, and a decomposition based multi-objective algorithm is proposed to find good trade-off configurations. As the main study case, the work addresses flowshop problems. Extensive experiments performed on more than 6000 instances, consider MetaL PIAC to tune the parameters of different metaheuristics, and MOAAC/D to tune iterated local search and iterated greedy configurations. The results show that both strategies outperform the generalist solution provided by irace – one of the best well-known AAC – with a slight advantage of MOAAC/D over MetaL PIAC.engUniversidade Tecnológica Federal do ParanáCuritibaPrograma de Pós-Graduação em Engenharia Elétrica e Informática IndustrialUTFPRBrasilhttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOEngenharia ElétricaAlgoritmosOtimização matemáticaHeurísticaAprendizado de máquinasAlgorítmos genéticosOtimização combinatóriaAlgorithmsMathematical optimizationHeuristicMachine learningGenetic algorithmsCombinatorial optimizationPer-instance algorithm configuration: from meta-learning to multi-objective decompositionConfiguração de algoritmos baseada em instância: do meta-aprendizado à decomposição multiobjetivoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisCuritibaDelgado, Myriam Regattieri de Biase da Silvahttps://orcid.org/0000-0002-2791-174Xhttp://lattes.cnpq.br/4166922845507601Kessaci, Marie EleonorePozo, Aurora Trinidad Ramirezhttps://orcid.org/ 0000-0001-5808-3919http://lattes.cnpq.br/2815946827655352Almeida, Carolina Paula dehttps://orcid.org/0000-0003-4939-6432http://lattes.cnpq.br/8586489892942437Dhaenens, Clarisse.Delgado, Myriam Regattieri de Biase da Silvahttps://orcid.org/0000-0002-2791-174Xhttp://lattes.cnpq.br/4166922845507601Luders, Ricardohttps://orcid.org/ 0000-0001-6483-4694http://lattes.cnpq.br/5158617067991861https://orcid.org/0000-0002-5622-392Xhttp://lattes.cnpq.br/9287626771427206Pavelski, Lucas Marcondesreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPRCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8908http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/27906/2/license_rdf0175ea4a2d4caec4bbcc37e300941108MD52ORIGINALperinstancealgorithmconfiguration.pdfapplication/pdf3058815http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/27906/1/perinstancealgorithmconfiguration.pdfe03fba173e148d3e7143a25d1d544e5aMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81290http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/27906/3/license.txtb9d82215ab23456fa2d8b49c5df1b95bMD53TEXTperinstancealgorithmconfiguration.pdf.txtperinstancealgorithmconfiguration.pdf.txtExtracted texttext/plain269123http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/27906/4/perinstancealgorithmconfiguration.pdf.txt27f1e633534506ebd2804bf62d0eb3f5MD54THUMBNAILperinstancealgorithmconfiguration.pdf.jpgperinstancealgorithmconfiguration.pdf.jpgGenerated Thumbnailimage/jpeg1213http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/27906/5/perinstancealgorithmconfiguration.pdf.jpg341ec054cfc07a867d2e4c05b63e0d26MD551/279062022-04-09 03:07:34.315oai:repositorio.utfpr.edu.br:1/27906TmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGRlIGF1dG9yIGRhIHB1YmxpY2HDp8OjbywgYXV0b3Jpem8gYSBVVEZQUiBhIHZlaWN1bGFyLCAKYXRyYXbDqXMgZG8gUG9ydGFsIGRlIEluZm9ybWHDp8OjbyBlbSBBY2Vzc28gQWJlcnRvIChQSUFBKSBlIGRvcyBDYXTDoWxvZ29zIGRhcyBCaWJsaW90ZWNhcyAKZGVzdGEgSW5zdGl0dWnDp8Ojbywgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBkZSBhY29yZG8gY29tIGEgTGVpIG5vIDkuNjEwLzk4LCAKbyB0ZXh0byBkZXN0YSBvYnJhLCBvYnNlcnZhbmRvIGFzIGNvbmRpw6fDtWVzIGRlIGRpc3BvbmliaWxpemHDp8OjbyByZWdpc3RyYWRhcyBubyBpdGVtIDQgZG8gCuKAnFRlcm1vIGRlIEF1dG9yaXphw6fDo28gcGFyYSBQdWJsaWNhw6fDo28gZGUgVHJhYmFsaG9zIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28gZGUgR3JhZHVhw6fDo28gZSAKRXNwZWNpYWxpemHDp8OjbywgRGlzc2VydGHDp8O1ZXMgZSBUZXNlcyBubyBQb3J0YWwgZGUgSW5mb3JtYcOnw6NvIGUgbm9zIENhdMOhbG9nb3MgRWxldHLDtG5pY29zIGRvIApTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIGRhIFVURlBS4oCdLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkLCB2aXNhbmRvIGEgCmRpdnVsZ2HDp8OjbyBkYSBwcm9kdcOnw6NvIGNpZW50w61maWNhIGJyYXNpbGVpcmEuCgogIEFzIHZpYXMgb3JpZ2luYWlzIGUgYXNzaW5hZGFzIHBlbG8ocykgYXV0b3IoZXMpIGRvIOKAnFRlcm1vIGRlIEF1dG9yaXphw6fDo28gcGFyYSBQdWJsaWNhw6fDo28gZGUgClRyYWJhbGhvcyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvIGRlIEdyYWR1YcOnw6NvIGUgRXNwZWNpYWxpemHDp8OjbywgRGlzc2VydGHDp8O1ZXMgZSBUZXNlcyBubyBQb3J0YWwgCmRlIEluZm9ybWHDp8OjbyBlIG5vcyBDYXTDoWxvZ29zIEVsZXRyw7RuaWNvcyBkbyBTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIGRhIFVURlBS4oCdIGUgZGEg4oCcRGVjbGFyYcOnw6NvIApkZSBBdXRvcmlh4oCdIGVuY29udHJhbS1zZSBhcnF1aXZhZGFzIG5hIEJpYmxpb3RlY2EgZG8gQ8OibXB1cyBubyBxdWFsIG8gdHJhYmFsaG8gZm9pIGRlZmVuZGlkby4gCk5vIGNhc28gZGUgcHVibGljYcOnw7VlcyBkZSBhdXRvcmlhIGNvbGV0aXZhIGUgbXVsdGljw6JtcHVzLCBvcyBkb2N1bWVudG9zIGZpY2Fyw6NvIHNvYiBndWFyZGEgZGEgCkJpYmxpb3RlY2EgY29tIGEgcXVhbCBvIOKAnHByaW1laXJvIGF1dG9y4oCdIHBvc3N1YSB2w61uY3Vsby4KRepositório de PublicaçõesPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestopendoar:2022-04-09T06:07:34Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.pt_BR.fl_str_mv Per-instance algorithm configuration: from meta-learning to multi-objective decomposition
dc.title.alternative.pt_BR.fl_str_mv Configuração de algoritmos baseada em instância: do meta-aprendizado à decomposição multiobjetivo
title Per-instance algorithm configuration: from meta-learning to multi-objective decomposition
spellingShingle Per-instance algorithm configuration: from meta-learning to multi-objective decomposition
Pavelski, Lucas Marcondes
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Algoritmos
Otimização matemática
Heurística
Aprendizado de máquinas
Algorítmos genéticos
Otimização combinatória
Algorithms
Mathematical optimization
Heuristic
Machine learning
Genetic algorithms
Combinatorial optimization
Engenharia Elétrica
title_short Per-instance algorithm configuration: from meta-learning to multi-objective decomposition
title_full Per-instance algorithm configuration: from meta-learning to multi-objective decomposition
title_fullStr Per-instance algorithm configuration: from meta-learning to multi-objective decomposition
title_full_unstemmed Per-instance algorithm configuration: from meta-learning to multi-objective decomposition
title_sort Per-instance algorithm configuration: from meta-learning to multi-objective decomposition
author Pavelski, Lucas Marcondes
author_facet Pavelski, Lucas Marcondes
author_role author
dc.contributor.advisor1.fl_str_mv Delgado, Myriam Regattieri de Biase da Silva
dc.contributor.advisor1ID.fl_str_mv https://orcid.org/0000-0002-2791-174X
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/4166922845507601
dc.contributor.advisor-co1.fl_str_mv Kessaci, Marie Eleonore
dc.contributor.referee1.fl_str_mv Pozo, Aurora Trinidad Ramirez
dc.contributor.referee1ID.fl_str_mv https://orcid.org/ 0000-0001-5808-3919
dc.contributor.referee1Lattes.fl_str_mv http://lattes.cnpq.br/2815946827655352
dc.contributor.referee2.fl_str_mv Almeida, Carolina Paula de
dc.contributor.referee2ID.fl_str_mv https://orcid.org/0000-0003-4939-6432
dc.contributor.referee2Lattes.fl_str_mv http://lattes.cnpq.br/8586489892942437
dc.contributor.referee3.fl_str_mv Dhaenens, Clarisse
dc.contributor.referee3Lattes.fl_str_mv .
dc.contributor.referee4.fl_str_mv Delgado, Myriam Regattieri de Biase da Silva
dc.contributor.referee4ID.fl_str_mv https://orcid.org/0000-0002-2791-174X
dc.contributor.referee4Lattes.fl_str_mv http://lattes.cnpq.br/4166922845507601
dc.contributor.referee5.fl_str_mv Luders, Ricardo
dc.contributor.referee5ID.fl_str_mv https://orcid.org/ 0000-0001-6483-4694
dc.contributor.referee5Lattes.fl_str_mv http://lattes.cnpq.br/5158617067991861
dc.contributor.authorID.fl_str_mv https://orcid.org/0000-0002-5622-392X
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/9287626771427206
dc.contributor.author.fl_str_mv Pavelski, Lucas Marcondes
contributor_str_mv Delgado, Myriam Regattieri de Biase da Silva
Kessaci, Marie Eleonore
Pozo, Aurora Trinidad Ramirez
Almeida, Carolina Paula de
Dhaenens, Clarisse
Delgado, Myriam Regattieri de Biase da Silva
Luders, Ricardo
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Algoritmos
Otimização matemática
Heurística
Aprendizado de máquinas
Algorítmos genéticos
Otimização combinatória
Algorithms
Mathematical optimization
Heuristic
Machine learning
Genetic algorithms
Combinatorial optimization
Engenharia Elétrica
dc.subject.por.fl_str_mv Algoritmos
Otimização matemática
Heurística
Aprendizado de máquinas
Algorítmos genéticos
Otimização combinatória
Algorithms
Mathematical optimization
Heuristic
Machine learning
Genetic algorithms
Combinatorial optimization
dc.subject.capes.pt_BR.fl_str_mv Engenharia Elétrica
description A busca pelo melhor algoritmo e sua configuração é uma tarefa difícil na maioria dos cenários de otimização, especialmente em problemas NP-difíceis, uma vez que existem diferentes metaheurísticas propostas, e testar muitos parâmetros demanda um alto custo computacional. Além disso, o entendimento de tais parâmetros e sua relação com as instâncias do problema é de suma importância para a área de configuração de algoritmos. A literatura sobre Configuração Automática de Algoritmos (AAC do inglês Automatic Algorithm Configuration) propõe várias estratégias para encontrar a melhor configuração, embora o foco geralmente seja menos na explicabilidade e mais no desempenho dessas diferentes configurações. Com base em experiências anteriores obtidas a partir de dados, a área de Configuração Automática Baseada em Instância (PIAC, do inglês Per Instance Algorithm Configuration) foca no mapeamento construído para recomendar as melhores configurações. Este trabalho tem como objetivo propor e analisar duas abordagens PIAC. A primeira, chamada de MetaL PIAC, é uma extensão do problema de seleção de algoritmo e usa meta-aprendizado para recomendar meta-heurísticas e seus parâmetros de configuração. A segunda abordagem, chamada de MOAAC/D, é baseada em uma nova formulação multiobjetivo do problema AAC, que decompõe o espaço do problema e usa uma plataforma baseada em decomposição para fornecer configurações generalistas e especialistas ao mesmo tempo. Para cada objetivo, existe um conjunto de problemas relacionados a ele, e um algoritmo multiobjetivo baseado em decomposição é proposto para encontrar configurações com bons balanceamentos. Como estudo de caso principal, o trabalho considera problemas Flowshop. Experimentos extensivos realizados em mais de 6000 instâncias, consideram o MetaL PIAC para ajustar os parâmetros de diferentes meta-heurísticas, e o MOAAC/D para ajustar configurações da busca local iterativa e busca gulosa iterativa. Os resultados mostram que ambas as estratégias superam a solução generalista fornecida pelo irace – uma das abordagens de AAC mais conhecidas na área – com uma ligeira vantagem do MOAAC/D sobre o MetaL PIAC.
publishDate 2021
dc.date.issued.fl_str_mv 2021-12-13
dc.date.accessioned.fl_str_mv 2022-04-08T13:52:33Z
dc.date.available.fl_str_mv 2022-04-08T13:52:33Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv PAVELSKI, Lucas Marcondes. Per-instance algorithm configuration: from meta-learning to multi-objective decomposition. 2021. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2021.
dc.identifier.uri.fl_str_mv http://repositorio.utfpr.edu.br/jspui/handle/1/27906
identifier_str_mv PAVELSKI, Lucas Marcondes. Per-instance algorithm configuration: from meta-learning to multi-objective decomposition. 2021. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2021.
url http://repositorio.utfpr.edu.br/jspui/handle/1/27906
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
dc.publisher.initials.fl_str_mv UTFPR
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
bitstream.url.fl_str_mv http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/27906/2/license_rdf
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/27906/1/perinstancealgorithmconfiguration.pdf
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/27906/3/license.txt
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/27906/4/perinstancealgorithmconfiguration.pdf.txt
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/27906/5/perinstancealgorithmconfiguration.pdf.jpg
bitstream.checksum.fl_str_mv 0175ea4a2d4caec4bbcc37e300941108
e03fba173e148d3e7143a25d1d544e5a
b9d82215ab23456fa2d8b49c5df1b95b
27f1e633534506ebd2804bf62d0eb3f5
341ec054cfc07a867d2e4c05b63e0d26
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv
_version_ 1805922949303107584