A Framework for testing Federated Learning algorithms using an edge-like environment

Detalhes bibliográficos
Autor(a) principal: Schwanck, Felipe Machado
Data de Publicação: 2023
Tipo de documento: Trabalho de conclusão de curso
Idioma: eng
Título da fonte: Repositório Institucional da UFRGS
Texto Completo: http://hdl.handle.net/10183/261789
Resumo: O aprendizado federado é um paradigma de aprendizado de máquina em que muitos clientes treinam cooperativamente um único modelo centralizado, mantendo seus dados privados e descentralizados. Ele é comumente usado em computação de borda, que consiste em colocar as cargas de trabalho do computador (hardware e software) o mais próximo possível da borda, onde os dados estão sendo criados e onde as ações estão ocorrendo, permitindo tempos de resposta mais rápidos, maior privacidade de dados e custos de transferência de dados reduzidos. No entanto, devido às distribuições/conteúdos de dados heterogêneos dos clientes, não é trivial avaliar com precisão as contribuições de modelos locais na agregação de modelos centralizados globais. Este tem sido um grande desafio para o paradigma, comumente conhecido como desequilíbrio de dados ou desequilíbrio de classes. Trabalhos anteriores foram propostos para resolver esse problema, como algo ritmos de Deep Reinforcement Learning (DRL) para aprender dinamicamente o peso das contribuições de cada cliente em cada rodada. Testar e avaliar esses algoritmos FL pode ser uma tarefa muito difícil e complexa devido à natureza distribuída dos sistemas. Neste trabalho, uma revisão da literatura desses conceitos é apresentada a fim de apresentar ao leitor o contexto suficiente desse desafio e uma estrutura de ambiente semelhante a uma borda distribuída é proposta para avaliar o desempenho de algoritmos FL de uma maneira mais fácil e escalável.
id UFRGS-2_5311390313af3bcba7f82254c62b70c5
oai_identifier_str oai:www.lume.ufrgs.br:10183/261789
network_acronym_str UFRGS-2
network_name_str Repositório Institucional da UFRGS
repository_id_str
spelling Schwanck, Felipe MachadoWickboldt, Juliano AraújoCarbonera, Joel Luis2023-07-05T03:48:09Z2023http://hdl.handle.net/10183/261789001172663O aprendizado federado é um paradigma de aprendizado de máquina em que muitos clientes treinam cooperativamente um único modelo centralizado, mantendo seus dados privados e descentralizados. Ele é comumente usado em computação de borda, que consiste em colocar as cargas de trabalho do computador (hardware e software) o mais próximo possível da borda, onde os dados estão sendo criados e onde as ações estão ocorrendo, permitindo tempos de resposta mais rápidos, maior privacidade de dados e custos de transferência de dados reduzidos. No entanto, devido às distribuições/conteúdos de dados heterogêneos dos clientes, não é trivial avaliar com precisão as contribuições de modelos locais na agregação de modelos centralizados globais. Este tem sido um grande desafio para o paradigma, comumente conhecido como desequilíbrio de dados ou desequilíbrio de classes. Trabalhos anteriores foram propostos para resolver esse problema, como algo ritmos de Deep Reinforcement Learning (DRL) para aprender dinamicamente o peso das contribuições de cada cliente em cada rodada. Testar e avaliar esses algoritmos FL pode ser uma tarefa muito difícil e complexa devido à natureza distribuída dos sistemas. Neste trabalho, uma revisão da literatura desses conceitos é apresentada a fim de apresentar ao leitor o contexto suficiente desse desafio e uma estrutura de ambiente semelhante a uma borda distribuída é proposta para avaliar o desempenho de algoritmos FL de uma maneira mais fácil e escalável.Federated Learning [FL] is a machine learning paradigm where many clients coopera tively train a single centralized model while keeping their data private and decentralized. FL is commonly used in edge computing, which involves placing computer workloads (both hardware and software) as close as possible to the edge, where the data is being created and where actions are occurring, enabling faster response times, greater data privacy, and reduced data transfer costs. However, due to the heterogeneous data dis tributions/contents of clients, it is non-trivial to accurately evaluate the contributions of local models in global centralized model aggregation. This has been a major challenge in FL, commonly known as data imbalance or class imbalance. Previous work has been proposed to address this issue such as Deep Reinforcement Learning (DRL) algorithms to dynamically learn the weight of the contributions of each client at each round. Testing and assessing this FL algorithms can be a very difficult and complex task due to the distributed nature of the systems. In this work, a literature review of these concepts is presented in order to introduce the reader enough context of this challenge and a distributed edge-like environment framework is proposed to assess FL algorithms in a more easy and scalable way.application/pdfengAprendizado federadoAprendizado de máquinaComputação de BordaEdge ComputingKubernetesMicroservicesA Framework for testing Federated Learning algorithms using an edge-like environmentUm framework para testar algoritmos de aprendizadem federada usando um ambiente de computação de borda info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPorto Alegre, BR-RS2023Ciência da Computação: Ênfase em Ciência da Computação: Bachareladograduaçãoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001172663.pdf.txt001172663.pdf.txtExtracted Texttext/plain104016http://www.lume.ufrgs.br/bitstream/10183/261789/2/001172663.pdf.txt4b9e901f5bef9f8848feb2e687b14385MD52ORIGINAL001172663.pdfTexto completo (inglês)application/pdf5085429http://www.lume.ufrgs.br/bitstream/10183/261789/1/001172663.pdf9f1a9987fb6eebdf07f25f50c48ebd12MD5110183/2617892023-07-06 03:53:18.713426oai:www.lume.ufrgs.br:10183/261789Repositório de PublicaçõesPUBhttps://lume.ufrgs.br/oai/requestopendoar:2023-07-06T06:53:18Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv A Framework for testing Federated Learning algorithms using an edge-like environment
dc.title.alternative.pt.fl_str_mv Um framework para testar algoritmos de aprendizadem federada usando um ambiente de computação de borda
title A Framework for testing Federated Learning algorithms using an edge-like environment
spellingShingle A Framework for testing Federated Learning algorithms using an edge-like environment
Schwanck, Felipe Machado
Aprendizado federado
Aprendizado de máquina
Computação de Borda
Edge Computing
Kubernetes
Microservices
title_short A Framework for testing Federated Learning algorithms using an edge-like environment
title_full A Framework for testing Federated Learning algorithms using an edge-like environment
title_fullStr A Framework for testing Federated Learning algorithms using an edge-like environment
title_full_unstemmed A Framework for testing Federated Learning algorithms using an edge-like environment
title_sort A Framework for testing Federated Learning algorithms using an edge-like environment
author Schwanck, Felipe Machado
author_facet Schwanck, Felipe Machado
author_role author
dc.contributor.author.fl_str_mv Schwanck, Felipe Machado
dc.contributor.advisor1.fl_str_mv Wickboldt, Juliano Araújo
dc.contributor.advisor-co1.fl_str_mv Carbonera, Joel Luis
contributor_str_mv Wickboldt, Juliano Araújo
Carbonera, Joel Luis
dc.subject.por.fl_str_mv Aprendizado federado
Aprendizado de máquina
Computação de Borda
topic Aprendizado federado
Aprendizado de máquina
Computação de Borda
Edge Computing
Kubernetes
Microservices
dc.subject.eng.fl_str_mv Edge Computing
Kubernetes
Microservices
description O aprendizado federado é um paradigma de aprendizado de máquina em que muitos clientes treinam cooperativamente um único modelo centralizado, mantendo seus dados privados e descentralizados. Ele é comumente usado em computação de borda, que consiste em colocar as cargas de trabalho do computador (hardware e software) o mais próximo possível da borda, onde os dados estão sendo criados e onde as ações estão ocorrendo, permitindo tempos de resposta mais rápidos, maior privacidade de dados e custos de transferência de dados reduzidos. No entanto, devido às distribuições/conteúdos de dados heterogêneos dos clientes, não é trivial avaliar com precisão as contribuições de modelos locais na agregação de modelos centralizados globais. Este tem sido um grande desafio para o paradigma, comumente conhecido como desequilíbrio de dados ou desequilíbrio de classes. Trabalhos anteriores foram propostos para resolver esse problema, como algo ritmos de Deep Reinforcement Learning (DRL) para aprender dinamicamente o peso das contribuições de cada cliente em cada rodada. Testar e avaliar esses algoritmos FL pode ser uma tarefa muito difícil e complexa devido à natureza distribuída dos sistemas. Neste trabalho, uma revisão da literatura desses conceitos é apresentada a fim de apresentar ao leitor o contexto suficiente desse desafio e uma estrutura de ambiente semelhante a uma borda distribuída é proposta para avaliar o desempenho de algoritmos FL de uma maneira mais fácil e escalável.
publishDate 2023
dc.date.accessioned.fl_str_mv 2023-07-05T03:48:09Z
dc.date.issued.fl_str_mv 2023
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/261789
dc.identifier.nrb.pt_BR.fl_str_mv 001172663
url http://hdl.handle.net/10183/261789
identifier_str_mv 001172663
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Repositório Institucional da UFRGS
collection Repositório Institucional da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/261789/2/001172663.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/261789/1/001172663.pdf
bitstream.checksum.fl_str_mv 4b9e901f5bef9f8848feb2e687b14385
9f1a9987fb6eebdf07f25f50c48ebd12
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv
_version_ 1801224663679893504