A Framework for testing Federated Learning algorithms using an edge-like environment
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | eng |
Título da fonte: | Repositório Institucional da UFRGS |
Texto Completo: | http://hdl.handle.net/10183/261789 |
Resumo: | O aprendizado federado é um paradigma de aprendizado de máquina em que muitos clientes treinam cooperativamente um único modelo centralizado, mantendo seus dados privados e descentralizados. Ele é comumente usado em computação de borda, que consiste em colocar as cargas de trabalho do computador (hardware e software) o mais próximo possível da borda, onde os dados estão sendo criados e onde as ações estão ocorrendo, permitindo tempos de resposta mais rápidos, maior privacidade de dados e custos de transferência de dados reduzidos. No entanto, devido às distribuições/conteúdos de dados heterogêneos dos clientes, não é trivial avaliar com precisão as contribuições de modelos locais na agregação de modelos centralizados globais. Este tem sido um grande desafio para o paradigma, comumente conhecido como desequilíbrio de dados ou desequilíbrio de classes. Trabalhos anteriores foram propostos para resolver esse problema, como algo ritmos de Deep Reinforcement Learning (DRL) para aprender dinamicamente o peso das contribuições de cada cliente em cada rodada. Testar e avaliar esses algoritmos FL pode ser uma tarefa muito difícil e complexa devido à natureza distribuída dos sistemas. Neste trabalho, uma revisão da literatura desses conceitos é apresentada a fim de apresentar ao leitor o contexto suficiente desse desafio e uma estrutura de ambiente semelhante a uma borda distribuída é proposta para avaliar o desempenho de algoritmos FL de uma maneira mais fácil e escalável. |
id |
UFRGS-2_5311390313af3bcba7f82254c62b70c5 |
---|---|
oai_identifier_str |
oai:www.lume.ufrgs.br:10183/261789 |
network_acronym_str |
UFRGS-2 |
network_name_str |
Repositório Institucional da UFRGS |
repository_id_str |
|
spelling |
Schwanck, Felipe MachadoWickboldt, Juliano AraújoCarbonera, Joel Luis2023-07-05T03:48:09Z2023http://hdl.handle.net/10183/261789001172663O aprendizado federado é um paradigma de aprendizado de máquina em que muitos clientes treinam cooperativamente um único modelo centralizado, mantendo seus dados privados e descentralizados. Ele é comumente usado em computação de borda, que consiste em colocar as cargas de trabalho do computador (hardware e software) o mais próximo possível da borda, onde os dados estão sendo criados e onde as ações estão ocorrendo, permitindo tempos de resposta mais rápidos, maior privacidade de dados e custos de transferência de dados reduzidos. No entanto, devido às distribuições/conteúdos de dados heterogêneos dos clientes, não é trivial avaliar com precisão as contribuições de modelos locais na agregação de modelos centralizados globais. Este tem sido um grande desafio para o paradigma, comumente conhecido como desequilíbrio de dados ou desequilíbrio de classes. Trabalhos anteriores foram propostos para resolver esse problema, como algo ritmos de Deep Reinforcement Learning (DRL) para aprender dinamicamente o peso das contribuições de cada cliente em cada rodada. Testar e avaliar esses algoritmos FL pode ser uma tarefa muito difícil e complexa devido à natureza distribuída dos sistemas. Neste trabalho, uma revisão da literatura desses conceitos é apresentada a fim de apresentar ao leitor o contexto suficiente desse desafio e uma estrutura de ambiente semelhante a uma borda distribuída é proposta para avaliar o desempenho de algoritmos FL de uma maneira mais fácil e escalável.Federated Learning [FL] is a machine learning paradigm where many clients coopera tively train a single centralized model while keeping their data private and decentralized. FL is commonly used in edge computing, which involves placing computer workloads (both hardware and software) as close as possible to the edge, where the data is being created and where actions are occurring, enabling faster response times, greater data privacy, and reduced data transfer costs. However, due to the heterogeneous data dis tributions/contents of clients, it is non-trivial to accurately evaluate the contributions of local models in global centralized model aggregation. This has been a major challenge in FL, commonly known as data imbalance or class imbalance. Previous work has been proposed to address this issue such as Deep Reinforcement Learning (DRL) algorithms to dynamically learn the weight of the contributions of each client at each round. Testing and assessing this FL algorithms can be a very difficult and complex task due to the distributed nature of the systems. In this work, a literature review of these concepts is presented in order to introduce the reader enough context of this challenge and a distributed edge-like environment framework is proposed to assess FL algorithms in a more easy and scalable way.application/pdfengAprendizado federadoAprendizado de máquinaComputação de BordaEdge ComputingKubernetesMicroservicesA Framework for testing Federated Learning algorithms using an edge-like environmentUm framework para testar algoritmos de aprendizadem federada usando um ambiente de computação de borda info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPorto Alegre, BR-RS2023Ciência da Computação: Ênfase em Ciência da Computação: Bachareladograduaçãoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001172663.pdf.txt001172663.pdf.txtExtracted Texttext/plain104016http://www.lume.ufrgs.br/bitstream/10183/261789/2/001172663.pdf.txt4b9e901f5bef9f8848feb2e687b14385MD52ORIGINAL001172663.pdfTexto completo (inglês)application/pdf5085429http://www.lume.ufrgs.br/bitstream/10183/261789/1/001172663.pdf9f1a9987fb6eebdf07f25f50c48ebd12MD5110183/2617892023-07-06 03:53:18.713426oai:www.lume.ufrgs.br:10183/261789Repositório de PublicaçõesPUBhttps://lume.ufrgs.br/oai/requestopendoar:2023-07-06T06:53:18Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false |
dc.title.pt_BR.fl_str_mv |
A Framework for testing Federated Learning algorithms using an edge-like environment |
dc.title.alternative.pt.fl_str_mv |
Um framework para testar algoritmos de aprendizadem federada usando um ambiente de computação de borda |
title |
A Framework for testing Federated Learning algorithms using an edge-like environment |
spellingShingle |
A Framework for testing Federated Learning algorithms using an edge-like environment Schwanck, Felipe Machado Aprendizado federado Aprendizado de máquina Computação de Borda Edge Computing Kubernetes Microservices |
title_short |
A Framework for testing Federated Learning algorithms using an edge-like environment |
title_full |
A Framework for testing Federated Learning algorithms using an edge-like environment |
title_fullStr |
A Framework for testing Federated Learning algorithms using an edge-like environment |
title_full_unstemmed |
A Framework for testing Federated Learning algorithms using an edge-like environment |
title_sort |
A Framework for testing Federated Learning algorithms using an edge-like environment |
author |
Schwanck, Felipe Machado |
author_facet |
Schwanck, Felipe Machado |
author_role |
author |
dc.contributor.author.fl_str_mv |
Schwanck, Felipe Machado |
dc.contributor.advisor1.fl_str_mv |
Wickboldt, Juliano Araújo |
dc.contributor.advisor-co1.fl_str_mv |
Carbonera, Joel Luis |
contributor_str_mv |
Wickboldt, Juliano Araújo Carbonera, Joel Luis |
dc.subject.por.fl_str_mv |
Aprendizado federado Aprendizado de máquina Computação de Borda |
topic |
Aprendizado federado Aprendizado de máquina Computação de Borda Edge Computing Kubernetes Microservices |
dc.subject.eng.fl_str_mv |
Edge Computing Kubernetes Microservices |
description |
O aprendizado federado é um paradigma de aprendizado de máquina em que muitos clientes treinam cooperativamente um único modelo centralizado, mantendo seus dados privados e descentralizados. Ele é comumente usado em computação de borda, que consiste em colocar as cargas de trabalho do computador (hardware e software) o mais próximo possível da borda, onde os dados estão sendo criados e onde as ações estão ocorrendo, permitindo tempos de resposta mais rápidos, maior privacidade de dados e custos de transferência de dados reduzidos. No entanto, devido às distribuições/conteúdos de dados heterogêneos dos clientes, não é trivial avaliar com precisão as contribuições de modelos locais na agregação de modelos centralizados globais. Este tem sido um grande desafio para o paradigma, comumente conhecido como desequilíbrio de dados ou desequilíbrio de classes. Trabalhos anteriores foram propostos para resolver esse problema, como algo ritmos de Deep Reinforcement Learning (DRL) para aprender dinamicamente o peso das contribuições de cada cliente em cada rodada. Testar e avaliar esses algoritmos FL pode ser uma tarefa muito difícil e complexa devido à natureza distribuída dos sistemas. Neste trabalho, uma revisão da literatura desses conceitos é apresentada a fim de apresentar ao leitor o contexto suficiente desse desafio e uma estrutura de ambiente semelhante a uma borda distribuída é proposta para avaliar o desempenho de algoritmos FL de uma maneira mais fácil e escalável. |
publishDate |
2023 |
dc.date.accessioned.fl_str_mv |
2023-07-05T03:48:09Z |
dc.date.issued.fl_str_mv |
2023 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10183/261789 |
dc.identifier.nrb.pt_BR.fl_str_mv |
001172663 |
url |
http://hdl.handle.net/10183/261789 |
identifier_str_mv |
001172663 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRGS instname:Universidade Federal do Rio Grande do Sul (UFRGS) instacron:UFRGS |
instname_str |
Universidade Federal do Rio Grande do Sul (UFRGS) |
instacron_str |
UFRGS |
institution |
UFRGS |
reponame_str |
Repositório Institucional da UFRGS |
collection |
Repositório Institucional da UFRGS |
bitstream.url.fl_str_mv |
http://www.lume.ufrgs.br/bitstream/10183/261789/2/001172663.pdf.txt http://www.lume.ufrgs.br/bitstream/10183/261789/1/001172663.pdf |
bitstream.checksum.fl_str_mv |
4b9e901f5bef9f8848feb2e687b14385 9f1a9987fb6eebdf07f25f50c48ebd12 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS) |
repository.mail.fl_str_mv |
|
_version_ |
1801224663679893504 |