LSFS: sistema de ficheiros tolerante a faltas para armazenamento em larga escala

Detalhes bibliográficos
Autor(a) principal: Fernandes, Daniel da Silva
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/80732
Resumo: Dissertação de mestrado integrado em Engenharia Informática
id RCAP_ef84bf30911afa379b315ac97bae919d
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/80732
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling LSFS: sistema de ficheiros tolerante a faltas para armazenamento em larga escalaSistema de ficheirosPeer-to-peerEpidémicoResiliência a falhasFile systemEpidemicChurn resilienceEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado integrado em Engenharia InformáticaA necessidade de armazenar quantidades de informação cada vez maiores tem vindo a acentuar-se nos dias correntes. Conceitos como Internet das Coisas (IoT) e Big Data, atualmente em voga, vem normalmente associados a muito dados motivando a procura por novas formas de armazenar e aceder a informação. Atualmente, milhares de aplicações recorrem a interfaces de sistemas de ficheiros para assegurar a persistência e o rápido acesso aos dados que geram. No entanto, as soluções de sistemas de ficheiros existentes apresentam configurações centralizadas ou orientadas a poucos nodos em redes controladas que se refletem numa escala e disponibilidade limitada. De forma a abordar estes desafios, esta dissertação propõe o sistema LSFS, Large Scale Filesystem, que se trata de um sistema de ficheiros distribuído, compatível com a interface POSIX, capaz de escalar para redes de centenas a milhares de nodos heterogéneos, e ainda garantir elevada resiliência à falha dos seus nodos. Estas propriedades decorrem da sua arquitetura completamente descentralizada, peer-to-peer, e da utilização de protocolos de natureza epidémica. A aplicação destes protocolos no contexto de um sistema de ficheiros é nova, constituindo a principal contribuição desta dissertação. Como outras contribuições, propomos um protótipo do sistema e uma avaliação experimental extensa conduzida com um caso de estudo real e num ambiente com 500 nodos. Os resultados mostram que o sistema LSFS consegue tolerar falhas de caracter catastrófico (p.ex. que contemplam 25% dos nodos totais) mantendo um desempenho de armazenamento estável ao longo do tempo.The need to store ever-increasing amounts of data has become more pronounced in current days. Concepts such as the Internet of Things (IoT) and Big Data, currently in vogue, come usually associated with large amounts of data motivating the search for new ways to store and access it. Today, thousands of applications use file system interfaces to ensure persistence and fast access to the data they manage. However, existing file systems present centralized solutions or targeted to a reduced number of nodes, limiting scale and availability. In order to tackle these challenges, this dissertation proposes LSFS, Large Scale Filesystem, which is a distributed file system, compatible with the POSIX interface, capable of scaling to networks of hundreds to thousands of heterogeneous devices, while ensuring high resilience to node-failure. These properties derive from its completely decentralized peer-to-peer architecture, and the use of epidemic protocols. The application of these protocols in the context of a file system is new and constitutes the main contribution of this thesis. As further contributions, we propose a prototype of the system and an extensive experi mental evaluation conducted with a real case study and in an environment of 500 network nodes. The results show that the LSFS system can tolerate catastrophic failures (e.g. that account for 25% of total nodes) while maintaining stable storage performance over time.Paulo, João Tiago MedeirosOliveira, Rui Carlos Mendes deUniversidade do MinhoFernandes, Daniel da Silva2021-02-042021-02-04T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/80732por203024125info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:53:59Zoai:repositorium.sdum.uminho.pt:1822/80732Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:53:29.568742Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv LSFS: sistema de ficheiros tolerante a faltas para armazenamento em larga escala
title LSFS: sistema de ficheiros tolerante a faltas para armazenamento em larga escala
spellingShingle LSFS: sistema de ficheiros tolerante a faltas para armazenamento em larga escala
Fernandes, Daniel da Silva
Sistema de ficheiros
Peer-to-peer
Epidémico
Resiliência a falhas
File system
Epidemic
Churn resilience
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short LSFS: sistema de ficheiros tolerante a faltas para armazenamento em larga escala
title_full LSFS: sistema de ficheiros tolerante a faltas para armazenamento em larga escala
title_fullStr LSFS: sistema de ficheiros tolerante a faltas para armazenamento em larga escala
title_full_unstemmed LSFS: sistema de ficheiros tolerante a faltas para armazenamento em larga escala
title_sort LSFS: sistema de ficheiros tolerante a faltas para armazenamento em larga escala
author Fernandes, Daniel da Silva
author_facet Fernandes, Daniel da Silva
author_role author
dc.contributor.none.fl_str_mv Paulo, João Tiago Medeiros
Oliveira, Rui Carlos Mendes de
Universidade do Minho
dc.contributor.author.fl_str_mv Fernandes, Daniel da Silva
dc.subject.por.fl_str_mv Sistema de ficheiros
Peer-to-peer
Epidémico
Resiliência a falhas
File system
Epidemic
Churn resilience
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Sistema de ficheiros
Peer-to-peer
Epidémico
Resiliência a falhas
File system
Epidemic
Churn resilience
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado integrado em Engenharia Informática
publishDate 2021
dc.date.none.fl_str_mv 2021-02-04
2021-02-04T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/80732
url https://hdl.handle.net/1822/80732
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv 203024125
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133131680251904

Registros relacionados