Data analytics in IoT FaaS with DataFlasks

Detalhes bibliográficos
Autor(a) principal: Araújo, Paulo Ricardo Cunha Correia
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/1822/64277
Resumo: Dissertação de mestrado em Computer Science
id RCAP_47758ef9d78137f7193f0ba592fea44a
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/64277
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Data analytics in IoT FaaS with DataFlasksEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado em Computer ScienceThe current exponential growth of data demands new strategies for processing and analyzing information. Increased Internet usage, as well as the everyday appearance of new sources of data, is generating data volumes to be processed by Cloud applications that are growing much faster than available Cloud computing power. These issues, combined with the appearance of new devices with relatively low computational power (such as smartphones), have pushed for the development of new applications able to make use of this power as a complement to the Cloud, pushing the frontier of computing applications, data storage and services to the edge of the network. However, the environment in Edge computing is very unstable. It requires leveraging resources that may not be continuously connected to a network and device failure is a certainty. The system has to be aware of the processing capabilities of each node to achieve proper task distribution as it may exist a high level of heterogeneity between the system devices. A recent approach for developing applications in the Cloud, named Function as a Service (FaaS), proposes a way to enable data processing in these environments. FaaS services adhere to the principles of serverless architectures, providing stateless computing containers that allow users to run code without provisioning or managing servers. In this dissertation we present OpenFlasks, a new approach to the management and processing of data in a decentralized manner across Cloud and Edge. We build upon these types of architectures and other data storage tools and combine them in a novel way to create a flexible system capable of balancing data storage and data analytics needs in both environments. In addition, we call for a new approach to provide task execution both in Edge and Cloud environments that is able to handle high churn and heterogeneity of the system. Our evaluation shows an increase in the percentage of task execution success under high churn environments of up to 18%withOpenFlasks relatively to other FaaS systems. In addition, it denotes improvements in load balancing and average resource usage in the system for the execution of simple analytics at the Edge.O atual crescimento exponencial de dados exige novas estratégias para processar e analisar informação. O aumento do uso da Internet, assim como o aparecimento diário de novas fontes de dados, produz volumes de dados a ser processados por aplicações Cloud que crescem a umamaior velocidade do que o poder de computação aí disponível. Este problema, combinado com o surgir de novos dispositivos com poder computacional relativamente baixo (como smartphones), tem motivado o desenvolvimento de novas aplicações capazes de usar esse poder como complemento a Cloud computing, expandindo a fronteira dos serviços de processamento e armazenamento de dados atuais para o limite da rede (Edge). No entanto, o ambiente de Edge computing é muito instável. Requer a gestão de recursos que podem não estar continuamente conectados à rede e a falha de dispositivos é uma certeza. O sistema deve estar ciente das capacidades de processamento de cada dispositivo para obter uma distribuição de tarefas adequada, dado que pode existir um alto nível de heterogeneidade entre os dispositivos do sistema. Uma abordagem recente para o desenvolvimento de aplicações de Cloud computing, denominada Function as a Service (FaaS), propõe uma forma de permitir o processamento de dados neste tipo de ambientes. Os serviços FaaS aderem aos princípios de arquiteturas serverless, fornecendo containers de computação que nãomantêmestado e que permitemaos utilizadores executar código sem a necessidade de instanciar e gerir servidores. Nesta dissertação apresentamos OpenFlasks, uma nova abordagem para a gestão e processamento de dados de forma descentralizada em ambientes Cloud e Edge. Baseamo-nos neste tipo de arquiteturas, assimcomo outros serviços atuais de armazenamento de dados e combinamo-los de forma a criar um sistema flexível, capaz de equilibrar o armazenamento e as necessidades de análise de dados em ambos ambientes. Além disso, propomos uma nova abordagem para possibilitar a execução de tarefas tanto em ambientes de Edge como de Cloud, capaz de lidar com o elevado dinamismo e heterogeneidade do sistema. A nossa avaliação mostra um aumento na percentagem de sucesso da execução de tarefas sob ambientes de elevado dinamismo de até 18% relativamente a outros sistemas FaaS. Além disso, denotamelhorias na distribuição de carga e no uso médio de recursos do sistema para a execução de data analytics simples em ambientes Edge.Pereira, JoséPaulo, João Tiago MedeirosUniversidade do MinhoAraújo, Paulo Ricardo Cunha Correia20182018-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/1822/64277eng202348253info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T11:59:19Zoai:repositorium.sdum.uminho.pt:1822/64277Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T18:49:06.525735Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Data analytics in IoT FaaS with DataFlasks
title Data analytics in IoT FaaS with DataFlasks
spellingShingle Data analytics in IoT FaaS with DataFlasks
Araújo, Paulo Ricardo Cunha Correia
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Data analytics in IoT FaaS with DataFlasks
title_full Data analytics in IoT FaaS with DataFlasks
title_fullStr Data analytics in IoT FaaS with DataFlasks
title_full_unstemmed Data analytics in IoT FaaS with DataFlasks
title_sort Data analytics in IoT FaaS with DataFlasks
author Araújo, Paulo Ricardo Cunha Correia
author_facet Araújo, Paulo Ricardo Cunha Correia
author_role author
dc.contributor.none.fl_str_mv Pereira, José
Paulo, João Tiago Medeiros
Universidade do Minho
dc.contributor.author.fl_str_mv Araújo, Paulo Ricardo Cunha Correia
dc.subject.por.fl_str_mv Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado em Computer Science
publishDate 2018
dc.date.none.fl_str_mv 2018
2018-01-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1822/64277
url http://hdl.handle.net/1822/64277
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 202348253
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132254788648960

Registros relacionados