Big Data: Integração e armazenamento de informação do IOT

Detalhes bibliográficos
Autor(a) principal: Guedes, Sérgio Manuel Marques
Data de Publicação: 2020
Tipo de documento: Relatório
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10400.22/23152
Resumo: Trabalho de natureza profissional na área de Educação e Formação 480 de Informática para a obtenção do título de Especialista.
id RCAP_eaafbfccdd47e0daf80009046dcc891c
oai_identifier_str oai:recipp.ipp.pt:10400.22/23152
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Big Data: Integração e armazenamento de informação do IOTInternet Of ThingsBig DataArquitetura horizontalConfidencialidadeEscalabilidadeIntegração de dadosArmazenamentoConectoresAWSData LakeTrabalho de natureza profissional na área de Educação e Formação 480 de Informática para a obtenção do título de Especialista.Ao longo da última década, tem-se verificado um aumento na procura, por parte das organizações, no que diz respeito a soluções de Internet Of Things (IOT). As previsões indicam que, ao longo dos próximos anos a procura por estas soluções terá um crescimento acentuado, devendo-se, principalmente, ao facto das organizações reconhecerem os benefícios que as mesmas trazem para a sua atividade. Este crescimento na procura de soluções de IOT traz alguns desafios no que diz respeito ao aumento do volume de dados e ao seu processamento. Atualmente, grande parte das empresas utiliza sistemas baseados em Base Dados relacionais. Este tipo de arquitetura levanta alguns problemas no que diz respeito à escalabilidade e a dados provenientes de estruturas heterogéneas, como o caso dos dispositivos de IOT. Acrescido aos problemas apresentados, esta solução tem-se mostrado ineficiente em termos de custos. Este projeto teve como objetivo, o desenvolvimento de uma plataforma de integração e armazenamento de dados com base na cloud que será a base de todas as soluções analíticas. Este projeto, teve, também, como objetivo a entrega de uma arquitetura que permitisse uma gestão eficiente dos custos, bem como, a apresentação de uma solução de integração e armazenamento escalável e com bons níveis de performance. A solução proposta baseou-se na integração de dados em tempo real entre a fonte de dados e os diferentes destinos como Data Lake, MongoDb e ElasticSearch, recorrendo às plataformas Oracle GoldenGate e Kafka. Esta arquitetura foi desenvolvida com base em políticas de segurança rígidas, de forma a manter a confidencialidade dos dados. A implementação deste sistema, foi realizada em 2020 e trará enormes benefícios para o negócio como, redução de custos, escalabilidade e melhorias de desempenho.Instituto Superior de Engenharia do PortoRepositório Científico do Instituto Politécnico do PortoGuedes, Sérgio Manuel Marques2023-06-15T10:53:50Z20202020-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/reportapplication/pdfhttp://hdl.handle.net/10400.22/23152pormetadata only accessinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-06-21T01:46:16Zoai:recipp.ipp.pt:10400.22/23152Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T18:01:08.605751Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Big Data: Integração e armazenamento de informação do IOT
title Big Data: Integração e armazenamento de informação do IOT
spellingShingle Big Data: Integração e armazenamento de informação do IOT
Guedes, Sérgio Manuel Marques
Internet Of Things
Big Data
Arquitetura horizontal
Confidencialidade
Escalabilidade
Integração de dados
Armazenamento
Conectores
AWS
Data Lake
title_short Big Data: Integração e armazenamento de informação do IOT
title_full Big Data: Integração e armazenamento de informação do IOT
title_fullStr Big Data: Integração e armazenamento de informação do IOT
title_full_unstemmed Big Data: Integração e armazenamento de informação do IOT
title_sort Big Data: Integração e armazenamento de informação do IOT
author Guedes, Sérgio Manuel Marques
author_facet Guedes, Sérgio Manuel Marques
author_role author
dc.contributor.none.fl_str_mv Repositório Científico do Instituto Politécnico do Porto
dc.contributor.author.fl_str_mv Guedes, Sérgio Manuel Marques
dc.subject.por.fl_str_mv Internet Of Things
Big Data
Arquitetura horizontal
Confidencialidade
Escalabilidade
Integração de dados
Armazenamento
Conectores
AWS
Data Lake
topic Internet Of Things
Big Data
Arquitetura horizontal
Confidencialidade
Escalabilidade
Integração de dados
Armazenamento
Conectores
AWS
Data Lake
description Trabalho de natureza profissional na área de Educação e Formação 480 de Informática para a obtenção do título de Especialista.
publishDate 2020
dc.date.none.fl_str_mv 2020
2020-01-01T00:00:00Z
2023-06-15T10:53:50Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/report
format report
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10400.22/23152
url http://hdl.handle.net/10400.22/23152
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv metadata only access
info:eu-repo/semantics/openAccess
rights_invalid_str_mv metadata only access
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Instituto Superior de Engenharia do Porto
publisher.none.fl_str_mv Instituto Superior de Engenharia do Porto
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799131679626887168

Registros relacionados