Tagus: an IoT data ingestion pipeline for MonetDB

Detalhes bibliográficos
Autor(a) principal: Mota, Bernardo Braga Bastos
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/81343
Resumo: Dissertação de mestrado integrado em Engenharia Informática
id RCAP_6423e5bb2bc99b9a340a9a295941bf53
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/81343
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Tagus: an IoT data ingestion pipeline for MonetDBDatabasesStreaming ingestionStream processingAISMaritime informaticsInternet of thingsContinuous queriesApache KafkaColumnar databaseBases de dadosIngestão streamingProcessamento de streamsInformática marítimaInternet das coisasQueries contínuasBases de dados ColumnarEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado integrado em Engenharia InformáticaIn this project, we design and implement an IoT streaming data ingestion pipeline for MonetDB, using the distributed message queueing platform Apache Kafka. Our objective is to leverage MonetDB’s analytical power for IoT data, expanding its ingestion capabilities to improve reliability and performance. The ingestion pipeline is put to the test with the real world maritime tracking system AIS. We also evaluate MonetDB’s current IoT processing engine and compare it to other state-of-the-art engines, to appraise its functionalities and identify possible future improvements.Neste projecto, conceptualizamos e implementamos uma pipeline para ingestão de dados streaming para o sistema de base de dados MonetDB, utilizando o Apache Kafka, uma plataforma para message queueing distribuído. O nosso objectivo é utilizar o poder analítico do MonetDB para dados IoT, expandindo as suas capacidades e melhorando a confiabilidade e desempenho na ingestão de dados streaming. A pipeline é posta à prova com o sistema de tracking marítimo AIS, demonstrando a sua aplicabilidade no mundo real. As funcionalidades de processamento de dados IoT do MonetDB são avaliadas e comparadas com outras plataformas de última geração para identificar desenvolvimentos futuros.Pereira, JoséYing ZhangUniversidade do MinhoMota, Bernardo Braga Bastos2021-10-272021-10-27T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/81343eng203056337info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:13:03Zoai:repositorium.sdum.uminho.pt:1822/81343Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:05:05.079254Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Tagus: an IoT data ingestion pipeline for MonetDB
title Tagus: an IoT data ingestion pipeline for MonetDB
spellingShingle Tagus: an IoT data ingestion pipeline for MonetDB
Mota, Bernardo Braga Bastos
Databases
Streaming ingestion
Stream processing
AIS
Maritime informatics
Internet of things
Continuous queries
Apache Kafka
Columnar database
Bases de dados
Ingestão streaming
Processamento de streams
Informática marítima
Internet das coisas
Queries contínuas
Bases de dados Columnar
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Tagus: an IoT data ingestion pipeline for MonetDB
title_full Tagus: an IoT data ingestion pipeline for MonetDB
title_fullStr Tagus: an IoT data ingestion pipeline for MonetDB
title_full_unstemmed Tagus: an IoT data ingestion pipeline for MonetDB
title_sort Tagus: an IoT data ingestion pipeline for MonetDB
author Mota, Bernardo Braga Bastos
author_facet Mota, Bernardo Braga Bastos
author_role author
dc.contributor.none.fl_str_mv Pereira, José
Ying Zhang
Universidade do Minho
dc.contributor.author.fl_str_mv Mota, Bernardo Braga Bastos
dc.subject.por.fl_str_mv Databases
Streaming ingestion
Stream processing
AIS
Maritime informatics
Internet of things
Continuous queries
Apache Kafka
Columnar database
Bases de dados
Ingestão streaming
Processamento de streams
Informática marítima
Internet das coisas
Queries contínuas
Bases de dados Columnar
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Databases
Streaming ingestion
Stream processing
AIS
Maritime informatics
Internet of things
Continuous queries
Apache Kafka
Columnar database
Bases de dados
Ingestão streaming
Processamento de streams
Informática marítima
Internet das coisas
Queries contínuas
Bases de dados Columnar
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado integrado em Engenharia Informática
publishDate 2021
dc.date.none.fl_str_mv 2021-10-27
2021-10-27T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/81343
url https://hdl.handle.net/1822/81343
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 203056337
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132461807960064

Registros relacionados