Arquitetura para um Repositório de Dados e Metadados de Observação Terrestre
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/10362/90746 |
Resumo: | A deteção remota tem vindo a tornar-se o método mais importante de recolha de informação sobre a superfície terrestre. Neste momento, existem cerca de 700 satélites ativos que têm como missão a observação da Terra. Os dados gerados por estes revelam claras caraterísticas de big data: volume, velocidade, diversidade. No que toca ao volume, no final de 2017, a NASA armazenava cerca de 25 petabytes. Em relação à velocidade com que é feita a ingestão, esta, em 2017, era de quase 12 terabytes/dia. Já a diversidade surge devido às diferentes aplicações, metamodelos, fontes e formatos dos produtos. Neste contexto, os múltiplos fornecedores já têm os seus próprios repositórios e catálogos, nos quais os standards de representação de dados e metadados diferem. Portanto, é importante definir uma camada de abstração intermédia. Outro desafio no desenvolvimento destes repositórios passa pela heterogeneidade dos dados e metadados de deteção remota. Sendo que os metamodelos dos diferentes produtos devem ser extensíveis, de modo a incorporar domínios aplicacionais específicos. Finalmente, aliado ao repositório, existe a necessidade de incorporar cadeias de processamento local. A abordagem para endereçar os problemas referidos condensa-se em cinco pontos: automatização da ingestão de dados e metadados; especificação hierárquica do metamodelo; linguagem de especificação ETL; mecanismo de interrogação de alto nível; e framework de processamento local. Por fim, a arquitetura proposta foi avaliada recorrendo a um conjunto de casos de estudo reais. Nesta avaliação foram assinaladas as vantagens de realizar todo o fluxo de desenvolvimento numa só plataforma. Paralelamente, comparou-se com a plataforma Google Earth Engine, representante do estado da arte, cujo foco é a computação. Tendo-se concluído que a abordagem proposta não oferece tantas garantias de escalabilidade, mas, na perspetiva da catalogação, a presença de uma gestão colaborativa dos produtos e dos seus metamodelos é uma grande vantagem face às outras soluções. |
id |
RCAP_736055d0034e0ac963dcf70a16c6a87b |
---|---|
oai_identifier_str |
oai:run.unl.pt:10362/90746 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Arquitetura para um Repositório de Dados e Metadados de Observação TerrestreDeteção remotametamodelosimagens de satéliteingestão de dadosheterogeneidadeETLDomínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaA deteção remota tem vindo a tornar-se o método mais importante de recolha de informação sobre a superfície terrestre. Neste momento, existem cerca de 700 satélites ativos que têm como missão a observação da Terra. Os dados gerados por estes revelam claras caraterísticas de big data: volume, velocidade, diversidade. No que toca ao volume, no final de 2017, a NASA armazenava cerca de 25 petabytes. Em relação à velocidade com que é feita a ingestão, esta, em 2017, era de quase 12 terabytes/dia. Já a diversidade surge devido às diferentes aplicações, metamodelos, fontes e formatos dos produtos. Neste contexto, os múltiplos fornecedores já têm os seus próprios repositórios e catálogos, nos quais os standards de representação de dados e metadados diferem. Portanto, é importante definir uma camada de abstração intermédia. Outro desafio no desenvolvimento destes repositórios passa pela heterogeneidade dos dados e metadados de deteção remota. Sendo que os metamodelos dos diferentes produtos devem ser extensíveis, de modo a incorporar domínios aplicacionais específicos. Finalmente, aliado ao repositório, existe a necessidade de incorporar cadeias de processamento local. A abordagem para endereçar os problemas referidos condensa-se em cinco pontos: automatização da ingestão de dados e metadados; especificação hierárquica do metamodelo; linguagem de especificação ETL; mecanismo de interrogação de alto nível; e framework de processamento local. Por fim, a arquitetura proposta foi avaliada recorrendo a um conjunto de casos de estudo reais. Nesta avaliação foram assinaladas as vantagens de realizar todo o fluxo de desenvolvimento numa só plataforma. Paralelamente, comparou-se com a plataforma Google Earth Engine, representante do estado da arte, cujo foco é a computação. Tendo-se concluído que a abordagem proposta não oferece tantas garantias de escalabilidade, mas, na perspetiva da catalogação, a presença de uma gestão colaborativa dos produtos e dos seus metamodelos é uma grande vantagem face às outras soluções.Pires, JoãoLeitão, JoãoRodrigues, ArmandaRUNLopes, André Filipe Graça2020-01-06T11:47:09Z2019-1220192019-12-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10362/90746porinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-03-11T04:40:15Zoai:run.unl.pt:10362/90746Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T03:37:09.655756Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Arquitetura para um Repositório de Dados e Metadados de Observação Terrestre |
title |
Arquitetura para um Repositório de Dados e Metadados de Observação Terrestre |
spellingShingle |
Arquitetura para um Repositório de Dados e Metadados de Observação Terrestre Lopes, André Filipe Graça Deteção remota metamodelos imagens de satélite ingestão de dados heterogeneidade ETL Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
title_short |
Arquitetura para um Repositório de Dados e Metadados de Observação Terrestre |
title_full |
Arquitetura para um Repositório de Dados e Metadados de Observação Terrestre |
title_fullStr |
Arquitetura para um Repositório de Dados e Metadados de Observação Terrestre |
title_full_unstemmed |
Arquitetura para um Repositório de Dados e Metadados de Observação Terrestre |
title_sort |
Arquitetura para um Repositório de Dados e Metadados de Observação Terrestre |
author |
Lopes, André Filipe Graça |
author_facet |
Lopes, André Filipe Graça |
author_role |
author |
dc.contributor.none.fl_str_mv |
Pires, João Leitão, João Rodrigues, Armanda RUN |
dc.contributor.author.fl_str_mv |
Lopes, André Filipe Graça |
dc.subject.por.fl_str_mv |
Deteção remota metamodelos imagens de satélite ingestão de dados heterogeneidade ETL Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
topic |
Deteção remota metamodelos imagens de satélite ingestão de dados heterogeneidade ETL Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
description |
A deteção remota tem vindo a tornar-se o método mais importante de recolha de informação sobre a superfície terrestre. Neste momento, existem cerca de 700 satélites ativos que têm como missão a observação da Terra. Os dados gerados por estes revelam claras caraterísticas de big data: volume, velocidade, diversidade. No que toca ao volume, no final de 2017, a NASA armazenava cerca de 25 petabytes. Em relação à velocidade com que é feita a ingestão, esta, em 2017, era de quase 12 terabytes/dia. Já a diversidade surge devido às diferentes aplicações, metamodelos, fontes e formatos dos produtos. Neste contexto, os múltiplos fornecedores já têm os seus próprios repositórios e catálogos, nos quais os standards de representação de dados e metadados diferem. Portanto, é importante definir uma camada de abstração intermédia. Outro desafio no desenvolvimento destes repositórios passa pela heterogeneidade dos dados e metadados de deteção remota. Sendo que os metamodelos dos diferentes produtos devem ser extensíveis, de modo a incorporar domínios aplicacionais específicos. Finalmente, aliado ao repositório, existe a necessidade de incorporar cadeias de processamento local. A abordagem para endereçar os problemas referidos condensa-se em cinco pontos: automatização da ingestão de dados e metadados; especificação hierárquica do metamodelo; linguagem de especificação ETL; mecanismo de interrogação de alto nível; e framework de processamento local. Por fim, a arquitetura proposta foi avaliada recorrendo a um conjunto de casos de estudo reais. Nesta avaliação foram assinaladas as vantagens de realizar todo o fluxo de desenvolvimento numa só plataforma. Paralelamente, comparou-se com a plataforma Google Earth Engine, representante do estado da arte, cujo foco é a computação. Tendo-se concluído que a abordagem proposta não oferece tantas garantias de escalabilidade, mas, na perspetiva da catalogação, a presença de uma gestão colaborativa dos produtos e dos seus metamodelos é uma grande vantagem face às outras soluções. |
publishDate |
2019 |
dc.date.none.fl_str_mv |
2019-12 2019 2019-12-01T00:00:00Z 2020-01-06T11:47:09Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10362/90746 |
url |
http://hdl.handle.net/10362/90746 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799137988918116352 |