Arquitetura para um Repositório de Dados e Metadados de Observação Terrestre

• Autor(a) principal: Lopes, André Filipe Graça
• Data de Publicação: 2019
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10362/90746
• topic: Deteção remota; metamodelos; imagens de satélite; ingestão de dados; heterogeneidade; ETL; Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática

A deteção remota tem vindo a tornar-se o método mais importante de recolha de informação sobre a superfície terrestre. Neste momento, existem cerca de 700 satélites ativos que têm como missão a observação da Terra. Os dados gerados por estes revelam claras caraterísticas de big data: volume, velocidade, diversidade. No que toca ao volume, no final de 2017, a NASA armazenava cerca de 25 petabytes. Em relação à velocidade com que é feita a ingestão, esta, em 2017, era de quase 12 terabytes/dia. Já a diversidade surge devido às diferentes aplicações, metamodelos, fontes e formatos dos produtos. Neste contexto, os múltiplos fornecedores já têm os seus próprios repositórios e catálogos, nos quais os standards de representação de dados e metadados diferem. Portanto, é importante definir uma camada de abstração intermédia. Outro desafio no desenvolvimento destes repositórios passa pela heterogeneidade dos dados e metadados de deteção remota. Sendo que os metamodelos dos diferentes produtos devem ser extensíveis, de modo a incorporar domínios aplicacionais específicos. Finalmente, aliado ao repositório, existe a necessidade de incorporar cadeias de processamento local. A abordagem para endereçar os problemas referidos condensa-se em cinco pontos: automatização da ingestão de dados e metadados; especificação hierárquica do metamodelo; linguagem de especificação ETL; mecanismo de interrogação de alto nível; e framework de processamento local. Por fim, a arquitetura proposta foi avaliada recorrendo a um conjunto de casos de estudo reais. Nesta avaliação foram assinaladas as vantagens de realizar todo o fluxo de desenvolvimento numa só plataforma. Paralelamente, comparou-se com a plataforma Google Earth Engine, representante do estado da arte, cujo foco é a computação. Tendo-se concluído que a abordagem proposta não oferece tantas garantias de escalabilidade, mas, na perspetiva da catalogação, a presença de uma gestão colaborativa dos produtos e dos seus metamodelos é uma grande vantagem face às outras soluções.