Arquitectura para Processamento Integrado no Repositório de Dados e Metadados de Observação Terrestre

• Autor(a) principal: Silva, Rúben Filipe Coelho
• Data de Publicação: 2022
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10362/144380
• topic: Arquiteturas de Processamento; Deteção Remota; GIS; Workflows Científicos; Gestão de Workflows; Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática

A observação remota tem-se mostrado como uma área de grande interesse e importância para vários domínios da sociedade, como por exemplo a agricultura, a meteorologia, o planeamento urbano ou a biologia. Esta surge como uma alternativa a métodos de pesquisa e monitorização tradicionais, que tendem a ser mais demorados e dispendiosos. Hoje em dia, programas de agências espaciais disponibilizam dados para que os mesmos possam ser usados nas mais diversas aplicações. Assim, a comunidade científica enfrenta um novo problema, que não se prende com a obtenção de dados de deteção remota, mas em conseguir fazer a gestão dos mesmos e executar computação sobre estes de forma eficiente. Para resolver a primeira parte do problema, um repositório de dados e metadados de Observação Terrestre começou a ser desenvolvido, numa dissertação anterior. Este repositório tem como finalidade responder aos seguintes problemas: heterogeneidade dos dados e metadados, extensibilidade dos metamodelos, expressividades das interrogações e incorporação de cadeias de processamento local. A segunda parte do problema, que se prende com a execução eficiente de computações sobre estes dados, não foi, no entanto, ainda tratada. A capacidade de realizar computação de forma eficiente é extremamente importante por vários motivos. Uma típica computação é na verdade uma sequência de tarefas que, devido ao volume de dados de detecção remota, podem implicar tempos de execução bastante longos, sendo muitas vezes necessário reexecutar estas pipelines pelo que ausência de mecanismos para agilizar e melhorar a eficiência destas computações pode resultar em períodos de desenvolvimento penosamente longos. Desta forma, neste trabalho pretende-se construir uma arquitetura para processamento integrado no repositório de dados e metadados de observação terrestre, que permita construir pipelines das típicas operações realizadas (como processamento ou classificação de imagem), que suporte vários tipos de utilizadores com diferentes necessidades de computação. De forma a assegurar a eficiência das computações é necessário que a infra-estrutura resultante seja capaz de fazer a gestão, de forma automática, do workload num ambiente distribuído, para além de, permitir a definição de dependências entre os vários produtos resultantes das computações. Este último elemento é um dos componentes diferenciadores neste trabalho, que tem como finalidades facilitar o desenvolvimento de produtos que trabalham com séries temporais e ainda servir de base para a tomada de decisões entre reprocessar um subproduto ou armazená-lo em disco.