Integration of multiple data sources and dashboard for a remote monitoring system

Detalhes bibliográficos
Autor(a) principal: Sousa, Inês Silva
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10451/58533
Resumo: Tese de Mestrado, Informática, 2022, Universidade de Lisboa, Faculdade de Ciências
id RCAP_2d433e8d4fb401966d8b9a64098981fb
oai_identifier_str oai:repositorio.ul.pt:10451/58533
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Integration of multiple data sources and dashboard for a remote monitoring systemRedes NeuronaisMonitorização AmbientalRedes de SensoresPrevisão de ValoresQualidade de DadosTeses de mestrado - 2022Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaTese de Mestrado, Informática, 2022, Universidade de Lisboa, Faculdade de CiênciasManter um bom nível de qualidade da água é essencial para a preservação da fauna e flora aquática, bem como de todos os animais e organismos que dela depende. Com a atual escassez de água e com os maiores níveis de poluição da mesma, é crucial monitorizar os níveis de qualidade da mesma. A Internet das Coisas (IoC) e as redes de sensores sem fios (RSSF) surgem como algumas das ferramentas fundamentais e mais utilizadas em sistemas que monitorizam a qualidade da água. As RSSF são redes com sensores dedicados que detetam fenómenos ou eventos específicos e têm sido utilizadas para monitorizar remotamente vários ambientes aquáticos como rios, costas, lagos e baías. Possuem a vantagem de fornecer dados em tempo-real, o que é vital para alertar os sistemas de emergência ou as autoridades em caso de situações atípicas. Uma vez que as RSSF estão constantemente a ser afetadas por fatores físicos ou ambientais que podem criar incoerências nos dados recolhidos a fim de fornecer a fiabilidade necessária, essas soluções necessitam de ser apoiadas por plataformas que detetam dados defeituosos ou até a omissão dos mesmos. Os dados recolhidos pelos sensores podem sofrer irregularidades devido a mudanças súbitas no estado da água, graças a um defeito no hardware do sensor, grandes rajadas de vento, objetos que obstruem a ligação entre o sensor e a gateway, para onde envia os seus dados, entre outros fatores físicos. Com intuito de ajudar os gestores a analisar os dados em tempo real, a utilização de interfaces intuitivos que exibam facilmente todas as falhas que são detetadas e as suas respetivas correções são necessárias. Gráficos e diagramas permitem apresentar diferentes tipos de dados sem deixar o utilizador perdido com grandes porções de dados. No entanto, apesar de ser um problema bastante atual e cada vez mais importante, é escasso o número de soluções existentes para resolver a falta de monitorização de dados em ambientes aquáticos. SmartCoast foi um projeto inovador nos anos 2000 que recolhia dados de um sensor alocado em Cork, Irlanda. Consistia numa RSSF que monitorizavam a qualidade da água naquele local. Contudo, este projeto não tinha como garantir que os dados que recolhia eram válidos e por isso necessitava de um processo que os avaliasse constantemente. Os projetos mais relevantes em Portugal que se seguiram fazem parte de um esforço coletivo do Laboratório Nacional de Engenharia Civil (LNEC) que elaborou várias iterações com o mesmo cerne até chegar a uma plataforma de desenvolvimento de software, a framework ANNODE. O objetivo final seria a implementação de um sistema capaz de receber e processar dados em tempo real garantindo a qualidade dos dados e consequentemente, a garantia da fiabilidade dos dados da qualidade da água onde o sistema estaria ativo. Por vezes os ambientes aquáticos possuem condições adversas que podem influenciar a recolha de dados de forma coerente. Desta forma, é necessário garantir a qualidade dos dados que recebemos e que processamos. Este projeto dá continuidade ao trabalho realizado pelo colega J. Penim [37] onde a framework ANNODE foi estendida e melhorada de modo a proceder à recolha de dados em tempo real. A framework foi desenvolvida de modo a receber dados e detetar outliers, drifts e offsets com a ajuda de redes neuronais. Esta faz previsões com base em valores anteriormente recolhidos. De seguida, o valor recebido passa por um bloco de qualidade onde o erro quadrático é calculado para verificar se existe ou não uma alta probabilidade do valor recebido ser incorreto. Em caso afirmativo, o valor recebido é substituído pelo valor previsto. Desta forma, a framework deteta outliers, drifts e offsets corrigindo-os com valor de acordo com o esperado. A framework ANNODE oferece capacidades para processar dados de um único sensor (fonte de dados) ou de várias fontes de dados. No entanto, a framework mostra várias limitações quando uma única fonte de dados é utilizada, uma vez que não existem possibilidades de estabelecer correlações de dados entre sensores. Esta framework foi também implementada para um conjunto de dados específico, os dados do Saturn Observatory Network, o que impossibilita o uso de outros conjuntos de dados. No contexto desta tese, e tendo em conta a necessidade de plataformas deste tipo para lidar com dados provenientes de RSSF, uma nova versão da framework foi desenvolvida com novos mecanismos de maneira a ser mais útil nos cenários de monitorização remotos. Como complemento à framework existente, uma estrutura será implementada com o objetivo de dar apoio à framework e a outros serviços importantes a desenvolver como uma interface gráfica. Assim, os objetivos delineados para esta tese consistem no melhoramento funcional da framework, uma nova organização estrutural para melhor compreensão da mesma, uma implementação de uma API e o desenvolvimento de raiz de um dashboard de maneira a integrar todos os componentes da plataforma numa interface gráfica e acessível ao utilizador. Para o melhoramento do funcionamento da framework foi necessário entender a versão anterior da mesma de modo a criar novas funcionalidades e modificar outras já implementadas de maneira a otimizar o código. A fim de melhorar a organização estrutural do código usado durante a implementação da versão anterior de ANNODE, foi desenhada uma arquitetura que possibilita a adição de novas funcionalidades de forma simples e rápida. Com o objetivo de ter uma plataforma sempre em funcionamento e que possa estar à escuta de novas conexões de maneira a conseguir processar dados, é necessário ajustar a framework para um funcionamento contínuo e que seja confiável num ambiente online. A existência de vários componentes díspares onde a comunicação entre os mesmos era importante, implementou-se um ambiente de virtualização através de microserviços e imagens da ferramenta Docker, necessário à utilização simultânea de diferentes serviços virtuais. Deste modo, existem serviços para cada elemento essencial nesta plataforma, nomeadamente, serviços para a framework em si, para a interface gráfica, para a API e outras tecnologias como o Grafana e a base de dados MySQL que são utilizadas e que necessitam de acesso constante. Este projeto está dividido em duas fases. A primeira fase consiste em compreender e alargar a framework ANNODE. É essencial compreender como funciona a framework, como deteta outliers, como é que uma previsão é calculada e como são substituídos os valores considerados como anomalias. É nesta fase que exploramos novas abordagens a adicionar à framework de modo a complementar as funcionalidades existentes. De seguida, é necessário englobar o envio de dados recolhidos por sensores do LNEC para a framework e observar o seu comportamento, generalizar a framework, definir de fatores que fazem uma medição um outlier, reformular a framework para um uso mais compreensível e um melhor funcionamento, implementar novos métodos para a deteção de anomalias, mais especificamente, omissão de dados ou dados em falta. A segunda fase consiste na implementação de um dashboard para o sistema de monitorização remota, onde uma arquitetura de sistema necessita de ser construída de modo a apoiar a interface gráfica. Esta deve mostrar ao utilizador, em tempo real, dados e as suas anomalias, caso sejam detetadas. No final, esta solução mostrou ser fiável no contexto desta tese. Obtivemos resultados bastante promissores que melhoram esta contribuição na inovação de soluções para este tipo de problema, sendo possível a deteção de anomalias como outliers e omissões de dados em tempo real, assim como a sua correção. Este processamento de dados é valido não só para apenas um sensor, mas também para vários sensores que enviam dados em simultâneo.Wireless sensor networks used in aquatic environments for continuous monitoring are typically subject to physical or environmental factors that create anomalies in collected data. A possible approach to identify and correct these anomalies is to use artificial neural networks, as the previously proposed ANNODE (Artificial Neural Network-based Outlier Detection), to improve the data quality. The ANNODE framework uses neural networks trained to detect outliers in a time series dataset. The framework is split into two parts, one for off-line training of neural networks, and the other for real-time processing of incoming sensor data and outlier detection. This work proposes ANNODE+, which extends the ANNODE framework by detecting missing data in addition to outliers, and by handling multiple simultaneous time series inputs, as long as the target is to detect anomalies in those time series. A new design and implementation were planned for ANNODE+, as well as an interface in which the framework’s behaviour can be seen in real-time, enabling the user to observe the detected anomalies and their correction. ANNODE+ also correlates different variables that might contribute to changes in water quality, and can identify real events that look like anomalies, thus avoiding false positives. In addition, a REST API was also implemented to fetch all stored measurements collected by sensors. This work was developed in the scope of the AQUAMON project, whose objective is to develop a dependable platform based on wireless sensor networks to monitor aquatic environments. Two datasets are used to evaluate the ANNODE+ capabilities. One dataset was built from a sensor deployment in Seixal’s bay, Portugal. This dataset includes measurements of water level, temperature, and salinity. The second dataset was collected from the SATURN Observation Network, which comprises water temperature measurements. In terms of results, the new ANNODE+ framework performs as intended, detecting anomalies and correcting them successfully. Every received and corrected measurement is stored in a database which is then accessed to graphically show the framework’s behaviour through a specifically built interface.Cecílio, José Manuel da SilvaCosta, António Casimiro Ferreira daRepositório da Universidade de LisboaSousa, Inês Silva2023-07-10T14:23:12Z202220222022-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10451/58533enginfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-11-08T17:07:26Zoai:repositorio.ul.pt:10451/58533Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T22:08:46.518971Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Integration of multiple data sources and dashboard for a remote monitoring system
title Integration of multiple data sources and dashboard for a remote monitoring system
spellingShingle Integration of multiple data sources and dashboard for a remote monitoring system
Sousa, Inês Silva
Redes Neuronais
Monitorização Ambiental
Redes de Sensores
Previsão de Valores
Qualidade de Dados
Teses de mestrado - 2022
Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Integration of multiple data sources and dashboard for a remote monitoring system
title_full Integration of multiple data sources and dashboard for a remote monitoring system
title_fullStr Integration of multiple data sources and dashboard for a remote monitoring system
title_full_unstemmed Integration of multiple data sources and dashboard for a remote monitoring system
title_sort Integration of multiple data sources and dashboard for a remote monitoring system
author Sousa, Inês Silva
author_facet Sousa, Inês Silva
author_role author
dc.contributor.none.fl_str_mv Cecílio, José Manuel da Silva
Costa, António Casimiro Ferreira da
Repositório da Universidade de Lisboa
dc.contributor.author.fl_str_mv Sousa, Inês Silva
dc.subject.por.fl_str_mv Redes Neuronais
Monitorização Ambiental
Redes de Sensores
Previsão de Valores
Qualidade de Dados
Teses de mestrado - 2022
Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Redes Neuronais
Monitorização Ambiental
Redes de Sensores
Previsão de Valores
Qualidade de Dados
Teses de mestrado - 2022
Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Tese de Mestrado, Informática, 2022, Universidade de Lisboa, Faculdade de Ciências
publishDate 2022
dc.date.none.fl_str_mv 2022
2022
2022-01-01T00:00:00Z
2023-07-10T14:23:12Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10451/58533
url http://hdl.handle.net/10451/58533
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134643537051648

Registros relacionados