Uma plataforma para integração de dados para cidades inteligentes
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | https://www.teses.usp.br/teses/disponiveis/45/45134/tde-29012024-105400/ |
Resumo: | A coleta, processamento e análise de dados provenientes de diversas fontes podem proporcionar uma compreensão mais aprofundada das operações e necessidades urbanas. Contudo, criar soluções eficazes para explorar dados urbanos é desafiador devido ao grande volume, heterogeneidade e à falta de acessibilidade e integração desses dados. Embora tenham sido abordados em diversas pesquisas, os sistemas de integração de dados para cidades inteligentes ainda enfrentam questões não resolvidas e apresentam oportunidades de aprimoramento. Entre as deficiências identificadas, destacam-se a falta de suporte adequado para o gerenciamento de metadados e a ausência de facilidades para a consulta de dados direcionada a usuários não especializados, dificultando a descoberta e reutilização de dados urbanos. Neste trabalho, realizamos uma revisão da literatura sobre sistemas de integração de dados para cidades inteligentes e, a partir dela, identificamos os principais requisitos funcionais e não funcionais desse tipo de sistema de software. Com base na revisão da literatura, propomos uma arquitetura de microsserviços para ingestão e integração física dos dados, para facilitar o desenvolvimento de plataformas de software que integram dados heterogêneos em ambientes urbanos inteligentes. A arquitetura proposta é uma extensão das arquiteturas encontradas na literatura e suporta a ingestão de dados, processamento, gerenciamento de metadados, processamento, análise e visualização de dados, ao mesmo tempo que fornece escalabilidade, disponibilidade, segurança e privacidade. A arquitetura apresenta ainda recursos exclusivos como: um único ponto de acesso a microsserviços por aplicativos externos; um serviço de autenticação e autorização de acesso; uma interface centralizadora dos serviços; a criação de novas coleções de dados com base nas existentes; e compatibilização de dados em coleções que sofreram alterações estruturais ou semânticas ao longo do tempo, utilizando o histórico de modificação de metadados e regras de mapeamento. O trabalho também apresenta diretrizes com base na Cloud Evaluation Experiment Methodology para avaliar o consumo de CPU, memória, latência, tempo de resposta e escalabilidade dos serviços que compõem a arquitetura proposta. Implementamos uma prova de conceito para os principais serviços da arquitetura (ingestão de dados, gerenciamento de metadados, consulta de dados e visualização de dados) e avaliamos o desempenho com base na metodologia proposta. Os experimentos mostraram que os serviços podem ser escalados horizontalmente para lidar com a demanda de uma cidade inteligente, além de manter tempos de resposta abaixo de dois segundos. |
id |
USP_5cfb1f03d3dd44142b40fbb00529f839 |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-29012024-105400 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
Uma plataforma para integração de dados para cidades inteligentesA platform for data integration for smart citiesCidades inteligentesData integrationData managementGerenciamento de dadosIntegração de dadosMicroservicesMicrosserviçosSmart citiesA coleta, processamento e análise de dados provenientes de diversas fontes podem proporcionar uma compreensão mais aprofundada das operações e necessidades urbanas. Contudo, criar soluções eficazes para explorar dados urbanos é desafiador devido ao grande volume, heterogeneidade e à falta de acessibilidade e integração desses dados. Embora tenham sido abordados em diversas pesquisas, os sistemas de integração de dados para cidades inteligentes ainda enfrentam questões não resolvidas e apresentam oportunidades de aprimoramento. Entre as deficiências identificadas, destacam-se a falta de suporte adequado para o gerenciamento de metadados e a ausência de facilidades para a consulta de dados direcionada a usuários não especializados, dificultando a descoberta e reutilização de dados urbanos. Neste trabalho, realizamos uma revisão da literatura sobre sistemas de integração de dados para cidades inteligentes e, a partir dela, identificamos os principais requisitos funcionais e não funcionais desse tipo de sistema de software. Com base na revisão da literatura, propomos uma arquitetura de microsserviços para ingestão e integração física dos dados, para facilitar o desenvolvimento de plataformas de software que integram dados heterogêneos em ambientes urbanos inteligentes. A arquitetura proposta é uma extensão das arquiteturas encontradas na literatura e suporta a ingestão de dados, processamento, gerenciamento de metadados, processamento, análise e visualização de dados, ao mesmo tempo que fornece escalabilidade, disponibilidade, segurança e privacidade. A arquitetura apresenta ainda recursos exclusivos como: um único ponto de acesso a microsserviços por aplicativos externos; um serviço de autenticação e autorização de acesso; uma interface centralizadora dos serviços; a criação de novas coleções de dados com base nas existentes; e compatibilização de dados em coleções que sofreram alterações estruturais ou semânticas ao longo do tempo, utilizando o histórico de modificação de metadados e regras de mapeamento. O trabalho também apresenta diretrizes com base na Cloud Evaluation Experiment Methodology para avaliar o consumo de CPU, memória, latência, tempo de resposta e escalabilidade dos serviços que compõem a arquitetura proposta. Implementamos uma prova de conceito para os principais serviços da arquitetura (ingestão de dados, gerenciamento de metadados, consulta de dados e visualização de dados) e avaliamos o desempenho com base na metodologia proposta. Os experimentos mostraram que os serviços podem ser escalados horizontalmente para lidar com a demanda de uma cidade inteligente, além de manter tempos de resposta abaixo de dois segundos.The collection, processing, and analysis of data generated by varied sources can help us better understand the functioning and demands of cities. However, developing efficient solutions to explore urban data is challenging due to the large volume, heterogeneity, and lack of accessibility and integration of this data. While data integration systems for smart cities have been the subject of various research efforts, there are still open issues and opportunities for improvement. Identified deficiencies include insufficient support for metadata management and a lack of facilities for user-friendly data queries, hindering the discovery and reuse of urban data. In this work, we conducted a literature review on data integration systems for smart cities to identify the main functional and non-functional requirements this kind of software system has. Building upon the literature review, we propose a microservices architecture for data ingestion and physical integration to facilitate the development of software platforms that integrate heterogeneous data in intelligent urban environments. The proposed architecture extends existing literature architectures, supporting data ingestion, processing, metadata management, analysis, and data visualization while providing scalability, availability, security, and privacy. It also features unique capabilities such as a single access point to microservices for external applications, an authentication and access authorization service, a service centralization interface, the creation of new data collections based on existing ones, and data compatibilization in collections that have undergone structural or semantic changes over time, using metadata modification history and mapping rules. We also present guidelines based on the Cloud Evaluation Experiment Methodology to assess CPU consumption, memory usage, latency, response time, and scalability of the proposed architectures services. We have implemented a proof of concept for the main services of the architecture (data ingestion, metadata management, data querying, and data visualization) and evaluated their performance based on the proposed methodology. The experiments have shown that the services horizontally scale to handle the demands of a smart city while maintaining response times below two seconds.Biblioteca Digitais de Teses e Dissertações da USPBraghetto, Kelly RosaRibeiro, Murilo Borges2023-12-20info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/45/45134/tde-29012024-105400/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-02-05T18:05:03Zoai:teses.usp.br:tde-29012024-105400Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-02-05T18:05:03Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
Uma plataforma para integração de dados para cidades inteligentes A platform for data integration for smart cities |
title |
Uma plataforma para integração de dados para cidades inteligentes |
spellingShingle |
Uma plataforma para integração de dados para cidades inteligentes Ribeiro, Murilo Borges Cidades inteligentes Data integration Data management Gerenciamento de dados Integração de dados Microservices Microsserviços Smart cities |
title_short |
Uma plataforma para integração de dados para cidades inteligentes |
title_full |
Uma plataforma para integração de dados para cidades inteligentes |
title_fullStr |
Uma plataforma para integração de dados para cidades inteligentes |
title_full_unstemmed |
Uma plataforma para integração de dados para cidades inteligentes |
title_sort |
Uma plataforma para integração de dados para cidades inteligentes |
author |
Ribeiro, Murilo Borges |
author_facet |
Ribeiro, Murilo Borges |
author_role |
author |
dc.contributor.none.fl_str_mv |
Braghetto, Kelly Rosa |
dc.contributor.author.fl_str_mv |
Ribeiro, Murilo Borges |
dc.subject.por.fl_str_mv |
Cidades inteligentes Data integration Data management Gerenciamento de dados Integração de dados Microservices Microsserviços Smart cities |
topic |
Cidades inteligentes Data integration Data management Gerenciamento de dados Integração de dados Microservices Microsserviços Smart cities |
description |
A coleta, processamento e análise de dados provenientes de diversas fontes podem proporcionar uma compreensão mais aprofundada das operações e necessidades urbanas. Contudo, criar soluções eficazes para explorar dados urbanos é desafiador devido ao grande volume, heterogeneidade e à falta de acessibilidade e integração desses dados. Embora tenham sido abordados em diversas pesquisas, os sistemas de integração de dados para cidades inteligentes ainda enfrentam questões não resolvidas e apresentam oportunidades de aprimoramento. Entre as deficiências identificadas, destacam-se a falta de suporte adequado para o gerenciamento de metadados e a ausência de facilidades para a consulta de dados direcionada a usuários não especializados, dificultando a descoberta e reutilização de dados urbanos. Neste trabalho, realizamos uma revisão da literatura sobre sistemas de integração de dados para cidades inteligentes e, a partir dela, identificamos os principais requisitos funcionais e não funcionais desse tipo de sistema de software. Com base na revisão da literatura, propomos uma arquitetura de microsserviços para ingestão e integração física dos dados, para facilitar o desenvolvimento de plataformas de software que integram dados heterogêneos em ambientes urbanos inteligentes. A arquitetura proposta é uma extensão das arquiteturas encontradas na literatura e suporta a ingestão de dados, processamento, gerenciamento de metadados, processamento, análise e visualização de dados, ao mesmo tempo que fornece escalabilidade, disponibilidade, segurança e privacidade. A arquitetura apresenta ainda recursos exclusivos como: um único ponto de acesso a microsserviços por aplicativos externos; um serviço de autenticação e autorização de acesso; uma interface centralizadora dos serviços; a criação de novas coleções de dados com base nas existentes; e compatibilização de dados em coleções que sofreram alterações estruturais ou semânticas ao longo do tempo, utilizando o histórico de modificação de metadados e regras de mapeamento. O trabalho também apresenta diretrizes com base na Cloud Evaluation Experiment Methodology para avaliar o consumo de CPU, memória, latência, tempo de resposta e escalabilidade dos serviços que compõem a arquitetura proposta. Implementamos uma prova de conceito para os principais serviços da arquitetura (ingestão de dados, gerenciamento de metadados, consulta de dados e visualização de dados) e avaliamos o desempenho com base na metodologia proposta. Os experimentos mostraram que os serviços podem ser escalados horizontalmente para lidar com a demanda de uma cidade inteligente, além de manter tempos de resposta abaixo de dois segundos. |
publishDate |
2023 |
dc.date.none.fl_str_mv |
2023-12-20 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/45/45134/tde-29012024-105400/ |
url |
https://www.teses.usp.br/teses/disponiveis/45/45134/tde-29012024-105400/ |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1815257451201560576 |