Uma plataforma para integração de dados para cidades inteligentes

Detalhes bibliográficos
Autor(a) principal: Ribeiro, Murilo Borges
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-29012024-105400/
Resumo: A coleta, processamento e análise de dados provenientes de diversas fontes podem proporcionar uma compreensão mais aprofundada das operações e necessidades urbanas. Contudo, criar soluções eficazes para explorar dados urbanos é desafiador devido ao grande volume, heterogeneidade e à falta de acessibilidade e integração desses dados. Embora tenham sido abordados em diversas pesquisas, os sistemas de integração de dados para cidades inteligentes ainda enfrentam questões não resolvidas e apresentam oportunidades de aprimoramento. Entre as deficiências identificadas, destacam-se a falta de suporte adequado para o gerenciamento de metadados e a ausência de facilidades para a consulta de dados direcionada a usuários não especializados, dificultando a descoberta e reutilização de dados urbanos. Neste trabalho, realizamos uma revisão da literatura sobre sistemas de integração de dados para cidades inteligentes e, a partir dela, identificamos os principais requisitos funcionais e não funcionais desse tipo de sistema de software. Com base na revisão da literatura, propomos uma arquitetura de microsserviços para ingestão e integração física dos dados, para facilitar o desenvolvimento de plataformas de software que integram dados heterogêneos em ambientes urbanos inteligentes. A arquitetura proposta é uma extensão das arquiteturas encontradas na literatura e suporta a ingestão de dados, processamento, gerenciamento de metadados, processamento, análise e visualização de dados, ao mesmo tempo que fornece escalabilidade, disponibilidade, segurança e privacidade. A arquitetura apresenta ainda recursos exclusivos como: um único ponto de acesso a microsserviços por aplicativos externos; um serviço de autenticação e autorização de acesso; uma interface centralizadora dos serviços; a criação de novas coleções de dados com base nas existentes; e compatibilização de dados em coleções que sofreram alterações estruturais ou semânticas ao longo do tempo, utilizando o histórico de modificação de metadados e regras de mapeamento. O trabalho também apresenta diretrizes com base na Cloud Evaluation Experiment Methodology para avaliar o consumo de CPU, memória, latência, tempo de resposta e escalabilidade dos serviços que compõem a arquitetura proposta. Implementamos uma prova de conceito para os principais serviços da arquitetura (ingestão de dados, gerenciamento de metadados, consulta de dados e visualização de dados) e avaliamos o desempenho com base na metodologia proposta. Os experimentos mostraram que os serviços podem ser escalados horizontalmente para lidar com a demanda de uma cidade inteligente, além de manter tempos de resposta abaixo de dois segundos.
id USP_5cfb1f03d3dd44142b40fbb00529f839
oai_identifier_str oai:teses.usp.br:tde-29012024-105400
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Uma plataforma para integração de dados para cidades inteligentesA platform for data integration for smart citiesCidades inteligentesData integrationData managementGerenciamento de dadosIntegração de dadosMicroservicesMicrosserviçosSmart citiesA coleta, processamento e análise de dados provenientes de diversas fontes podem proporcionar uma compreensão mais aprofundada das operações e necessidades urbanas. Contudo, criar soluções eficazes para explorar dados urbanos é desafiador devido ao grande volume, heterogeneidade e à falta de acessibilidade e integração desses dados. Embora tenham sido abordados em diversas pesquisas, os sistemas de integração de dados para cidades inteligentes ainda enfrentam questões não resolvidas e apresentam oportunidades de aprimoramento. Entre as deficiências identificadas, destacam-se a falta de suporte adequado para o gerenciamento de metadados e a ausência de facilidades para a consulta de dados direcionada a usuários não especializados, dificultando a descoberta e reutilização de dados urbanos. Neste trabalho, realizamos uma revisão da literatura sobre sistemas de integração de dados para cidades inteligentes e, a partir dela, identificamos os principais requisitos funcionais e não funcionais desse tipo de sistema de software. Com base na revisão da literatura, propomos uma arquitetura de microsserviços para ingestão e integração física dos dados, para facilitar o desenvolvimento de plataformas de software que integram dados heterogêneos em ambientes urbanos inteligentes. A arquitetura proposta é uma extensão das arquiteturas encontradas na literatura e suporta a ingestão de dados, processamento, gerenciamento de metadados, processamento, análise e visualização de dados, ao mesmo tempo que fornece escalabilidade, disponibilidade, segurança e privacidade. A arquitetura apresenta ainda recursos exclusivos como: um único ponto de acesso a microsserviços por aplicativos externos; um serviço de autenticação e autorização de acesso; uma interface centralizadora dos serviços; a criação de novas coleções de dados com base nas existentes; e compatibilização de dados em coleções que sofreram alterações estruturais ou semânticas ao longo do tempo, utilizando o histórico de modificação de metadados e regras de mapeamento. O trabalho também apresenta diretrizes com base na Cloud Evaluation Experiment Methodology para avaliar o consumo de CPU, memória, latência, tempo de resposta e escalabilidade dos serviços que compõem a arquitetura proposta. Implementamos uma prova de conceito para os principais serviços da arquitetura (ingestão de dados, gerenciamento de metadados, consulta de dados e visualização de dados) e avaliamos o desempenho com base na metodologia proposta. Os experimentos mostraram que os serviços podem ser escalados horizontalmente para lidar com a demanda de uma cidade inteligente, além de manter tempos de resposta abaixo de dois segundos.The collection, processing, and analysis of data generated by varied sources can help us better understand the functioning and demands of cities. However, developing efficient solutions to explore urban data is challenging due to the large volume, heterogeneity, and lack of accessibility and integration of this data. While data integration systems for smart cities have been the subject of various research efforts, there are still open issues and opportunities for improvement. Identified deficiencies include insufficient support for metadata management and a lack of facilities for user-friendly data queries, hindering the discovery and reuse of urban data. In this work, we conducted a literature review on data integration systems for smart cities to identify the main functional and non-functional requirements this kind of software system has. Building upon the literature review, we propose a microservices architecture for data ingestion and physical integration to facilitate the development of software platforms that integrate heterogeneous data in intelligent urban environments. The proposed architecture extends existing literature architectures, supporting data ingestion, processing, metadata management, analysis, and data visualization while providing scalability, availability, security, and privacy. It also features unique capabilities such as a single access point to microservices for external applications, an authentication and access authorization service, a service centralization interface, the creation of new data collections based on existing ones, and data compatibilization in collections that have undergone structural or semantic changes over time, using metadata modification history and mapping rules. We also present guidelines based on the Cloud Evaluation Experiment Methodology to assess CPU consumption, memory usage, latency, response time, and scalability of the proposed architectures services. We have implemented a proof of concept for the main services of the architecture (data ingestion, metadata management, data querying, and data visualization) and evaluated their performance based on the proposed methodology. The experiments have shown that the services horizontally scale to handle the demands of a smart city while maintaining response times below two seconds.Biblioteca Digitais de Teses e Dissertações da USPBraghetto, Kelly RosaRibeiro, Murilo Borges2023-12-20info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/45/45134/tde-29012024-105400/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-02-05T18:05:03Zoai:teses.usp.br:tde-29012024-105400Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-02-05T18:05:03Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Uma plataforma para integração de dados para cidades inteligentes
A platform for data integration for smart cities
title Uma plataforma para integração de dados para cidades inteligentes
spellingShingle Uma plataforma para integração de dados para cidades inteligentes
Ribeiro, Murilo Borges
Cidades inteligentes
Data integration
Data management
Gerenciamento de dados
Integração de dados
Microservices
Microsserviços
Smart cities
title_short Uma plataforma para integração de dados para cidades inteligentes
title_full Uma plataforma para integração de dados para cidades inteligentes
title_fullStr Uma plataforma para integração de dados para cidades inteligentes
title_full_unstemmed Uma plataforma para integração de dados para cidades inteligentes
title_sort Uma plataforma para integração de dados para cidades inteligentes
author Ribeiro, Murilo Borges
author_facet Ribeiro, Murilo Borges
author_role author
dc.contributor.none.fl_str_mv Braghetto, Kelly Rosa
dc.contributor.author.fl_str_mv Ribeiro, Murilo Borges
dc.subject.por.fl_str_mv Cidades inteligentes
Data integration
Data management
Gerenciamento de dados
Integração de dados
Microservices
Microsserviços
Smart cities
topic Cidades inteligentes
Data integration
Data management
Gerenciamento de dados
Integração de dados
Microservices
Microsserviços
Smart cities
description A coleta, processamento e análise de dados provenientes de diversas fontes podem proporcionar uma compreensão mais aprofundada das operações e necessidades urbanas. Contudo, criar soluções eficazes para explorar dados urbanos é desafiador devido ao grande volume, heterogeneidade e à falta de acessibilidade e integração desses dados. Embora tenham sido abordados em diversas pesquisas, os sistemas de integração de dados para cidades inteligentes ainda enfrentam questões não resolvidas e apresentam oportunidades de aprimoramento. Entre as deficiências identificadas, destacam-se a falta de suporte adequado para o gerenciamento de metadados e a ausência de facilidades para a consulta de dados direcionada a usuários não especializados, dificultando a descoberta e reutilização de dados urbanos. Neste trabalho, realizamos uma revisão da literatura sobre sistemas de integração de dados para cidades inteligentes e, a partir dela, identificamos os principais requisitos funcionais e não funcionais desse tipo de sistema de software. Com base na revisão da literatura, propomos uma arquitetura de microsserviços para ingestão e integração física dos dados, para facilitar o desenvolvimento de plataformas de software que integram dados heterogêneos em ambientes urbanos inteligentes. A arquitetura proposta é uma extensão das arquiteturas encontradas na literatura e suporta a ingestão de dados, processamento, gerenciamento de metadados, processamento, análise e visualização de dados, ao mesmo tempo que fornece escalabilidade, disponibilidade, segurança e privacidade. A arquitetura apresenta ainda recursos exclusivos como: um único ponto de acesso a microsserviços por aplicativos externos; um serviço de autenticação e autorização de acesso; uma interface centralizadora dos serviços; a criação de novas coleções de dados com base nas existentes; e compatibilização de dados em coleções que sofreram alterações estruturais ou semânticas ao longo do tempo, utilizando o histórico de modificação de metadados e regras de mapeamento. O trabalho também apresenta diretrizes com base na Cloud Evaluation Experiment Methodology para avaliar o consumo de CPU, memória, latência, tempo de resposta e escalabilidade dos serviços que compõem a arquitetura proposta. Implementamos uma prova de conceito para os principais serviços da arquitetura (ingestão de dados, gerenciamento de metadados, consulta de dados e visualização de dados) e avaliamos o desempenho com base na metodologia proposta. Os experimentos mostraram que os serviços podem ser escalados horizontalmente para lidar com a demanda de uma cidade inteligente, além de manter tempos de resposta abaixo de dois segundos.
publishDate 2023
dc.date.none.fl_str_mv 2023-12-20
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/45/45134/tde-29012024-105400/
url https://www.teses.usp.br/teses/disponiveis/45/45134/tde-29012024-105400/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809091166392549376