Edge-distributed stream processing for video analytics in smart city applications

Detalhes bibliográficos
Autor(a) principal: Rocha Neto, Aluízio Ferreira da
Data de Publicação: 2021
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UFRN
Texto Completo: https://repositorio.ufrn.br/handle/123456789/32743
Resumo: Aplicações emergentes de Internet das Coisas (IoT) baseadas em sensores distribuídos e inteligência, especialmente no contexto de cidades inteligentes, apresentam muitos desafios para a infraestrutura de rede e de processamento. Por exemplo, um único sistema com algumas dezenas de câmeras de monitoramento é suficiente para saturar o backbone da cidade. Além disso, tal sistema gera fluxos massivos de dados para aplicações baseadas em eventos que demandam um rápido processamento visando ações imediatas. A busca por uma pessoa desaparecida usando a tecnologia de reconhecimento facial é uma dessas aplicações que requer ação imediata no local onde essa pessoa se encontra, uma vez que esta localização é uma informação perecível. Uma estratégia promissora para dar suporte à demanda computacional de sistemas amplamente distribuídos geograficamente é a integração da computação de borda com inteligência de máquina com o objetivo de interpretar os dados próximos ao sensor e reduzir a latência de ponta a ponta no processamento dos eventos. No entanto, devido à capacidade limitada e heterogeneidade dos dispositivos de borda, tal processamento distribuído não é trivial, especialmente quando as aplicações têm diferentes requisitos de Qualidade de Serviço (QoS). Este trabalho apresenta um arcabouço de sistema distribuído para análise de vídeos com o processamento na borda da rede. Investigamos pesquisas recentes sobre processamento de fluxos de dados massivos, principalmente com foco na divisão desse processamento em vários tipos de tarefas. Em seguida, propomos uma arquitetura para organizar nós de borda e de nuvem para executarem várias destas tarefas em um esquema de colaboração de processamento de fluxos de dados multimídia. Um método de distribuição de carga de trabalho em nós de borda para o processamento baseado em eventos também é proposto, juntamente com um esquema de reutilização dos nós que realizam tarefas do interesse de várias aplicações, tal como uma tarefa de reconhecimento facial, por exemplo. Também desenvolvemos um algoritmo para alocar nós com capacidade de processamento suficiente para processar a demanda dos fluxos enquanto atende aos requisitos de QoS das aplicações. Por fim, as simulações mostraram que a distribuição do processamento em vários nós de borda reduz a latência e o consumo de energia e ainda melhora a disponibilidade em comparação com o processamento centralizado na nuvem.
id UFRN_b25f76b9c4e0cfc63ce2d644094751b3
oai_identifier_str oai:https://repositorio.ufrn.br:123456789/32743
network_acronym_str UFRN
network_name_str Repositório Institucional da UFRN
repository_id_str
spelling Rocha Neto, Aluízio Ferreira dahttp://lattes.cnpq.br/5056619278818251http://lattes.cnpq.br/5521922960404236Delicato, Flávia Coimbrahttp://lattes.cnpq.br/5386282151810710Cacho, Nelio Alessandro Azevedohttp://lattes.cnpq.br/4635320220484649Souza, José Neuman dePires, Paulo de Figueiredohttp://lattes.cnpq.br/1304174767727101Batista, Thais Vasconcelos2021-06-21T17:55:51Z2021-06-21T17:55:51Z2021-03-31ROCHA NETO, Aluízio Ferreira da. Edge-distributed stream processing for video analytics in smart city applications. 2021. 118f. Tese (Doutorado em Ciência da Computação) - Centro de Ciências Exatas e da Terra, Universidade Federal do Rio Grande do Norte, Natal, 2021.https://repositorio.ufrn.br/handle/123456789/32743Aplicações emergentes de Internet das Coisas (IoT) baseadas em sensores distribuídos e inteligência, especialmente no contexto de cidades inteligentes, apresentam muitos desafios para a infraestrutura de rede e de processamento. Por exemplo, um único sistema com algumas dezenas de câmeras de monitoramento é suficiente para saturar o backbone da cidade. Além disso, tal sistema gera fluxos massivos de dados para aplicações baseadas em eventos que demandam um rápido processamento visando ações imediatas. A busca por uma pessoa desaparecida usando a tecnologia de reconhecimento facial é uma dessas aplicações que requer ação imediata no local onde essa pessoa se encontra, uma vez que esta localização é uma informação perecível. Uma estratégia promissora para dar suporte à demanda computacional de sistemas amplamente distribuídos geograficamente é a integração da computação de borda com inteligência de máquina com o objetivo de interpretar os dados próximos ao sensor e reduzir a latência de ponta a ponta no processamento dos eventos. No entanto, devido à capacidade limitada e heterogeneidade dos dispositivos de borda, tal processamento distribuído não é trivial, especialmente quando as aplicações têm diferentes requisitos de Qualidade de Serviço (QoS). Este trabalho apresenta um arcabouço de sistema distribuído para análise de vídeos com o processamento na borda da rede. Investigamos pesquisas recentes sobre processamento de fluxos de dados massivos, principalmente com foco na divisão desse processamento em vários tipos de tarefas. Em seguida, propomos uma arquitetura para organizar nós de borda e de nuvem para executarem várias destas tarefas em um esquema de colaboração de processamento de fluxos de dados multimídia. Um método de distribuição de carga de trabalho em nós de borda para o processamento baseado em eventos também é proposto, juntamente com um esquema de reutilização dos nós que realizam tarefas do interesse de várias aplicações, tal como uma tarefa de reconhecimento facial, por exemplo. Também desenvolvemos um algoritmo para alocar nós com capacidade de processamento suficiente para processar a demanda dos fluxos enquanto atende aos requisitos de QoS das aplicações. Por fim, as simulações mostraram que a distribuição do processamento em vários nós de borda reduz a latência e o consumo de energia e ainda melhora a disponibilidade em comparação com o processamento centralizado na nuvem.Emerging Internet of Things (IoT) applications based on distributed sensors and machine intelligence, especially in smart cities, present many challenges for network and processing infrastructure. For example, a single system with a few dozen monitoring cameras is sufficient to saturate the city’s backbone. Such a system generates massive data streams for event-based applications that require rapid processing for immediate actions. Finding a missing person using facial recognition technology is one of those applications that require immediate action at the location where that person is since this location is perishable information. An encouraging plan to support the computational demand for widely geographically distributed systems is to integrate edge computing with machine intelligence to interpret massive data near the sensor and reduce end-to-end latency in event processing. However, due to the limited capacity and heterogeneity of the edge devices, distributed processing is not trivial, especially when applications have different Quality of Service (QoS) requirements. This work presents an edge-distributed system framework that supports stream processing for video analytics. We investigate recent researches regarding massive IoT data stream processing, primarily focusing on the division of this processing in multiple types of tasks. Then, we propose an architecture to organize edge and cloud nodes for running various functions in a collaboration schema to process multimedia data streams. A method of distributing workload on edge nodes for event-based processing is also proposed, along with a scheme for reusing nodes that perform tasks of interest to various applications, such as a facial recognition task, for example. We have also developed an algorithm to allocate nodes with sufficient processing capacity to process the flows demand while meeting the applications’ QoS requirements. Finally, the simulations showed that the distribution of processing across multiple edge nodes reduces latency and energy consumption and further improves availability compared to centralized processing in the cloud.Universidade Federal do Rio Grande do NortePROGRAMA DE PÓS-GRADUAÇÃO EM SISTEMAS E COMPUTAÇÃOUFRNBrasilSmart citiesEdge computingIntelligent video analyticsInformation fusionStream processingEdge-distributed stream processing for video analytics in smart city applicationsProcessamento de fluxo distribuído na borda para análise de vídeo em aplicações de cidades inteligentesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNORIGINALEdgedistributedstream_RochaNeto_2021.pdfapplication/pdf3282791https://repositorio.ufrn.br/bitstream/123456789/32743/1/Edgedistributedstream_RochaNeto_2021.pdffbfa122bb5312d40a2fb09def2b49a1dMD51123456789/327432021-06-21 14:57:47.564oai:https://repositorio.ufrn.br:123456789/32743Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2021-06-21T17:57:47Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false
dc.title.pt_BR.fl_str_mv Edge-distributed stream processing for video analytics in smart city applications
dc.title.alternative.pt_BR.fl_str_mv Processamento de fluxo distribuído na borda para análise de vídeo em aplicações de cidades inteligentes
title Edge-distributed stream processing for video analytics in smart city applications
spellingShingle Edge-distributed stream processing for video analytics in smart city applications
Rocha Neto, Aluízio Ferreira da
Smart cities
Edge computing
Intelligent video analytics
Information fusion
Stream processing
title_short Edge-distributed stream processing for video analytics in smart city applications
title_full Edge-distributed stream processing for video analytics in smart city applications
title_fullStr Edge-distributed stream processing for video analytics in smart city applications
title_full_unstemmed Edge-distributed stream processing for video analytics in smart city applications
title_sort Edge-distributed stream processing for video analytics in smart city applications
author Rocha Neto, Aluízio Ferreira da
author_facet Rocha Neto, Aluízio Ferreira da
author_role author
dc.contributor.authorID.pt_BR.fl_str_mv
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/5056619278818251
dc.contributor.advisorID.pt_BR.fl_str_mv
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/5521922960404236
dc.contributor.advisor-co1ID.pt_BR.fl_str_mv
dc.contributor.referees1.none.fl_str_mv Cacho, Nelio Alessandro Azevedo
dc.contributor.referees1ID.pt_BR.fl_str_mv
dc.contributor.referees1Lattes.pt_BR.fl_str_mv http://lattes.cnpq.br/4635320220484649
dc.contributor.referees2.none.fl_str_mv Souza, José Neuman de
dc.contributor.referees2ID.pt_BR.fl_str_mv
dc.contributor.referees3.none.fl_str_mv Pires, Paulo de Figueiredo
dc.contributor.referees3ID.pt_BR.fl_str_mv
dc.contributor.referees3Lattes.pt_BR.fl_str_mv http://lattes.cnpq.br/1304174767727101
dc.contributor.author.fl_str_mv Rocha Neto, Aluízio Ferreira da
dc.contributor.advisor-co1.fl_str_mv Delicato, Flávia Coimbra
dc.contributor.advisor-co1Lattes.fl_str_mv http://lattes.cnpq.br/5386282151810710
dc.contributor.advisor1.fl_str_mv Batista, Thais Vasconcelos
contributor_str_mv Delicato, Flávia Coimbra
Batista, Thais Vasconcelos
dc.subject.por.fl_str_mv Smart cities
Edge computing
Intelligent video analytics
Information fusion
Stream processing
topic Smart cities
Edge computing
Intelligent video analytics
Information fusion
Stream processing
description Aplicações emergentes de Internet das Coisas (IoT) baseadas em sensores distribuídos e inteligência, especialmente no contexto de cidades inteligentes, apresentam muitos desafios para a infraestrutura de rede e de processamento. Por exemplo, um único sistema com algumas dezenas de câmeras de monitoramento é suficiente para saturar o backbone da cidade. Além disso, tal sistema gera fluxos massivos de dados para aplicações baseadas em eventos que demandam um rápido processamento visando ações imediatas. A busca por uma pessoa desaparecida usando a tecnologia de reconhecimento facial é uma dessas aplicações que requer ação imediata no local onde essa pessoa se encontra, uma vez que esta localização é uma informação perecível. Uma estratégia promissora para dar suporte à demanda computacional de sistemas amplamente distribuídos geograficamente é a integração da computação de borda com inteligência de máquina com o objetivo de interpretar os dados próximos ao sensor e reduzir a latência de ponta a ponta no processamento dos eventos. No entanto, devido à capacidade limitada e heterogeneidade dos dispositivos de borda, tal processamento distribuído não é trivial, especialmente quando as aplicações têm diferentes requisitos de Qualidade de Serviço (QoS). Este trabalho apresenta um arcabouço de sistema distribuído para análise de vídeos com o processamento na borda da rede. Investigamos pesquisas recentes sobre processamento de fluxos de dados massivos, principalmente com foco na divisão desse processamento em vários tipos de tarefas. Em seguida, propomos uma arquitetura para organizar nós de borda e de nuvem para executarem várias destas tarefas em um esquema de colaboração de processamento de fluxos de dados multimídia. Um método de distribuição de carga de trabalho em nós de borda para o processamento baseado em eventos também é proposto, juntamente com um esquema de reutilização dos nós que realizam tarefas do interesse de várias aplicações, tal como uma tarefa de reconhecimento facial, por exemplo. Também desenvolvemos um algoritmo para alocar nós com capacidade de processamento suficiente para processar a demanda dos fluxos enquanto atende aos requisitos de QoS das aplicações. Por fim, as simulações mostraram que a distribuição do processamento em vários nós de borda reduz a latência e o consumo de energia e ainda melhora a disponibilidade em comparação com o processamento centralizado na nuvem.
publishDate 2021
dc.date.accessioned.fl_str_mv 2021-06-21T17:55:51Z
dc.date.available.fl_str_mv 2021-06-21T17:55:51Z
dc.date.issued.fl_str_mv 2021-03-31
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv ROCHA NETO, Aluízio Ferreira da. Edge-distributed stream processing for video analytics in smart city applications. 2021. 118f. Tese (Doutorado em Ciência da Computação) - Centro de Ciências Exatas e da Terra, Universidade Federal do Rio Grande do Norte, Natal, 2021.
dc.identifier.uri.fl_str_mv https://repositorio.ufrn.br/handle/123456789/32743
identifier_str_mv ROCHA NETO, Aluízio Ferreira da. Edge-distributed stream processing for video analytics in smart city applications. 2021. 118f. Tese (Doutorado em Ciência da Computação) - Centro de Ciências Exatas e da Terra, Universidade Federal do Rio Grande do Norte, Natal, 2021.
url https://repositorio.ufrn.br/handle/123456789/32743
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
dc.publisher.program.fl_str_mv PROGRAMA DE PÓS-GRADUAÇÃO EM SISTEMAS E COMPUTAÇÃO
dc.publisher.initials.fl_str_mv UFRN
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRN
instname:Universidade Federal do Rio Grande do Norte (UFRN)
instacron:UFRN
instname_str Universidade Federal do Rio Grande do Norte (UFRN)
instacron_str UFRN
institution UFRN
reponame_str Repositório Institucional da UFRN
collection Repositório Institucional da UFRN
bitstream.url.fl_str_mv https://repositorio.ufrn.br/bitstream/123456789/32743/1/Edgedistributedstream_RochaNeto_2021.pdf
bitstream.checksum.fl_str_mv fbfa122bb5312d40a2fb09def2b49a1d
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)
repository.mail.fl_str_mv
_version_ 1814833018454409216