Edge-distributed stream processing for video analytics in smart city applications
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFRN |
Texto Completo: | https://repositorio.ufrn.br/handle/123456789/32743 |
Resumo: | Aplicações emergentes de Internet das Coisas (IoT) baseadas em sensores distribuídos e inteligência, especialmente no contexto de cidades inteligentes, apresentam muitos desafios para a infraestrutura de rede e de processamento. Por exemplo, um único sistema com algumas dezenas de câmeras de monitoramento é suficiente para saturar o backbone da cidade. Além disso, tal sistema gera fluxos massivos de dados para aplicações baseadas em eventos que demandam um rápido processamento visando ações imediatas. A busca por uma pessoa desaparecida usando a tecnologia de reconhecimento facial é uma dessas aplicações que requer ação imediata no local onde essa pessoa se encontra, uma vez que esta localização é uma informação perecível. Uma estratégia promissora para dar suporte à demanda computacional de sistemas amplamente distribuídos geograficamente é a integração da computação de borda com inteligência de máquina com o objetivo de interpretar os dados próximos ao sensor e reduzir a latência de ponta a ponta no processamento dos eventos. No entanto, devido à capacidade limitada e heterogeneidade dos dispositivos de borda, tal processamento distribuído não é trivial, especialmente quando as aplicações têm diferentes requisitos de Qualidade de Serviço (QoS). Este trabalho apresenta um arcabouço de sistema distribuído para análise de vídeos com o processamento na borda da rede. Investigamos pesquisas recentes sobre processamento de fluxos de dados massivos, principalmente com foco na divisão desse processamento em vários tipos de tarefas. Em seguida, propomos uma arquitetura para organizar nós de borda e de nuvem para executarem várias destas tarefas em um esquema de colaboração de processamento de fluxos de dados multimídia. Um método de distribuição de carga de trabalho em nós de borda para o processamento baseado em eventos também é proposto, juntamente com um esquema de reutilização dos nós que realizam tarefas do interesse de várias aplicações, tal como uma tarefa de reconhecimento facial, por exemplo. Também desenvolvemos um algoritmo para alocar nós com capacidade de processamento suficiente para processar a demanda dos fluxos enquanto atende aos requisitos de QoS das aplicações. Por fim, as simulações mostraram que a distribuição do processamento em vários nós de borda reduz a latência e o consumo de energia e ainda melhora a disponibilidade em comparação com o processamento centralizado na nuvem. |
id |
UFRN_b25f76b9c4e0cfc63ce2d644094751b3 |
---|---|
oai_identifier_str |
oai:https://repositorio.ufrn.br:123456789/32743 |
network_acronym_str |
UFRN |
network_name_str |
Repositório Institucional da UFRN |
repository_id_str |
|
spelling |
Rocha Neto, Aluízio Ferreira dahttp://lattes.cnpq.br/5056619278818251http://lattes.cnpq.br/5521922960404236Delicato, Flávia Coimbrahttp://lattes.cnpq.br/5386282151810710Cacho, Nelio Alessandro Azevedohttp://lattes.cnpq.br/4635320220484649Souza, José Neuman dePires, Paulo de Figueiredohttp://lattes.cnpq.br/1304174767727101Batista, Thais Vasconcelos2021-06-21T17:55:51Z2021-06-21T17:55:51Z2021-03-31ROCHA NETO, Aluízio Ferreira da. Edge-distributed stream processing for video analytics in smart city applications. 2021. 118f. Tese (Doutorado em Ciência da Computação) - Centro de Ciências Exatas e da Terra, Universidade Federal do Rio Grande do Norte, Natal, 2021.https://repositorio.ufrn.br/handle/123456789/32743Aplicações emergentes de Internet das Coisas (IoT) baseadas em sensores distribuídos e inteligência, especialmente no contexto de cidades inteligentes, apresentam muitos desafios para a infraestrutura de rede e de processamento. Por exemplo, um único sistema com algumas dezenas de câmeras de monitoramento é suficiente para saturar o backbone da cidade. Além disso, tal sistema gera fluxos massivos de dados para aplicações baseadas em eventos que demandam um rápido processamento visando ações imediatas. A busca por uma pessoa desaparecida usando a tecnologia de reconhecimento facial é uma dessas aplicações que requer ação imediata no local onde essa pessoa se encontra, uma vez que esta localização é uma informação perecível. Uma estratégia promissora para dar suporte à demanda computacional de sistemas amplamente distribuídos geograficamente é a integração da computação de borda com inteligência de máquina com o objetivo de interpretar os dados próximos ao sensor e reduzir a latência de ponta a ponta no processamento dos eventos. No entanto, devido à capacidade limitada e heterogeneidade dos dispositivos de borda, tal processamento distribuído não é trivial, especialmente quando as aplicações têm diferentes requisitos de Qualidade de Serviço (QoS). Este trabalho apresenta um arcabouço de sistema distribuído para análise de vídeos com o processamento na borda da rede. Investigamos pesquisas recentes sobre processamento de fluxos de dados massivos, principalmente com foco na divisão desse processamento em vários tipos de tarefas. Em seguida, propomos uma arquitetura para organizar nós de borda e de nuvem para executarem várias destas tarefas em um esquema de colaboração de processamento de fluxos de dados multimídia. Um método de distribuição de carga de trabalho em nós de borda para o processamento baseado em eventos também é proposto, juntamente com um esquema de reutilização dos nós que realizam tarefas do interesse de várias aplicações, tal como uma tarefa de reconhecimento facial, por exemplo. Também desenvolvemos um algoritmo para alocar nós com capacidade de processamento suficiente para processar a demanda dos fluxos enquanto atende aos requisitos de QoS das aplicações. Por fim, as simulações mostraram que a distribuição do processamento em vários nós de borda reduz a latência e o consumo de energia e ainda melhora a disponibilidade em comparação com o processamento centralizado na nuvem.Emerging Internet of Things (IoT) applications based on distributed sensors and machine intelligence, especially in smart cities, present many challenges for network and processing infrastructure. For example, a single system with a few dozen monitoring cameras is sufficient to saturate the city’s backbone. Such a system generates massive data streams for event-based applications that require rapid processing for immediate actions. Finding a missing person using facial recognition technology is one of those applications that require immediate action at the location where that person is since this location is perishable information. An encouraging plan to support the computational demand for widely geographically distributed systems is to integrate edge computing with machine intelligence to interpret massive data near the sensor and reduce end-to-end latency in event processing. However, due to the limited capacity and heterogeneity of the edge devices, distributed processing is not trivial, especially when applications have different Quality of Service (QoS) requirements. This work presents an edge-distributed system framework that supports stream processing for video analytics. We investigate recent researches regarding massive IoT data stream processing, primarily focusing on the division of this processing in multiple types of tasks. Then, we propose an architecture to organize edge and cloud nodes for running various functions in a collaboration schema to process multimedia data streams. A method of distributing workload on edge nodes for event-based processing is also proposed, along with a scheme for reusing nodes that perform tasks of interest to various applications, such as a facial recognition task, for example. We have also developed an algorithm to allocate nodes with sufficient processing capacity to process the flows demand while meeting the applications’ QoS requirements. Finally, the simulations showed that the distribution of processing across multiple edge nodes reduces latency and energy consumption and further improves availability compared to centralized processing in the cloud.Universidade Federal do Rio Grande do NortePROGRAMA DE PÓS-GRADUAÇÃO EM SISTEMAS E COMPUTAÇÃOUFRNBrasilSmart citiesEdge computingIntelligent video analyticsInformation fusionStream processingEdge-distributed stream processing for video analytics in smart city applicationsProcessamento de fluxo distribuído na borda para análise de vídeo em aplicações de cidades inteligentesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNORIGINALEdgedistributedstream_RochaNeto_2021.pdfapplication/pdf3282791https://repositorio.ufrn.br/bitstream/123456789/32743/1/Edgedistributedstream_RochaNeto_2021.pdffbfa122bb5312d40a2fb09def2b49a1dMD51123456789/327432021-06-21 14:57:47.564oai:https://repositorio.ufrn.br:123456789/32743Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2021-06-21T17:57:47Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false |
dc.title.pt_BR.fl_str_mv |
Edge-distributed stream processing for video analytics in smart city applications |
dc.title.alternative.pt_BR.fl_str_mv |
Processamento de fluxo distribuído na borda para análise de vídeo em aplicações de cidades inteligentes |
title |
Edge-distributed stream processing for video analytics in smart city applications |
spellingShingle |
Edge-distributed stream processing for video analytics in smart city applications Rocha Neto, Aluízio Ferreira da Smart cities Edge computing Intelligent video analytics Information fusion Stream processing |
title_short |
Edge-distributed stream processing for video analytics in smart city applications |
title_full |
Edge-distributed stream processing for video analytics in smart city applications |
title_fullStr |
Edge-distributed stream processing for video analytics in smart city applications |
title_full_unstemmed |
Edge-distributed stream processing for video analytics in smart city applications |
title_sort |
Edge-distributed stream processing for video analytics in smart city applications |
author |
Rocha Neto, Aluízio Ferreira da |
author_facet |
Rocha Neto, Aluízio Ferreira da |
author_role |
author |
dc.contributor.authorID.pt_BR.fl_str_mv |
|
dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/5056619278818251 |
dc.contributor.advisorID.pt_BR.fl_str_mv |
|
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/5521922960404236 |
dc.contributor.advisor-co1ID.pt_BR.fl_str_mv |
|
dc.contributor.referees1.none.fl_str_mv |
Cacho, Nelio Alessandro Azevedo |
dc.contributor.referees1ID.pt_BR.fl_str_mv |
|
dc.contributor.referees1Lattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/4635320220484649 |
dc.contributor.referees2.none.fl_str_mv |
Souza, José Neuman de |
dc.contributor.referees2ID.pt_BR.fl_str_mv |
|
dc.contributor.referees3.none.fl_str_mv |
Pires, Paulo de Figueiredo |
dc.contributor.referees3ID.pt_BR.fl_str_mv |
|
dc.contributor.referees3Lattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/1304174767727101 |
dc.contributor.author.fl_str_mv |
Rocha Neto, Aluízio Ferreira da |
dc.contributor.advisor-co1.fl_str_mv |
Delicato, Flávia Coimbra |
dc.contributor.advisor-co1Lattes.fl_str_mv |
http://lattes.cnpq.br/5386282151810710 |
dc.contributor.advisor1.fl_str_mv |
Batista, Thais Vasconcelos |
contributor_str_mv |
Delicato, Flávia Coimbra Batista, Thais Vasconcelos |
dc.subject.por.fl_str_mv |
Smart cities Edge computing Intelligent video analytics Information fusion Stream processing |
topic |
Smart cities Edge computing Intelligent video analytics Information fusion Stream processing |
description |
Aplicações emergentes de Internet das Coisas (IoT) baseadas em sensores distribuídos e inteligência, especialmente no contexto de cidades inteligentes, apresentam muitos desafios para a infraestrutura de rede e de processamento. Por exemplo, um único sistema com algumas dezenas de câmeras de monitoramento é suficiente para saturar o backbone da cidade. Além disso, tal sistema gera fluxos massivos de dados para aplicações baseadas em eventos que demandam um rápido processamento visando ações imediatas. A busca por uma pessoa desaparecida usando a tecnologia de reconhecimento facial é uma dessas aplicações que requer ação imediata no local onde essa pessoa se encontra, uma vez que esta localização é uma informação perecível. Uma estratégia promissora para dar suporte à demanda computacional de sistemas amplamente distribuídos geograficamente é a integração da computação de borda com inteligência de máquina com o objetivo de interpretar os dados próximos ao sensor e reduzir a latência de ponta a ponta no processamento dos eventos. No entanto, devido à capacidade limitada e heterogeneidade dos dispositivos de borda, tal processamento distribuído não é trivial, especialmente quando as aplicações têm diferentes requisitos de Qualidade de Serviço (QoS). Este trabalho apresenta um arcabouço de sistema distribuído para análise de vídeos com o processamento na borda da rede. Investigamos pesquisas recentes sobre processamento de fluxos de dados massivos, principalmente com foco na divisão desse processamento em vários tipos de tarefas. Em seguida, propomos uma arquitetura para organizar nós de borda e de nuvem para executarem várias destas tarefas em um esquema de colaboração de processamento de fluxos de dados multimídia. Um método de distribuição de carga de trabalho em nós de borda para o processamento baseado em eventos também é proposto, juntamente com um esquema de reutilização dos nós que realizam tarefas do interesse de várias aplicações, tal como uma tarefa de reconhecimento facial, por exemplo. Também desenvolvemos um algoritmo para alocar nós com capacidade de processamento suficiente para processar a demanda dos fluxos enquanto atende aos requisitos de QoS das aplicações. Por fim, as simulações mostraram que a distribuição do processamento em vários nós de borda reduz a latência e o consumo de energia e ainda melhora a disponibilidade em comparação com o processamento centralizado na nuvem. |
publishDate |
2021 |
dc.date.accessioned.fl_str_mv |
2021-06-21T17:55:51Z |
dc.date.available.fl_str_mv |
2021-06-21T17:55:51Z |
dc.date.issued.fl_str_mv |
2021-03-31 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
ROCHA NETO, Aluízio Ferreira da. Edge-distributed stream processing for video analytics in smart city applications. 2021. 118f. Tese (Doutorado em Ciência da Computação) - Centro de Ciências Exatas e da Terra, Universidade Federal do Rio Grande do Norte, Natal, 2021. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufrn.br/handle/123456789/32743 |
identifier_str_mv |
ROCHA NETO, Aluízio Ferreira da. Edge-distributed stream processing for video analytics in smart city applications. 2021. 118f. Tese (Doutorado em Ciência da Computação) - Centro de Ciências Exatas e da Terra, Universidade Federal do Rio Grande do Norte, Natal, 2021. |
url |
https://repositorio.ufrn.br/handle/123456789/32743 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal do Rio Grande do Norte |
dc.publisher.program.fl_str_mv |
PROGRAMA DE PÓS-GRADUAÇÃO EM SISTEMAS E COMPUTAÇÃO |
dc.publisher.initials.fl_str_mv |
UFRN |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Federal do Rio Grande do Norte |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRN instname:Universidade Federal do Rio Grande do Norte (UFRN) instacron:UFRN |
instname_str |
Universidade Federal do Rio Grande do Norte (UFRN) |
instacron_str |
UFRN |
institution |
UFRN |
reponame_str |
Repositório Institucional da UFRN |
collection |
Repositório Institucional da UFRN |
bitstream.url.fl_str_mv |
https://repositorio.ufrn.br/bitstream/123456789/32743/1/Edgedistributedstream_RochaNeto_2021.pdf |
bitstream.checksum.fl_str_mv |
fbfa122bb5312d40a2fb09def2b49a1d |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN) |
repository.mail.fl_str_mv |
|
_version_ |
1814833018454409216 |