Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT

Detalhes bibliográficos
Autor(a) principal: Signoretti, Gabriel Lucas Albuquerque Maia
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFRN
Texto Completo: https://repositorio.ufrn.br/handle/123456789/43115
Resumo: Com o avanço e adoção em massa de soluções no campo de Internet das Coisas (IoT) e cidades conectadas, o número de dispositivos e sensores conectados à rede tende a crescer exponencialmente. Nesse cenário, a transmissão e armazenamento do crescente volume de dados trazem novos desafios. Quando dispositivos transmitem dados potencialmente irrelevantes ou redundantes, há um maior gasto de energia e processamento, além do uso desnecessário do canal de comunicação. Dessa forma, soluções de compressão de dados localmente nos próprios dispositivos de IoT se tornam cada vez mais atrativas, possibilitando a eliminação de amostras que teriam pouca ou nenhuma contribuição para a aplicação, de forma a reduzir significativamente o volume de dados necessários para representar as informações. No entanto, tais dispositivos presentes hoje no mercado tem sérias limitações de armazenamento e poder de processamento. A fim de circundar tais limitações, surge o campo de TinyML, que busca maneiras de implementar modelos de aprendizado de máquina em dispositivos de baixa potência. Dado esse contexto, um dos setores que mais pode se beneficiar dessas novas tecnologias é a indústria automobilística, pois atualmente todos os carros produzidos devem ser instrumentados com uma série de sensores. Dessa forma, ao conectar um dispositivo inteligente no veículo, é possível fazer um processamento local dos dados e transmiti-los para um servidor remoto posteriormente. Nesse contexto, o presente trabalho propõe o desenvolvimento de um novo algoritmo de compressão de dados online, não supervisionado, e automaticamente adaptável para aplicações de IoT. A abordagem proposta é chamada de Tiny Anomaly Compressor (TAC) e é baseada na excentricidade de dados e não requer modelos matemáticos previamente estabelecidos ou quaisquer suposições sobre a distribuição de dados. Para testar a eficácia da solução e validá-la foram realizados dois testes com diferentes objetivos. Primeiramente foi desenvolvida uma análise comparativa em dois conjuntos de dados do mundo real com dois outros algoritmos da literatura, o Swing Door Trending (SDT) e o Discrete Cosine Transform (DCT). Por fim, a proposta foi embarcada em um dispositivo IoT baseado em um Arduino e conectado a um carro com o propósito de verificar o impacto do algoritmo no tempo de processamento das operações primárias do sistema. Os resultados obtidos mostram ser possível alcançar altas taxas de compressão sem impactos significativos no erro gerado e no processamento do sistema.
id UFRN_cdc21ccd2f92fe8db8fd423c5b41c786
oai_identifier_str oai:https://repositorio.ufrn.br:123456789/43115
network_acronym_str UFRN
network_name_str Repositório Institucional da UFRN
repository_id_str
spelling Signoretti, Gabriel Lucas Albuquerque Maiahttp://lattes.cnpq.br/3335383471638892http://lattes.cnpq.br/3608440944832201Leitão, Gustavo Bezerra Pazhttp://lattes.cnpq.br/6766556258983738Villanueva, Juan Moises Mauriciohttp://lattes.cnpq.br/1446817462218646Oliveira, Luiz Affonso Henderson Guedes dehttp://lattes.cnpq.br/7987212907837941Silva, Ivanovitch Medeiros Dantas da2021-10-05T18:07:56Z2021-10-05T18:07:56Z2021-07-23SIGNORETTI, Gabriel Lucas Albuquerque Maia. Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT. 2021. 73f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro De Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2021.https://repositorio.ufrn.br/handle/123456789/43115Com o avanço e adoção em massa de soluções no campo de Internet das Coisas (IoT) e cidades conectadas, o número de dispositivos e sensores conectados à rede tende a crescer exponencialmente. Nesse cenário, a transmissão e armazenamento do crescente volume de dados trazem novos desafios. Quando dispositivos transmitem dados potencialmente irrelevantes ou redundantes, há um maior gasto de energia e processamento, além do uso desnecessário do canal de comunicação. Dessa forma, soluções de compressão de dados localmente nos próprios dispositivos de IoT se tornam cada vez mais atrativas, possibilitando a eliminação de amostras que teriam pouca ou nenhuma contribuição para a aplicação, de forma a reduzir significativamente o volume de dados necessários para representar as informações. No entanto, tais dispositivos presentes hoje no mercado tem sérias limitações de armazenamento e poder de processamento. A fim de circundar tais limitações, surge o campo de TinyML, que busca maneiras de implementar modelos de aprendizado de máquina em dispositivos de baixa potência. Dado esse contexto, um dos setores que mais pode se beneficiar dessas novas tecnologias é a indústria automobilística, pois atualmente todos os carros produzidos devem ser instrumentados com uma série de sensores. Dessa forma, ao conectar um dispositivo inteligente no veículo, é possível fazer um processamento local dos dados e transmiti-los para um servidor remoto posteriormente. Nesse contexto, o presente trabalho propõe o desenvolvimento de um novo algoritmo de compressão de dados online, não supervisionado, e automaticamente adaptável para aplicações de IoT. A abordagem proposta é chamada de Tiny Anomaly Compressor (TAC) e é baseada na excentricidade de dados e não requer modelos matemáticos previamente estabelecidos ou quaisquer suposições sobre a distribuição de dados. Para testar a eficácia da solução e validá-la foram realizados dois testes com diferentes objetivos. Primeiramente foi desenvolvida uma análise comparativa em dois conjuntos de dados do mundo real com dois outros algoritmos da literatura, o Swing Door Trending (SDT) e o Discrete Cosine Transform (DCT). Por fim, a proposta foi embarcada em um dispositivo IoT baseado em um Arduino e conectado a um carro com o propósito de verificar o impacto do algoritmo no tempo de processamento das operações primárias do sistema. Os resultados obtidos mostram ser possível alcançar altas taxas de compressão sem impactos significativos no erro gerado e no processamento do sistema.With the advancement and mass adoption of solutions in the fields of Internet of Things (IoT) and connected cities, the number of devices and sensors connected to the network tends to grow exponentially. In this scenario, the transmission and storage of the growing volume of data bring new challenges. When devices transmit potentially irrelevant or redundant data, there is increased energy and processing waste, as well as unnecessary use of the communication channel. Thus, local data compression solutions on the IoT devices themselves become increasingly attractive, enabling the elimination of samples that would have little or no contribution to the application, in order to significantly reduce the volume of data needed to represent the information. However, such devices present on the market today have serious storage and processing power limitations. In order to circumvent these limitations, the TinyML field emerges, which seeks ways to implement machine learning models in low-power devices. Given this context, one of the sectors that can benefit most from these new technologies is the automobile industry, as currently all cars produced must be instrumented with a series of sensors. In this way, by connecting an intelligent device to the vehicle, it is possible to process the data locally and transmit it to a remote server later. In this context, the present work proposes the development of a new online, unsupervised, and automatically adaptable data compression algorithm for IoT applications. The proposed approach is called Tiny Anomaly Compressor (TAC) and is based on data eccentricity and does not require pre-established mathematical models or any assumptions about data distribution. To test the effectiveness of the solution and validate it, two tests were carried out with different objectives. First, a comparative analysis on two real-world datasets was developed with two other algorithms from the literature, the Swing Door Trending (SDT) and the Discrete Cosine Transform (DCT). Finally, the proposal was embedded in an IoT device based on an Arduino and connected to a car to verify the impact of the algorithm on the processing time of the system’s primary operations. The obtained results show that it is possible to achieve high compression rates without significant impacts on the generated error and system processing times.Universidade Federal do Rio Grande do NortePROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃOUFRNBrasilCompressão de dados onlineIoTVeículos inteligentesTinyMLAprendizado de máquinaExcentricidade de dadosUm algoritmo online e evolutivo para compressão automática de dados em cenários de IoTinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNORIGINALAlgoritmoonlineevolutivo_Signoretti_2021.pdfapplication/pdf4222924https://repositorio.ufrn.br/bitstream/123456789/43115/1/Algoritmoonlineevolutivo_Signoretti_2021.pdf6637c47ea404f81161ced9a08198c0ffMD51123456789/431152022-05-02 12:32:50.573oai:https://repositorio.ufrn.br:123456789/43115Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2022-05-02T15:32:50Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false
dc.title.pt_BR.fl_str_mv Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT
title Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT
spellingShingle Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT
Signoretti, Gabriel Lucas Albuquerque Maia
Compressão de dados online
IoT
Veículos inteligentes
TinyML
Aprendizado de máquina
Excentricidade de dados
title_short Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT
title_full Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT
title_fullStr Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT
title_full_unstemmed Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT
title_sort Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT
author Signoretti, Gabriel Lucas Albuquerque Maia
author_facet Signoretti, Gabriel Lucas Albuquerque Maia
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/3335383471638892
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/3608440944832201
dc.contributor.referees1.none.fl_str_mv Leitão, Gustavo Bezerra Paz
dc.contributor.referees1Lattes.pt_BR.fl_str_mv http://lattes.cnpq.br/6766556258983738
dc.contributor.referees2.none.fl_str_mv Villanueva, Juan Moises Mauricio
dc.contributor.referees2Lattes.pt_BR.fl_str_mv http://lattes.cnpq.br/1446817462218646
dc.contributor.referees3.none.fl_str_mv Oliveira, Luiz Affonso Henderson Guedes de
dc.contributor.referees3Lattes.pt_BR.fl_str_mv http://lattes.cnpq.br/7987212907837941
dc.contributor.author.fl_str_mv Signoretti, Gabriel Lucas Albuquerque Maia
dc.contributor.advisor1.fl_str_mv Silva, Ivanovitch Medeiros Dantas da
contributor_str_mv Silva, Ivanovitch Medeiros Dantas da
dc.subject.por.fl_str_mv Compressão de dados online
IoT
Veículos inteligentes
TinyML
Aprendizado de máquina
Excentricidade de dados
topic Compressão de dados online
IoT
Veículos inteligentes
TinyML
Aprendizado de máquina
Excentricidade de dados
description Com o avanço e adoção em massa de soluções no campo de Internet das Coisas (IoT) e cidades conectadas, o número de dispositivos e sensores conectados à rede tende a crescer exponencialmente. Nesse cenário, a transmissão e armazenamento do crescente volume de dados trazem novos desafios. Quando dispositivos transmitem dados potencialmente irrelevantes ou redundantes, há um maior gasto de energia e processamento, além do uso desnecessário do canal de comunicação. Dessa forma, soluções de compressão de dados localmente nos próprios dispositivos de IoT se tornam cada vez mais atrativas, possibilitando a eliminação de amostras que teriam pouca ou nenhuma contribuição para a aplicação, de forma a reduzir significativamente o volume de dados necessários para representar as informações. No entanto, tais dispositivos presentes hoje no mercado tem sérias limitações de armazenamento e poder de processamento. A fim de circundar tais limitações, surge o campo de TinyML, que busca maneiras de implementar modelos de aprendizado de máquina em dispositivos de baixa potência. Dado esse contexto, um dos setores que mais pode se beneficiar dessas novas tecnologias é a indústria automobilística, pois atualmente todos os carros produzidos devem ser instrumentados com uma série de sensores. Dessa forma, ao conectar um dispositivo inteligente no veículo, é possível fazer um processamento local dos dados e transmiti-los para um servidor remoto posteriormente. Nesse contexto, o presente trabalho propõe o desenvolvimento de um novo algoritmo de compressão de dados online, não supervisionado, e automaticamente adaptável para aplicações de IoT. A abordagem proposta é chamada de Tiny Anomaly Compressor (TAC) e é baseada na excentricidade de dados e não requer modelos matemáticos previamente estabelecidos ou quaisquer suposições sobre a distribuição de dados. Para testar a eficácia da solução e validá-la foram realizados dois testes com diferentes objetivos. Primeiramente foi desenvolvida uma análise comparativa em dois conjuntos de dados do mundo real com dois outros algoritmos da literatura, o Swing Door Trending (SDT) e o Discrete Cosine Transform (DCT). Por fim, a proposta foi embarcada em um dispositivo IoT baseado em um Arduino e conectado a um carro com o propósito de verificar o impacto do algoritmo no tempo de processamento das operações primárias do sistema. Os resultados obtidos mostram ser possível alcançar altas taxas de compressão sem impactos significativos no erro gerado e no processamento do sistema.
publishDate 2021
dc.date.accessioned.fl_str_mv 2021-10-05T18:07:56Z
dc.date.available.fl_str_mv 2021-10-05T18:07:56Z
dc.date.issued.fl_str_mv 2021-07-23
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv SIGNORETTI, Gabriel Lucas Albuquerque Maia. Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT. 2021. 73f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro De Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2021.
dc.identifier.uri.fl_str_mv https://repositorio.ufrn.br/handle/123456789/43115
identifier_str_mv SIGNORETTI, Gabriel Lucas Albuquerque Maia. Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT. 2021. 73f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro De Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2021.
url https://repositorio.ufrn.br/handle/123456789/43115
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
dc.publisher.program.fl_str_mv PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃO
dc.publisher.initials.fl_str_mv UFRN
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRN
instname:Universidade Federal do Rio Grande do Norte (UFRN)
instacron:UFRN
instname_str Universidade Federal do Rio Grande do Norte (UFRN)
instacron_str UFRN
institution UFRN
reponame_str Repositório Institucional da UFRN
collection Repositório Institucional da UFRN
bitstream.url.fl_str_mv https://repositorio.ufrn.br/bitstream/123456789/43115/1/Algoritmoonlineevolutivo_Signoretti_2021.pdf
bitstream.checksum.fl_str_mv 6637c47ea404f81161ced9a08198c0ff
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)
repository.mail.fl_str_mv
_version_ 1814832639148818432