Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFRN |
Texto Completo: | https://repositorio.ufrn.br/handle/123456789/43115 |
Resumo: | Com o avanço e adoção em massa de soluções no campo de Internet das Coisas (IoT) e cidades conectadas, o número de dispositivos e sensores conectados à rede tende a crescer exponencialmente. Nesse cenário, a transmissão e armazenamento do crescente volume de dados trazem novos desafios. Quando dispositivos transmitem dados potencialmente irrelevantes ou redundantes, há um maior gasto de energia e processamento, além do uso desnecessário do canal de comunicação. Dessa forma, soluções de compressão de dados localmente nos próprios dispositivos de IoT se tornam cada vez mais atrativas, possibilitando a eliminação de amostras que teriam pouca ou nenhuma contribuição para a aplicação, de forma a reduzir significativamente o volume de dados necessários para representar as informações. No entanto, tais dispositivos presentes hoje no mercado tem sérias limitações de armazenamento e poder de processamento. A fim de circundar tais limitações, surge o campo de TinyML, que busca maneiras de implementar modelos de aprendizado de máquina em dispositivos de baixa potência. Dado esse contexto, um dos setores que mais pode se beneficiar dessas novas tecnologias é a indústria automobilística, pois atualmente todos os carros produzidos devem ser instrumentados com uma série de sensores. Dessa forma, ao conectar um dispositivo inteligente no veículo, é possível fazer um processamento local dos dados e transmiti-los para um servidor remoto posteriormente. Nesse contexto, o presente trabalho propõe o desenvolvimento de um novo algoritmo de compressão de dados online, não supervisionado, e automaticamente adaptável para aplicações de IoT. A abordagem proposta é chamada de Tiny Anomaly Compressor (TAC) e é baseada na excentricidade de dados e não requer modelos matemáticos previamente estabelecidos ou quaisquer suposições sobre a distribuição de dados. Para testar a eficácia da solução e validá-la foram realizados dois testes com diferentes objetivos. Primeiramente foi desenvolvida uma análise comparativa em dois conjuntos de dados do mundo real com dois outros algoritmos da literatura, o Swing Door Trending (SDT) e o Discrete Cosine Transform (DCT). Por fim, a proposta foi embarcada em um dispositivo IoT baseado em um Arduino e conectado a um carro com o propósito de verificar o impacto do algoritmo no tempo de processamento das operações primárias do sistema. Os resultados obtidos mostram ser possível alcançar altas taxas de compressão sem impactos significativos no erro gerado e no processamento do sistema. |
id |
UFRN_cdc21ccd2f92fe8db8fd423c5b41c786 |
---|---|
oai_identifier_str |
oai:https://repositorio.ufrn.br:123456789/43115 |
network_acronym_str |
UFRN |
network_name_str |
Repositório Institucional da UFRN |
repository_id_str |
|
spelling |
Signoretti, Gabriel Lucas Albuquerque Maiahttp://lattes.cnpq.br/3335383471638892http://lattes.cnpq.br/3608440944832201Leitão, Gustavo Bezerra Pazhttp://lattes.cnpq.br/6766556258983738Villanueva, Juan Moises Mauriciohttp://lattes.cnpq.br/1446817462218646Oliveira, Luiz Affonso Henderson Guedes dehttp://lattes.cnpq.br/7987212907837941Silva, Ivanovitch Medeiros Dantas da2021-10-05T18:07:56Z2021-10-05T18:07:56Z2021-07-23SIGNORETTI, Gabriel Lucas Albuquerque Maia. Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT. 2021. 73f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro De Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2021.https://repositorio.ufrn.br/handle/123456789/43115Com o avanço e adoção em massa de soluções no campo de Internet das Coisas (IoT) e cidades conectadas, o número de dispositivos e sensores conectados à rede tende a crescer exponencialmente. Nesse cenário, a transmissão e armazenamento do crescente volume de dados trazem novos desafios. Quando dispositivos transmitem dados potencialmente irrelevantes ou redundantes, há um maior gasto de energia e processamento, além do uso desnecessário do canal de comunicação. Dessa forma, soluções de compressão de dados localmente nos próprios dispositivos de IoT se tornam cada vez mais atrativas, possibilitando a eliminação de amostras que teriam pouca ou nenhuma contribuição para a aplicação, de forma a reduzir significativamente o volume de dados necessários para representar as informações. No entanto, tais dispositivos presentes hoje no mercado tem sérias limitações de armazenamento e poder de processamento. A fim de circundar tais limitações, surge o campo de TinyML, que busca maneiras de implementar modelos de aprendizado de máquina em dispositivos de baixa potência. Dado esse contexto, um dos setores que mais pode se beneficiar dessas novas tecnologias é a indústria automobilística, pois atualmente todos os carros produzidos devem ser instrumentados com uma série de sensores. Dessa forma, ao conectar um dispositivo inteligente no veículo, é possível fazer um processamento local dos dados e transmiti-los para um servidor remoto posteriormente. Nesse contexto, o presente trabalho propõe o desenvolvimento de um novo algoritmo de compressão de dados online, não supervisionado, e automaticamente adaptável para aplicações de IoT. A abordagem proposta é chamada de Tiny Anomaly Compressor (TAC) e é baseada na excentricidade de dados e não requer modelos matemáticos previamente estabelecidos ou quaisquer suposições sobre a distribuição de dados. Para testar a eficácia da solução e validá-la foram realizados dois testes com diferentes objetivos. Primeiramente foi desenvolvida uma análise comparativa em dois conjuntos de dados do mundo real com dois outros algoritmos da literatura, o Swing Door Trending (SDT) e o Discrete Cosine Transform (DCT). Por fim, a proposta foi embarcada em um dispositivo IoT baseado em um Arduino e conectado a um carro com o propósito de verificar o impacto do algoritmo no tempo de processamento das operações primárias do sistema. Os resultados obtidos mostram ser possível alcançar altas taxas de compressão sem impactos significativos no erro gerado e no processamento do sistema.With the advancement and mass adoption of solutions in the fields of Internet of Things (IoT) and connected cities, the number of devices and sensors connected to the network tends to grow exponentially. In this scenario, the transmission and storage of the growing volume of data bring new challenges. When devices transmit potentially irrelevant or redundant data, there is increased energy and processing waste, as well as unnecessary use of the communication channel. Thus, local data compression solutions on the IoT devices themselves become increasingly attractive, enabling the elimination of samples that would have little or no contribution to the application, in order to significantly reduce the volume of data needed to represent the information. However, such devices present on the market today have serious storage and processing power limitations. In order to circumvent these limitations, the TinyML field emerges, which seeks ways to implement machine learning models in low-power devices. Given this context, one of the sectors that can benefit most from these new technologies is the automobile industry, as currently all cars produced must be instrumented with a series of sensors. In this way, by connecting an intelligent device to the vehicle, it is possible to process the data locally and transmit it to a remote server later. In this context, the present work proposes the development of a new online, unsupervised, and automatically adaptable data compression algorithm for IoT applications. The proposed approach is called Tiny Anomaly Compressor (TAC) and is based on data eccentricity and does not require pre-established mathematical models or any assumptions about data distribution. To test the effectiveness of the solution and validate it, two tests were carried out with different objectives. First, a comparative analysis on two real-world datasets was developed with two other algorithms from the literature, the Swing Door Trending (SDT) and the Discrete Cosine Transform (DCT). Finally, the proposal was embedded in an IoT device based on an Arduino and connected to a car to verify the impact of the algorithm on the processing time of the system’s primary operations. The obtained results show that it is possible to achieve high compression rates without significant impacts on the generated error and system processing times.Universidade Federal do Rio Grande do NortePROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃOUFRNBrasilCompressão de dados onlineIoTVeículos inteligentesTinyMLAprendizado de máquinaExcentricidade de dadosUm algoritmo online e evolutivo para compressão automática de dados em cenários de IoTinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNORIGINALAlgoritmoonlineevolutivo_Signoretti_2021.pdfapplication/pdf4222924https://repositorio.ufrn.br/bitstream/123456789/43115/1/Algoritmoonlineevolutivo_Signoretti_2021.pdf6637c47ea404f81161ced9a08198c0ffMD51123456789/431152022-05-02 12:32:50.573oai:https://repositorio.ufrn.br:123456789/43115Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2022-05-02T15:32:50Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false |
dc.title.pt_BR.fl_str_mv |
Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT |
title |
Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT |
spellingShingle |
Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT Signoretti, Gabriel Lucas Albuquerque Maia Compressão de dados online IoT Veículos inteligentes TinyML Aprendizado de máquina Excentricidade de dados |
title_short |
Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT |
title_full |
Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT |
title_fullStr |
Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT |
title_full_unstemmed |
Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT |
title_sort |
Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT |
author |
Signoretti, Gabriel Lucas Albuquerque Maia |
author_facet |
Signoretti, Gabriel Lucas Albuquerque Maia |
author_role |
author |
dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/3335383471638892 |
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/3608440944832201 |
dc.contributor.referees1.none.fl_str_mv |
Leitão, Gustavo Bezerra Paz |
dc.contributor.referees1Lattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/6766556258983738 |
dc.contributor.referees2.none.fl_str_mv |
Villanueva, Juan Moises Mauricio |
dc.contributor.referees2Lattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/1446817462218646 |
dc.contributor.referees3.none.fl_str_mv |
Oliveira, Luiz Affonso Henderson Guedes de |
dc.contributor.referees3Lattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/7987212907837941 |
dc.contributor.author.fl_str_mv |
Signoretti, Gabriel Lucas Albuquerque Maia |
dc.contributor.advisor1.fl_str_mv |
Silva, Ivanovitch Medeiros Dantas da |
contributor_str_mv |
Silva, Ivanovitch Medeiros Dantas da |
dc.subject.por.fl_str_mv |
Compressão de dados online IoT Veículos inteligentes TinyML Aprendizado de máquina Excentricidade de dados |
topic |
Compressão de dados online IoT Veículos inteligentes TinyML Aprendizado de máquina Excentricidade de dados |
description |
Com o avanço e adoção em massa de soluções no campo de Internet das Coisas (IoT) e cidades conectadas, o número de dispositivos e sensores conectados à rede tende a crescer exponencialmente. Nesse cenário, a transmissão e armazenamento do crescente volume de dados trazem novos desafios. Quando dispositivos transmitem dados potencialmente irrelevantes ou redundantes, há um maior gasto de energia e processamento, além do uso desnecessário do canal de comunicação. Dessa forma, soluções de compressão de dados localmente nos próprios dispositivos de IoT se tornam cada vez mais atrativas, possibilitando a eliminação de amostras que teriam pouca ou nenhuma contribuição para a aplicação, de forma a reduzir significativamente o volume de dados necessários para representar as informações. No entanto, tais dispositivos presentes hoje no mercado tem sérias limitações de armazenamento e poder de processamento. A fim de circundar tais limitações, surge o campo de TinyML, que busca maneiras de implementar modelos de aprendizado de máquina em dispositivos de baixa potência. Dado esse contexto, um dos setores que mais pode se beneficiar dessas novas tecnologias é a indústria automobilística, pois atualmente todos os carros produzidos devem ser instrumentados com uma série de sensores. Dessa forma, ao conectar um dispositivo inteligente no veículo, é possível fazer um processamento local dos dados e transmiti-los para um servidor remoto posteriormente. Nesse contexto, o presente trabalho propõe o desenvolvimento de um novo algoritmo de compressão de dados online, não supervisionado, e automaticamente adaptável para aplicações de IoT. A abordagem proposta é chamada de Tiny Anomaly Compressor (TAC) e é baseada na excentricidade de dados e não requer modelos matemáticos previamente estabelecidos ou quaisquer suposições sobre a distribuição de dados. Para testar a eficácia da solução e validá-la foram realizados dois testes com diferentes objetivos. Primeiramente foi desenvolvida uma análise comparativa em dois conjuntos de dados do mundo real com dois outros algoritmos da literatura, o Swing Door Trending (SDT) e o Discrete Cosine Transform (DCT). Por fim, a proposta foi embarcada em um dispositivo IoT baseado em um Arduino e conectado a um carro com o propósito de verificar o impacto do algoritmo no tempo de processamento das operações primárias do sistema. Os resultados obtidos mostram ser possível alcançar altas taxas de compressão sem impactos significativos no erro gerado e no processamento do sistema. |
publishDate |
2021 |
dc.date.accessioned.fl_str_mv |
2021-10-05T18:07:56Z |
dc.date.available.fl_str_mv |
2021-10-05T18:07:56Z |
dc.date.issued.fl_str_mv |
2021-07-23 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
SIGNORETTI, Gabriel Lucas Albuquerque Maia. Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT. 2021. 73f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro De Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2021. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufrn.br/handle/123456789/43115 |
identifier_str_mv |
SIGNORETTI, Gabriel Lucas Albuquerque Maia. Um algoritmo online e evolutivo para compressão automática de dados em cenários de IoT. 2021. 73f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro De Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2021. |
url |
https://repositorio.ufrn.br/handle/123456789/43115 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal do Rio Grande do Norte |
dc.publisher.program.fl_str_mv |
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃO |
dc.publisher.initials.fl_str_mv |
UFRN |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Federal do Rio Grande do Norte |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRN instname:Universidade Federal do Rio Grande do Norte (UFRN) instacron:UFRN |
instname_str |
Universidade Federal do Rio Grande do Norte (UFRN) |
instacron_str |
UFRN |
institution |
UFRN |
reponame_str |
Repositório Institucional da UFRN |
collection |
Repositório Institucional da UFRN |
bitstream.url.fl_str_mv |
https://repositorio.ufrn.br/bitstream/123456789/43115/1/Algoritmoonlineevolutivo_Signoretti_2021.pdf |
bitstream.checksum.fl_str_mv |
6637c47ea404f81161ced9a08198c0ff |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN) |
repository.mail.fl_str_mv |
|
_version_ |
1814832639148818432 |