Detecção de outliers multivariados em redes de sensores.

Detalhes bibliográficos
Autor(a) principal: Valadares, Fabricio Geraldo
Data de Publicação: 2012
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFOP
Texto Completo: http://www.repositorio.ufop.br/handle/123456789/3024
Resumo: Esse trabalho apresenta uma análise, via detecção de outliers, sobre os dados multivariados proveniente de uma rede de sensores. Inicialmente, caracterizamos o problema de detecção de outliers nestas redes. Em seguida, realizamos, via simulação, uma comparação entre três métodos gerais para a identificação dos outliers, Minimum Volume Ellipsoid (MVE), Minimum Covariance Determinant (MCD) e Max-Eigen Difference (MED), considerando cenários específicos de uma rede de sensores. Os dados utilizados na simulação foram gerados a partir de uma base de dados reais proveniente da medição de poluentes no ar. Essa geração nos permitiu representar o cenário de uma rede de sensores. O fenômeno avaliado segue um comportamento Normal, e utilizamos outras duas distribuições, Skew-Normal e T-Student, para representar a imprecisão inerente do processo de sensoriamento, que nem sempre consegue representar satisfatoriamente o ambiente monitorado. Adicionalmente, representamos a presença de ruídos nos dados (outliers pontuais), inseridos com base em uma distribuição de Bernoulli. Essa distribuição foi utilizada para selecionar quais amostras seriam substituídas por ruídos. A avaliação da representatividade dos dados após a remoção dos outliers é realizada por intermédio de um ferramental estatístico formado pelos seguintes testes, valor absoluto do erro relativo, ANOVA, medidas de tendência central e a contagem de outliers. Todas as simulações foram realizadas no software estatístico R. Os resultados das avaliações demonstraram que os erros encontrados podem ser tolerados por grande parte das aplicações em redes de sensores, quando aplicados os métodos MVE e MCD. O método MED não conseguiu identificar todos os outliers, logo, sua aplicação não traz benefícios às aplicações consideradas.
id UFOP_f27820cdea1cab9aa39026da2d979eed
oai_identifier_str oai:localhost:123456789/3024
network_acronym_str UFOP
network_name_str Repositório Institucional da UFOP
repository_id_str 3233
spelling Valadares, Fabricio GeraldoPereira Junior, Álvaro Rodrigues2013-07-01T18:13:13Z2013-07-01T18:13:13Z2012VALADARES, F. G. Detecção de outliers multivariados em redes de sensores. 2012. 53 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Ouro Preto, Ouro Preto, 2012.http://www.repositorio.ufop.br/handle/123456789/3024Esse trabalho apresenta uma análise, via detecção de outliers, sobre os dados multivariados proveniente de uma rede de sensores. Inicialmente, caracterizamos o problema de detecção de outliers nestas redes. Em seguida, realizamos, via simulação, uma comparação entre três métodos gerais para a identificação dos outliers, Minimum Volume Ellipsoid (MVE), Minimum Covariance Determinant (MCD) e Max-Eigen Difference (MED), considerando cenários específicos de uma rede de sensores. Os dados utilizados na simulação foram gerados a partir de uma base de dados reais proveniente da medição de poluentes no ar. Essa geração nos permitiu representar o cenário de uma rede de sensores. O fenômeno avaliado segue um comportamento Normal, e utilizamos outras duas distribuições, Skew-Normal e T-Student, para representar a imprecisão inerente do processo de sensoriamento, que nem sempre consegue representar satisfatoriamente o ambiente monitorado. Adicionalmente, representamos a presença de ruídos nos dados (outliers pontuais), inseridos com base em uma distribuição de Bernoulli. Essa distribuição foi utilizada para selecionar quais amostras seriam substituídas por ruídos. A avaliação da representatividade dos dados após a remoção dos outliers é realizada por intermédio de um ferramental estatístico formado pelos seguintes testes, valor absoluto do erro relativo, ANOVA, medidas de tendência central e a contagem de outliers. Todas as simulações foram realizadas no software estatístico R. Os resultados das avaliações demonstraram que os erros encontrados podem ser tolerados por grande parte das aplicações em redes de sensores, quando aplicados os métodos MVE e MCD. O método MED não conseguiu identificar todos os outliers, logo, sua aplicação não traz benefícios às aplicações consideradas.This work presents an analysis based on outliers detection on multivariate dataset of sensor networks. Initially, we characterize the outliers detection problem in these networks. Then, three general methods for outliers detection methods Minimum Volume Ellipsoid (MVE), Minimum Covariance Determinant (MCD) and Max-Eigen Difference (MED) were used and evalueted. The dataset used in the simulation was generated from an air pollutants dataset. This generation allowed the use of this dataset in sensor networks scenarios. The phenomenon has characterized by a Normal distribution. To represent the sensor perception fails, two different distributions was used, the Skew-Normal and T-Student. In addition, the sensor noise was inserted by using a Bernoulli process. The data representativeness, after the outlier removal, was performed by statistical tools: the absolute relative error, ANOVA, measures of central tendency and the number of outliers. The simulations were performed by software R. The results showed that the MVE and MCD can be used satisfatory in general sensor networks applications. The MED does not remove all outliers, so, its usage is not recommended in these applicationsPrograma de Pós-Graduação em Ciência da Computação. Departamento de Ciência da Computação, Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto.Redes de sensores sem fioValores estranhos - estatísticaAnálise multivariadaSimulação - computadoresDetecção de outliers multivariados em redes de sensores.info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisporreponame:Repositório Institucional da UFOPinstname:Universidade Federal de Ouro Preto (UFOP)instacron:UFOPinfo:eu-repo/semantics/openAccessLICENSElicense.txtlicense.txttext/plain; charset=utf-82683http://www.repositorio.ufop.br/bitstream/123456789/3024/2/license.txtb084821f9007b71b6e779ab532adc5ddMD52ORIGINALDISSERTAÇÃO_DetecçãoOutliersMultivariados.PDFDISSERTAÇÃO_DetecçãoOutliersMultivariados.PDFapplication/pdf1903676http://www.repositorio.ufop.br/bitstream/123456789/3024/1/DISSERTA%c3%87%c3%83O_Detec%c3%a7%c3%a3oOutliersMultivariados.PDFd9ed72e90d7b35a9eca36b970a238ab6MD51123456789/30242019-04-23 08:02:29.381oai:localhost:123456789/3024PGh0bWw+DQo8Ym9keT4NCjxkaXYgYWxpZ249Imp1c3RpZnkiPjxzdHJvbmc+TGljZW4mY2NlZGlsO2EgZG8gUmVwb3NpdCZvYWN1dGU7cmlvIEluc3RpdHVjaW9uYWwgZGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgT3VybyBQcmV0bzwvc3Ryb25nPg0KICA8YnI+DQogIDxicj4NCiAgQW8gY29uY29yZGFyIGNvbSBlc3RhIGxpY2VuJmNjZWRpbDthLCB2b2MmZWNpcmM7KHMpIGF1dG9yKGVzKSBvdSB0aXR1bGFyKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgb2JyYSBhcXVpIGRlc2NyaXRhIGNvbmNlZGUobSkgJmFncmF2ZTsNCiAgPGJyPg0KICBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBPdXJvIFByZXRvIChVRk9QKSBnZXN0b3JhIGRvIFJlcG9zaXQmb2FjdXRlO3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIE91cm8gUHJldG8NCiAgPGJyPg0KICAoUkktVUZPUCksIG8gZGlyZWl0byBuJmF0aWxkZTtvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyLCBjb252ZXJ0ZXIgKGNvbW8gZGVmaW5pZG8gYWJhaXhvKSBlL291IGRpc3RyaWJ1aXIgbyBkb2N1bWVudG8gZGVwb3NpdGFkbw0KICA8YnI+DQogIGVtIGZvcm1hdG8gaW1wcmVzc28sIGVsZXRyJm9jaXJjO25pY28gb3UgZW0gcXVhbHF1ZXIgb3V0cm8gbWVpby4NCiAgPGJyPg0KICA8YnI+DQogIFZvYyZlY2lyYzsocykgY29uY29yZGEobSkgcXVlIGEgVUZPUCwgZ2VzdG9yYSBkbyBSSS1VRk9QLCBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlJnVhY3V0ZTtkbywgY29udmVydGVyIG8gYXJxdWl2byBkZXBvc2l0YWRvIGENCiAgPGJyPg0KICBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gY29tIGZpbnMgZGUgcHJlc2VydmEmY2NlZGlsOyZhdGlsZGU7by4gVm9jJmVjaXJjOyhzKSB0YW1iJmVhY3V0ZTttIGNvbmNvcmRhKG0pIHF1ZSBhIFVGT1AsIGdlc3RvcmEgZG8gUkktVUZPUCwgcG9kZQ0KICA8YnI+DQogIG1hbnRlciBtYWlzIGRlIHVtYSBjJm9hY3V0ZTtwaWEgZGVzdGUgZGVwJm9hY3V0ZTtzaXRvIHBhcmEgZmlucyBkZSBzZWd1cmFuJmNjZWRpbDthLCA8ZW0+YmFjay11cDwvZW0+IGUvb3UgcHJlc2VydmEmY2NlZGlsOyZhdGlsZGU7by4NCiAgPGJyPg0KICA8YnI+DQogIFZvYyZlY2lyYzsocykgZGVjbGFyYShtKSBxdWUgYSBhcHJlc2VudGEmY2NlZGlsOyZhdGlsZGU7byBkbyBzZXUgdHJhYmFsaG8gJmVhY3V0ZTsgb3JpZ2luYWwgZSBxdWUgdm9jJmVjaXJjOyhzKSBwb2RlKG0pIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zDQogIDxicj4NCiAgbmVzdGEgbGljZW4mY2NlZGlsO2EuIFZvYyZlY2lyYzsocykgdGFtYiZlYWN1dGU7bSBkZWNsYXJhKG0pIHF1ZSBvIGVudmlvICZlYWN1dGU7IGRlIHNldSBjb25oZWNpbWVudG8gZSBuJmF0aWxkZTtvIGluZnJpbmdlIG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIG91dHJhDQogIDxicj4NCiAgcGVzc29hIG91IGluc3RpdHVpJmNjZWRpbDsmYXRpbGRlO28uIENhc28gbyBkb2N1bWVudG8gYSBzZXIgZGVwb3NpdGFkbyBjb250ZW5oYSBtYXRlcmlhbCBwYXJhIG8gcXVhbCB2b2MmZWNpcmM7KHMpIG4mYXRpbGRlO28gZGV0JmVhY3V0ZTttIGEgdGl0dWxhcmlkYWRlDQogIDxicj4NCiAgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2MmZWNpcmM7KHMpIGRlY2xhcmEobSkgcXVlIG9idGV2ZSBhIHBlcm1pc3MmYXRpbGRlO28gaXJyZXN0cml0YSBkbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkZSBjb25jZWRlciAmYWdyYXZlOw0KICA8YnI+DQogIFVGT1AsIGdlc3RvcmEgZG8gUkktVUZPUCBvcyBkaXJlaXRvcyByZXF1ZXJpZG9zIHBvciBlc3RhIGxpY2VuJmNjZWRpbDthIGUgcXVlIG9zIG1hdGVyaWFpcyBkZSBwcm9wcmllZGFkZSBkZSB0ZXJjZWlyb3MsIGVzdCZhdGlsZGU7bw0KICA8YnI+DQogIGRldmlkYW1lbnRlIGlkZW50aWZpY2Fkb3MgZSByZWNvbmhlY2lkb3Mgbm8gdGV4dG8gb3UgY29udGUmdWFjdXRlO2RvIGRhIGFwcmVzZW50YSZjY2VkaWw7JmF0aWxkZTtvLg0KICA8YnI+DQogIDxicj4NCiAgQ0FTTyBPIFRSQUJBTEhPIERFUE9TSVRBRE8gVEVOSEEgU0lETyBGSU5BTkNJQURPIE9VIEFQT0lBRE8gUE9SIFVNICZPYWN1dGU7UkcmQXRpbGRlO08sIFFVRSBOJkF0aWxkZTtPIEEgSU5TVElUVUkmQ2NlZGlsOyZBdGlsZGU7TyBERVNURQ0KICA8YnI+DQogIFJFU1BPU0lUJk9hY3V0ZTtSSU86IFZPQyZFY2lyYzsgREVDTEFSQSBURVIgQ1VNUFJJRE8gVE9ET1MgT1MgRElSRUlUT1MgREUgUkVWSVMmQXRpbGRlO08gRSBRVUFJU1FVRVIgT1VUUkFTIE9CUklHQSZDY2VkaWw7Jk90aWxkZTtFUw0KICA8YnI+DQogIFJFUVVFUklEQVMgUEVMTyBDT05UUkFUTyBPVSBBQ09SRE8uIA0KICA8YnI+DQogIDxicj4NCiAgTyByZXBvc2l0Jm9hY3V0ZTtyaW8gaWRlbnRpZmljYXImYWFjdXRlOyBjbGFyYW1lbnRlIG8gc2V1KHMpIG5vbWUocykgY29tbyBhdXRvcihlcykgb3UgdGl0dWxhcihlcykgZG8gZGlyZWl0byBkZSBhdXRvcihlcykgZG8gZG9jdW1lbnRvDQogIDxicj4NCiAgc3VibWV0aWRvIGUgZGVjbGFyYSBxdWUgbiZhdGlsZGU7byBmYXImYWFjdXRlOyBxdWFscXVlciBhbHRlcmEmY2NlZGlsOyZhdGlsZGU7byBhbCZlYWN1dGU7bSBkYXMgcGVybWl0aWRhcyBwb3IgZXN0YSBsaWNlbiZjY2VkaWw7YS48L3A+DQo8L2Rpdj4NCjwvYm9keT4NCjwvaHRtbD4NCg==Repositório InstitucionalPUBhttp://www.repositorio.ufop.br/oai/requestrepositorio@ufop.edu.bropendoar:32332019-04-23T12:02:29Repositório Institucional da UFOP - Universidade Federal de Ouro Preto (UFOP)false
dc.title.pt_BR.fl_str_mv Detecção de outliers multivariados em redes de sensores.
title Detecção de outliers multivariados em redes de sensores.
spellingShingle Detecção de outliers multivariados em redes de sensores.
Valadares, Fabricio Geraldo
Redes de sensores sem fio
Valores estranhos - estatística
Análise multivariada
Simulação - computadores
title_short Detecção de outliers multivariados em redes de sensores.
title_full Detecção de outliers multivariados em redes de sensores.
title_fullStr Detecção de outliers multivariados em redes de sensores.
title_full_unstemmed Detecção de outliers multivariados em redes de sensores.
title_sort Detecção de outliers multivariados em redes de sensores.
author Valadares, Fabricio Geraldo
author_facet Valadares, Fabricio Geraldo
author_role author
dc.contributor.author.fl_str_mv Valadares, Fabricio Geraldo
dc.contributor.advisor1.fl_str_mv Pereira Junior, Álvaro Rodrigues
contributor_str_mv Pereira Junior, Álvaro Rodrigues
dc.subject.por.fl_str_mv Redes de sensores sem fio
Valores estranhos - estatística
Análise multivariada
Simulação - computadores
topic Redes de sensores sem fio
Valores estranhos - estatística
Análise multivariada
Simulação - computadores
description Esse trabalho apresenta uma análise, via detecção de outliers, sobre os dados multivariados proveniente de uma rede de sensores. Inicialmente, caracterizamos o problema de detecção de outliers nestas redes. Em seguida, realizamos, via simulação, uma comparação entre três métodos gerais para a identificação dos outliers, Minimum Volume Ellipsoid (MVE), Minimum Covariance Determinant (MCD) e Max-Eigen Difference (MED), considerando cenários específicos de uma rede de sensores. Os dados utilizados na simulação foram gerados a partir de uma base de dados reais proveniente da medição de poluentes no ar. Essa geração nos permitiu representar o cenário de uma rede de sensores. O fenômeno avaliado segue um comportamento Normal, e utilizamos outras duas distribuições, Skew-Normal e T-Student, para representar a imprecisão inerente do processo de sensoriamento, que nem sempre consegue representar satisfatoriamente o ambiente monitorado. Adicionalmente, representamos a presença de ruídos nos dados (outliers pontuais), inseridos com base em uma distribuição de Bernoulli. Essa distribuição foi utilizada para selecionar quais amostras seriam substituídas por ruídos. A avaliação da representatividade dos dados após a remoção dos outliers é realizada por intermédio de um ferramental estatístico formado pelos seguintes testes, valor absoluto do erro relativo, ANOVA, medidas de tendência central e a contagem de outliers. Todas as simulações foram realizadas no software estatístico R. Os resultados das avaliações demonstraram que os erros encontrados podem ser tolerados por grande parte das aplicações em redes de sensores, quando aplicados os métodos MVE e MCD. O método MED não conseguiu identificar todos os outliers, logo, sua aplicação não traz benefícios às aplicações consideradas.
publishDate 2012
dc.date.issued.fl_str_mv 2012
dc.date.accessioned.fl_str_mv 2013-07-01T18:13:13Z
dc.date.available.fl_str_mv 2013-07-01T18:13:13Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv VALADARES, F. G. Detecção de outliers multivariados em redes de sensores. 2012. 53 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Ouro Preto, Ouro Preto, 2012.
dc.identifier.uri.fl_str_mv http://www.repositorio.ufop.br/handle/123456789/3024
identifier_str_mv VALADARES, F. G. Detecção de outliers multivariados em redes de sensores. 2012. 53 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Ouro Preto, Ouro Preto, 2012.
url http://www.repositorio.ufop.br/handle/123456789/3024
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Programa de Pós-Graduação em Ciência da Computação. Departamento de Ciência da Computação, Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto.
publisher.none.fl_str_mv Programa de Pós-Graduação em Ciência da Computação. Departamento de Ciência da Computação, Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFOP
instname:Universidade Federal de Ouro Preto (UFOP)
instacron:UFOP
instname_str Universidade Federal de Ouro Preto (UFOP)
instacron_str UFOP
institution UFOP
reponame_str Repositório Institucional da UFOP
collection Repositório Institucional da UFOP
bitstream.url.fl_str_mv http://www.repositorio.ufop.br/bitstream/123456789/3024/2/license.txt
http://www.repositorio.ufop.br/bitstream/123456789/3024/1/DISSERTA%c3%87%c3%83O_Detec%c3%a7%c3%a3oOutliersMultivariados.PDF
bitstream.checksum.fl_str_mv b084821f9007b71b6e779ab532adc5dd
d9ed72e90d7b35a9eca36b970a238ab6
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFOP - Universidade Federal de Ouro Preto (UFOP)
repository.mail.fl_str_mv repositorio@ufop.edu.br
_version_ 1801685712562552832