Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados

Detalhes bibliográficos
Autor(a) principal: Silva, Tiago Pinho da
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFSCAR
Texto Completo: https://repositorio.ufscar.br/handle/ufscar/10544
Resumo: In recent years, we have witnessed the advent of computational systems capable of generating an immense amount of data in a short time period. These applications can be found in areas such as sensor networks, financial markets and computer networks. Systems that produce data incessantly, creating a continuous Data Stream (DS), can be infinite in size and can mutate in its statistical distribution over time. These DS can be used as sources for the automatic acquisition of useful knowledge by machine learning methods. However, the infinite and mutable nature of these data sets can essentially cause new concepts to emerge, which are examples that differ significantly from the examples learned by the model. Occurrences of this behavior in real-world applications may be credit card fraud or computer network intrusions. In this way, the task of detecting these examples, known as novelty detection, stands out as an important research topic. In general, classical methods for detecting novelty are not able to deal with the particularities of DS. Thus, different approaches have been proposed in order to create adaptable models that can accomplish this task. However, the unpredictable characteristics of DS's create difficulties in the learning process, encouraging the search for a more flexible learning. The integration of fuzzy set theory concepts is a timely way of making DS learning more adaptable to imprecisions. Recently, there have been proposals for machine learning models in DS based on fuzzy sets theory with the objective of collaborating for the flexibility and adaptability of the knowledge learned in DS's. Nonetheless, in the context of novelty detection the proposed approaches are few and limited to the domains of study. This paper presents a proposal for a fuzzy approach to detecting novelty in DS investigating techniques for detection of novelty in DS and machine learning models in DS based on fuzzy set theory. The analysis of the results, showed that the proposals favor the novelty detection task, facilitating the identification of discrepant data through the representation and treatment of imprecise data.
id SCAR_c24b3b8fcf5b827f473a83845c108728
oai_identifier_str oai:repositorio.ufscar.br:ufscar/10544
network_acronym_str SCAR
network_name_str Repositório Institucional da UFSCAR
repository_id_str 4322
spelling Silva, Tiago Pinho daCamargo, Heloisa de Arrudahttp://lattes.cnpq.br/0487231065057783http://lattes.cnpq.br/7999009941456802349bf7f3-3703-49e7-b551-7872d8d068962018-10-04T18:56:32Z2018-10-04T18:56:32Z2018-04-25SILVA, Tiago Pinho da. Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados. 2018. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2018. Disponível em: https://repositorio.ufscar.br/handle/ufscar/10544.https://repositorio.ufscar.br/handle/ufscar/10544In recent years, we have witnessed the advent of computational systems capable of generating an immense amount of data in a short time period. These applications can be found in areas such as sensor networks, financial markets and computer networks. Systems that produce data incessantly, creating a continuous Data Stream (DS), can be infinite in size and can mutate in its statistical distribution over time. These DS can be used as sources for the automatic acquisition of useful knowledge by machine learning methods. However, the infinite and mutable nature of these data sets can essentially cause new concepts to emerge, which are examples that differ significantly from the examples learned by the model. Occurrences of this behavior in real-world applications may be credit card fraud or computer network intrusions. In this way, the task of detecting these examples, known as novelty detection, stands out as an important research topic. In general, classical methods for detecting novelty are not able to deal with the particularities of DS. Thus, different approaches have been proposed in order to create adaptable models that can accomplish this task. However, the unpredictable characteristics of DS's create difficulties in the learning process, encouraging the search for a more flexible learning. The integration of fuzzy set theory concepts is a timely way of making DS learning more adaptable to imprecisions. Recently, there have been proposals for machine learning models in DS based on fuzzy sets theory with the objective of collaborating for the flexibility and adaptability of the knowledge learned in DS's. Nonetheless, in the context of novelty detection the proposed approaches are few and limited to the domains of study. This paper presents a proposal for a fuzzy approach to detecting novelty in DS investigating techniques for detection of novelty in DS and machine learning models in DS based on fuzzy set theory. The analysis of the results, showed that the proposals favor the novelty detection task, facilitating the identification of discrepant data through the representation and treatment of imprecise data.Nos últimos anos, presencia-se o advento de sistemas capazes de gerar uma imensa quantidade de dados em um curto espaço de tempo e aplicações podem ser encontradas em áreas como por exemplo: redes de sensores, mercado financeiro, redes de computadores, redes sociais entre outros. Sistemas como esses produzem dados incessantemente, criando, assim, um Fluxo Contínuo de Dados (FCD) que pode apresentar tamanho infinito além de poder sofrer mudanças em sua distribuição estatística de acordo com o tempo. Estes FCDs podem ser utilizados como fontes para a aquisição de conhecimento por métodos de aprendizado de máquina, como classificação, agrupamento e mineração de padrões frequentes. Entretanto, a natureza infinita e mutável destes conjuntos de dados pode causar essencialmente o surgimento de novos conceitos, que são exemplos que diferem significativamente dos conceitos aprendidos pelo modelo. Ocorrências deste comportamento em aplicações do mundo real podem ser, por exemplo, fraudes em cartões de créditos ou intrusões em redes de computadores. Desta forma, a tarefa de detecção destes exemplos, conhecida como detecção de novidade se destaca como um importante tópico de pesquisa. De modo geral, métodos clássicos para detecção de novidade não são capazes de lidar com as particularidades existentes em FCDs. Assim, diferentes abordagens vêm sendo propostas com o intuito de criar modelos adaptáveis e que possam realizar esta tarefa. No entanto, a característica de mudança de FCDs geram dificuldades no processo de aprendizagem, encorajando a busca por aprendizado flexível. A integração de conceitos da teoria de conjuntos fuzzy é uma forma oportuna de tornar o aprendizado em FCD mais adaptável a imprecisão dos dados. Recentemente, tem surgido propostas de modelos para aprendizado de máquina em FCD baseadas em teoria de conjuntos fuzzy com o objetivo de colaborar para a representação de imprecisão e adaptabilidade do conhecimento aprendido em FCDs. Entretanto, no contexto de detecção de novidade as abordagens propostas são poucas e limitam-se a domínios específicos. Este trabalho apresenta duas propostas de abordagens flexíveis para detecção de novidade em FCD, investigando técnicas e modelos de aprendizado de máquina em FCD baseados em teoria de conjuntos fuzzy. A análise dos resultados produzidos demonstra que as propostas propiciam melhorias na tarefa de detecção de novidade, facilitando a identificação de dados discrepantes através da representação e tratamento de imprecisão nos dados.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)CAPES: Código de Financiamento 001porUniversidade Federal de São CarlosCâmpus São CarlosPrograma de Pós-Graduação em Ciência da Computação - PPGCCUFSCarFluxos contínuo de dadosDetecção de novidadeTeoria de conjuntos fuzzyData streamsNovelty detectionFuzzy sets theoryCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAOAbordagem fuzzy para detecção de novidade em fluxo contínuo de dadosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis6 meses após a data da defesa600600abf34796-0d89-460f-9185-e460cb1c066ainfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFSCARinstname:Universidade Federal de São Carlos (UFSCAR)instacron:UFSCARORIGINALDisserta__o_Mestrado___Tiago_Pinho.pdfDisserta__o_Mestrado___Tiago_Pinho.pdfapplication/pdf6588650https://repositorio.ufscar.br/bitstream/ufscar/10544/1/Disserta__o_Mestrado___Tiago_Pinho.pdfe3e53c2093ee35fe2055c01d4a772d3bMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81957https://repositorio.ufscar.br/bitstream/ufscar/10544/3/license.txtae0398b6f8b235e40ad82cba6c50031dMD53TEXTDisserta__o_Mestrado___Tiago_Pinho.pdf.txtDisserta__o_Mestrado___Tiago_Pinho.pdf.txtExtracted texttext/plain221628https://repositorio.ufscar.br/bitstream/ufscar/10544/4/Disserta__o_Mestrado___Tiago_Pinho.pdf.txt8b8c56665b83ce1305f89cfacd91ea81MD54THUMBNAILDisserta__o_Mestrado___Tiago_Pinho.pdf.jpgDisserta__o_Mestrado___Tiago_Pinho.pdf.jpgIM Thumbnailimage/jpeg7040https://repositorio.ufscar.br/bitstream/ufscar/10544/5/Disserta__o_Mestrado___Tiago_Pinho.pdf.jpg2ded6a9c4c80f0f7478f96b61d6e61bbMD55ufscar/105442023-09-18 18:31:53.137oai:repositorio.ufscar.br:ufscar/10544TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgw6AgVW5pdmVyc2lkYWRlCkZlZGVyYWwgZGUgU8OjbyBDYXJsb3MgbyBkaXJlaXRvIG7Do28tZXhjbHVzaXZvIGRlIHJlcHJvZHV6aXIsICB0cmFkdXppciAoY29uZm9ybWUgZGVmaW5pZG8gYWJhaXhvKSwgZS9vdQpkaXN0cmlidWlyIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlCmVtIHF1YWxxdWVyIG1laW8sIGluY2x1aW5kbyBvcyBmb3JtYXRvcyDDoXVkaW8gb3UgdsOtZGVvLgoKVm9jw6ogY29uY29yZGEgcXVlIGEgVUZTQ2FyIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSB0ZXNlIG91IGRpc3NlcnRhw6fDo28KcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBhIFVGU0NhciBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgYSBzdWEgdGVzZSBvdQpkaXNzZXJ0YcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcwpuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0byBkYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG7Do28sIHF1ZSBzZWphIGRlIHNldQpjb25oZWNpbWVudG8sIGluZnJpbmdlIGRpcmVpdG9zIGF1dG9yYWlzIGRlIG5pbmd1w6ltLgoKQ2FzbyBhIHN1YSB0ZXNlIG91IGRpc3NlcnRhw6fDo28gY29udGVuaGEgbWF0ZXJpYWwgcXVlIHZvY8OqIG7Do28gcG9zc3VpIGEgdGl0dWxhcmlkYWRlIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgdm9jw6oKZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFVGU0NhcgpvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUKaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBURVNFIE9VIERJU1NFUlRBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UKQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PIFFVRSBOw4NPIFNFSkEgQSBVRlNDYXIsClZPQ8OKIERFQ0xBUkEgUVVFIFJFU1BFSVRPVSBUT0RPUyBFIFFVQUlTUVVFUiBESVJFSVRPUyBERSBSRVZJU8ODTyBDT01PClRBTULDiU0gQVMgREVNQUlTIE9CUklHQcOHw5VFUyBFWElHSURBUyBQT1IgQ09OVFJBVE8gT1UgQUNPUkRPLgoKQSBVRlNDYXIgc2UgY29tcHJvbWV0ZSBhIGlkZW50aWZpY2FyIGNsYXJhbWVudGUgbyBzZXUgbm9tZSAocykgb3UgbyhzKSBub21lKHMpIGRvKHMpCmRldGVudG9yKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzCmNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuCg==Repositório InstitucionalPUBhttps://repositorio.ufscar.br/oai/requestopendoar:43222023-09-18T18:31:53Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)false
dc.title.por.fl_str_mv Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
title Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
spellingShingle Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
Silva, Tiago Pinho da
Fluxos contínuo de dados
Detecção de novidade
Teoria de conjuntos fuzzy
Data streams
Novelty detection
Fuzzy sets theory
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
title_short Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
title_full Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
title_fullStr Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
title_full_unstemmed Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
title_sort Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
author Silva, Tiago Pinho da
author_facet Silva, Tiago Pinho da
author_role author
dc.contributor.authorlattes.por.fl_str_mv http://lattes.cnpq.br/7999009941456802
dc.contributor.author.fl_str_mv Silva, Tiago Pinho da
dc.contributor.advisor1.fl_str_mv Camargo, Heloisa de Arruda
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/0487231065057783
dc.contributor.authorID.fl_str_mv 349bf7f3-3703-49e7-b551-7872d8d06896
contributor_str_mv Camargo, Heloisa de Arruda
dc.subject.por.fl_str_mv Fluxos contínuo de dados
Detecção de novidade
Teoria de conjuntos fuzzy
topic Fluxos contínuo de dados
Detecção de novidade
Teoria de conjuntos fuzzy
Data streams
Novelty detection
Fuzzy sets theory
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
dc.subject.eng.fl_str_mv Data streams
Novelty detection
Fuzzy sets theory
dc.subject.cnpq.fl_str_mv CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
description In recent years, we have witnessed the advent of computational systems capable of generating an immense amount of data in a short time period. These applications can be found in areas such as sensor networks, financial markets and computer networks. Systems that produce data incessantly, creating a continuous Data Stream (DS), can be infinite in size and can mutate in its statistical distribution over time. These DS can be used as sources for the automatic acquisition of useful knowledge by machine learning methods. However, the infinite and mutable nature of these data sets can essentially cause new concepts to emerge, which are examples that differ significantly from the examples learned by the model. Occurrences of this behavior in real-world applications may be credit card fraud or computer network intrusions. In this way, the task of detecting these examples, known as novelty detection, stands out as an important research topic. In general, classical methods for detecting novelty are not able to deal with the particularities of DS. Thus, different approaches have been proposed in order to create adaptable models that can accomplish this task. However, the unpredictable characteristics of DS's create difficulties in the learning process, encouraging the search for a more flexible learning. The integration of fuzzy set theory concepts is a timely way of making DS learning more adaptable to imprecisions. Recently, there have been proposals for machine learning models in DS based on fuzzy sets theory with the objective of collaborating for the flexibility and adaptability of the knowledge learned in DS's. Nonetheless, in the context of novelty detection the proposed approaches are few and limited to the domains of study. This paper presents a proposal for a fuzzy approach to detecting novelty in DS investigating techniques for detection of novelty in DS and machine learning models in DS based on fuzzy set theory. The analysis of the results, showed that the proposals favor the novelty detection task, facilitating the identification of discrepant data through the representation and treatment of imprecise data.
publishDate 2018
dc.date.accessioned.fl_str_mv 2018-10-04T18:56:32Z
dc.date.available.fl_str_mv 2018-10-04T18:56:32Z
dc.date.issued.fl_str_mv 2018-04-25
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv SILVA, Tiago Pinho da. Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados. 2018. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2018. Disponível em: https://repositorio.ufscar.br/handle/ufscar/10544.
dc.identifier.uri.fl_str_mv https://repositorio.ufscar.br/handle/ufscar/10544
identifier_str_mv SILVA, Tiago Pinho da. Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados. 2018. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2018. Disponível em: https://repositorio.ufscar.br/handle/ufscar/10544.
url https://repositorio.ufscar.br/handle/ufscar/10544
dc.language.iso.fl_str_mv por
language por
dc.relation.confidence.fl_str_mv 600
600
dc.relation.authority.fl_str_mv abf34796-0d89-460f-9185-e460cb1c066a
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de São Carlos
Câmpus São Carlos
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Ciência da Computação - PPGCC
dc.publisher.initials.fl_str_mv UFSCar
publisher.none.fl_str_mv Universidade Federal de São Carlos
Câmpus São Carlos
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSCAR
instname:Universidade Federal de São Carlos (UFSCAR)
instacron:UFSCAR
instname_str Universidade Federal de São Carlos (UFSCAR)
instacron_str UFSCAR
institution UFSCAR
reponame_str Repositório Institucional da UFSCAR
collection Repositório Institucional da UFSCAR
bitstream.url.fl_str_mv https://repositorio.ufscar.br/bitstream/ufscar/10544/1/Disserta__o_Mestrado___Tiago_Pinho.pdf
https://repositorio.ufscar.br/bitstream/ufscar/10544/3/license.txt
https://repositorio.ufscar.br/bitstream/ufscar/10544/4/Disserta__o_Mestrado___Tiago_Pinho.pdf.txt
https://repositorio.ufscar.br/bitstream/ufscar/10544/5/Disserta__o_Mestrado___Tiago_Pinho.pdf.jpg
bitstream.checksum.fl_str_mv e3e53c2093ee35fe2055c01d4a772d3b
ae0398b6f8b235e40ad82cba6c50031d
8b8c56665b83ce1305f89cfacd91ea81
2ded6a9c4c80f0f7478f96b61d6e61bb
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)
repository.mail.fl_str_mv
_version_ 1813715595698372608