Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
Autor(a) principal: | |
---|---|
Data de Publicação: | 2018 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFSCAR |
Texto Completo: | https://repositorio.ufscar.br/handle/ufscar/10544 |
Resumo: | In recent years, we have witnessed the advent of computational systems capable of generating an immense amount of data in a short time period. These applications can be found in areas such as sensor networks, financial markets and computer networks. Systems that produce data incessantly, creating a continuous Data Stream (DS), can be infinite in size and can mutate in its statistical distribution over time. These DS can be used as sources for the automatic acquisition of useful knowledge by machine learning methods. However, the infinite and mutable nature of these data sets can essentially cause new concepts to emerge, which are examples that differ significantly from the examples learned by the model. Occurrences of this behavior in real-world applications may be credit card fraud or computer network intrusions. In this way, the task of detecting these examples, known as novelty detection, stands out as an important research topic. In general, classical methods for detecting novelty are not able to deal with the particularities of DS. Thus, different approaches have been proposed in order to create adaptable models that can accomplish this task. However, the unpredictable characteristics of DS's create difficulties in the learning process, encouraging the search for a more flexible learning. The integration of fuzzy set theory concepts is a timely way of making DS learning more adaptable to imprecisions. Recently, there have been proposals for machine learning models in DS based on fuzzy sets theory with the objective of collaborating for the flexibility and adaptability of the knowledge learned in DS's. Nonetheless, in the context of novelty detection the proposed approaches are few and limited to the domains of study. This paper presents a proposal for a fuzzy approach to detecting novelty in DS investigating techniques for detection of novelty in DS and machine learning models in DS based on fuzzy set theory. The analysis of the results, showed that the proposals favor the novelty detection task, facilitating the identification of discrepant data through the representation and treatment of imprecise data. |
id |
SCAR_c24b3b8fcf5b827f473a83845c108728 |
---|---|
oai_identifier_str |
oai:repositorio.ufscar.br:ufscar/10544 |
network_acronym_str |
SCAR |
network_name_str |
Repositório Institucional da UFSCAR |
repository_id_str |
4322 |
spelling |
Silva, Tiago Pinho daCamargo, Heloisa de Arrudahttp://lattes.cnpq.br/0487231065057783http://lattes.cnpq.br/7999009941456802349bf7f3-3703-49e7-b551-7872d8d068962018-10-04T18:56:32Z2018-10-04T18:56:32Z2018-04-25SILVA, Tiago Pinho da. Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados. 2018. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2018. Disponível em: https://repositorio.ufscar.br/handle/ufscar/10544.https://repositorio.ufscar.br/handle/ufscar/10544In recent years, we have witnessed the advent of computational systems capable of generating an immense amount of data in a short time period. These applications can be found in areas such as sensor networks, financial markets and computer networks. Systems that produce data incessantly, creating a continuous Data Stream (DS), can be infinite in size and can mutate in its statistical distribution over time. These DS can be used as sources for the automatic acquisition of useful knowledge by machine learning methods. However, the infinite and mutable nature of these data sets can essentially cause new concepts to emerge, which are examples that differ significantly from the examples learned by the model. Occurrences of this behavior in real-world applications may be credit card fraud or computer network intrusions. In this way, the task of detecting these examples, known as novelty detection, stands out as an important research topic. In general, classical methods for detecting novelty are not able to deal with the particularities of DS. Thus, different approaches have been proposed in order to create adaptable models that can accomplish this task. However, the unpredictable characteristics of DS's create difficulties in the learning process, encouraging the search for a more flexible learning. The integration of fuzzy set theory concepts is a timely way of making DS learning more adaptable to imprecisions. Recently, there have been proposals for machine learning models in DS based on fuzzy sets theory with the objective of collaborating for the flexibility and adaptability of the knowledge learned in DS's. Nonetheless, in the context of novelty detection the proposed approaches are few and limited to the domains of study. This paper presents a proposal for a fuzzy approach to detecting novelty in DS investigating techniques for detection of novelty in DS and machine learning models in DS based on fuzzy set theory. The analysis of the results, showed that the proposals favor the novelty detection task, facilitating the identification of discrepant data through the representation and treatment of imprecise data.Nos últimos anos, presencia-se o advento de sistemas capazes de gerar uma imensa quantidade de dados em um curto espaço de tempo e aplicações podem ser encontradas em áreas como por exemplo: redes de sensores, mercado financeiro, redes de computadores, redes sociais entre outros. Sistemas como esses produzem dados incessantemente, criando, assim, um Fluxo Contínuo de Dados (FCD) que pode apresentar tamanho infinito além de poder sofrer mudanças em sua distribuição estatística de acordo com o tempo. Estes FCDs podem ser utilizados como fontes para a aquisição de conhecimento por métodos de aprendizado de máquina, como classificação, agrupamento e mineração de padrões frequentes. Entretanto, a natureza infinita e mutável destes conjuntos de dados pode causar essencialmente o surgimento de novos conceitos, que são exemplos que diferem significativamente dos conceitos aprendidos pelo modelo. Ocorrências deste comportamento em aplicações do mundo real podem ser, por exemplo, fraudes em cartões de créditos ou intrusões em redes de computadores. Desta forma, a tarefa de detecção destes exemplos, conhecida como detecção de novidade se destaca como um importante tópico de pesquisa. De modo geral, métodos clássicos para detecção de novidade não são capazes de lidar com as particularidades existentes em FCDs. Assim, diferentes abordagens vêm sendo propostas com o intuito de criar modelos adaptáveis e que possam realizar esta tarefa. No entanto, a característica de mudança de FCDs geram dificuldades no processo de aprendizagem, encorajando a busca por aprendizado flexível. A integração de conceitos da teoria de conjuntos fuzzy é uma forma oportuna de tornar o aprendizado em FCD mais adaptável a imprecisão dos dados. Recentemente, tem surgido propostas de modelos para aprendizado de máquina em FCD baseadas em teoria de conjuntos fuzzy com o objetivo de colaborar para a representação de imprecisão e adaptabilidade do conhecimento aprendido em FCDs. Entretanto, no contexto de detecção de novidade as abordagens propostas são poucas e limitam-se a domínios específicos. Este trabalho apresenta duas propostas de abordagens flexíveis para detecção de novidade em FCD, investigando técnicas e modelos de aprendizado de máquina em FCD baseados em teoria de conjuntos fuzzy. A análise dos resultados produzidos demonstra que as propostas propiciam melhorias na tarefa de detecção de novidade, facilitando a identificação de dados discrepantes através da representação e tratamento de imprecisão nos dados.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)CAPES: Código de Financiamento 001porUniversidade Federal de São CarlosCâmpus São CarlosPrograma de Pós-Graduação em Ciência da Computação - PPGCCUFSCarFluxos contínuo de dadosDetecção de novidadeTeoria de conjuntos fuzzyData streamsNovelty detectionFuzzy sets theoryCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAOAbordagem fuzzy para detecção de novidade em fluxo contínuo de dadosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis6 meses após a data da defesa600600abf34796-0d89-460f-9185-e460cb1c066ainfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFSCARinstname:Universidade Federal de São Carlos (UFSCAR)instacron:UFSCARORIGINALDisserta__o_Mestrado___Tiago_Pinho.pdfDisserta__o_Mestrado___Tiago_Pinho.pdfapplication/pdf6588650https://repositorio.ufscar.br/bitstream/ufscar/10544/1/Disserta__o_Mestrado___Tiago_Pinho.pdfe3e53c2093ee35fe2055c01d4a772d3bMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81957https://repositorio.ufscar.br/bitstream/ufscar/10544/3/license.txtae0398b6f8b235e40ad82cba6c50031dMD53TEXTDisserta__o_Mestrado___Tiago_Pinho.pdf.txtDisserta__o_Mestrado___Tiago_Pinho.pdf.txtExtracted texttext/plain221628https://repositorio.ufscar.br/bitstream/ufscar/10544/4/Disserta__o_Mestrado___Tiago_Pinho.pdf.txt8b8c56665b83ce1305f89cfacd91ea81MD54THUMBNAILDisserta__o_Mestrado___Tiago_Pinho.pdf.jpgDisserta__o_Mestrado___Tiago_Pinho.pdf.jpgIM Thumbnailimage/jpeg7040https://repositorio.ufscar.br/bitstream/ufscar/10544/5/Disserta__o_Mestrado___Tiago_Pinho.pdf.jpg2ded6a9c4c80f0f7478f96b61d6e61bbMD55ufscar/105442023-09-18 18:31:53.137oai:repositorio.ufscar.br:ufscar/10544TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgw6AgVW5pdmVyc2lkYWRlCkZlZGVyYWwgZGUgU8OjbyBDYXJsb3MgbyBkaXJlaXRvIG7Do28tZXhjbHVzaXZvIGRlIHJlcHJvZHV6aXIsICB0cmFkdXppciAoY29uZm9ybWUgZGVmaW5pZG8gYWJhaXhvKSwgZS9vdQpkaXN0cmlidWlyIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlCmVtIHF1YWxxdWVyIG1laW8sIGluY2x1aW5kbyBvcyBmb3JtYXRvcyDDoXVkaW8gb3UgdsOtZGVvLgoKVm9jw6ogY29uY29yZGEgcXVlIGEgVUZTQ2FyIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSB0ZXNlIG91IGRpc3NlcnRhw6fDo28KcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBhIFVGU0NhciBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgYSBzdWEgdGVzZSBvdQpkaXNzZXJ0YcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcwpuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0byBkYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG7Do28sIHF1ZSBzZWphIGRlIHNldQpjb25oZWNpbWVudG8sIGluZnJpbmdlIGRpcmVpdG9zIGF1dG9yYWlzIGRlIG5pbmd1w6ltLgoKQ2FzbyBhIHN1YSB0ZXNlIG91IGRpc3NlcnRhw6fDo28gY29udGVuaGEgbWF0ZXJpYWwgcXVlIHZvY8OqIG7Do28gcG9zc3VpIGEgdGl0dWxhcmlkYWRlIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgdm9jw6oKZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFVGU0NhcgpvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUKaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBURVNFIE9VIERJU1NFUlRBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UKQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PIFFVRSBOw4NPIFNFSkEgQSBVRlNDYXIsClZPQ8OKIERFQ0xBUkEgUVVFIFJFU1BFSVRPVSBUT0RPUyBFIFFVQUlTUVVFUiBESVJFSVRPUyBERSBSRVZJU8ODTyBDT01PClRBTULDiU0gQVMgREVNQUlTIE9CUklHQcOHw5VFUyBFWElHSURBUyBQT1IgQ09OVFJBVE8gT1UgQUNPUkRPLgoKQSBVRlNDYXIgc2UgY29tcHJvbWV0ZSBhIGlkZW50aWZpY2FyIGNsYXJhbWVudGUgbyBzZXUgbm9tZSAocykgb3UgbyhzKSBub21lKHMpIGRvKHMpCmRldGVudG9yKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzCmNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuCg==Repositório InstitucionalPUBhttps://repositorio.ufscar.br/oai/requestopendoar:43222023-09-18T18:31:53Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)false |
dc.title.por.fl_str_mv |
Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados |
title |
Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados |
spellingShingle |
Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados Silva, Tiago Pinho da Fluxos contínuo de dados Detecção de novidade Teoria de conjuntos fuzzy Data streams Novelty detection Fuzzy sets theory CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
title_short |
Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados |
title_full |
Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados |
title_fullStr |
Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados |
title_full_unstemmed |
Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados |
title_sort |
Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados |
author |
Silva, Tiago Pinho da |
author_facet |
Silva, Tiago Pinho da |
author_role |
author |
dc.contributor.authorlattes.por.fl_str_mv |
http://lattes.cnpq.br/7999009941456802 |
dc.contributor.author.fl_str_mv |
Silva, Tiago Pinho da |
dc.contributor.advisor1.fl_str_mv |
Camargo, Heloisa de Arruda |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/0487231065057783 |
dc.contributor.authorID.fl_str_mv |
349bf7f3-3703-49e7-b551-7872d8d06896 |
contributor_str_mv |
Camargo, Heloisa de Arruda |
dc.subject.por.fl_str_mv |
Fluxos contínuo de dados Detecção de novidade Teoria de conjuntos fuzzy |
topic |
Fluxos contínuo de dados Detecção de novidade Teoria de conjuntos fuzzy Data streams Novelty detection Fuzzy sets theory CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
dc.subject.eng.fl_str_mv |
Data streams Novelty detection Fuzzy sets theory |
dc.subject.cnpq.fl_str_mv |
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
description |
In recent years, we have witnessed the advent of computational systems capable of generating an immense amount of data in a short time period. These applications can be found in areas such as sensor networks, financial markets and computer networks. Systems that produce data incessantly, creating a continuous Data Stream (DS), can be infinite in size and can mutate in its statistical distribution over time. These DS can be used as sources for the automatic acquisition of useful knowledge by machine learning methods. However, the infinite and mutable nature of these data sets can essentially cause new concepts to emerge, which are examples that differ significantly from the examples learned by the model. Occurrences of this behavior in real-world applications may be credit card fraud or computer network intrusions. In this way, the task of detecting these examples, known as novelty detection, stands out as an important research topic. In general, classical methods for detecting novelty are not able to deal with the particularities of DS. Thus, different approaches have been proposed in order to create adaptable models that can accomplish this task. However, the unpredictable characteristics of DS's create difficulties in the learning process, encouraging the search for a more flexible learning. The integration of fuzzy set theory concepts is a timely way of making DS learning more adaptable to imprecisions. Recently, there have been proposals for machine learning models in DS based on fuzzy sets theory with the objective of collaborating for the flexibility and adaptability of the knowledge learned in DS's. Nonetheless, in the context of novelty detection the proposed approaches are few and limited to the domains of study. This paper presents a proposal for a fuzzy approach to detecting novelty in DS investigating techniques for detection of novelty in DS and machine learning models in DS based on fuzzy set theory. The analysis of the results, showed that the proposals favor the novelty detection task, facilitating the identification of discrepant data through the representation and treatment of imprecise data. |
publishDate |
2018 |
dc.date.accessioned.fl_str_mv |
2018-10-04T18:56:32Z |
dc.date.available.fl_str_mv |
2018-10-04T18:56:32Z |
dc.date.issued.fl_str_mv |
2018-04-25 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
SILVA, Tiago Pinho da. Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados. 2018. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2018. Disponível em: https://repositorio.ufscar.br/handle/ufscar/10544. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufscar.br/handle/ufscar/10544 |
identifier_str_mv |
SILVA, Tiago Pinho da. Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados. 2018. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2018. Disponível em: https://repositorio.ufscar.br/handle/ufscar/10544. |
url |
https://repositorio.ufscar.br/handle/ufscar/10544 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.confidence.fl_str_mv |
600 600 |
dc.relation.authority.fl_str_mv |
abf34796-0d89-460f-9185-e460cb1c066a |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de São Carlos Câmpus São Carlos |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Ciência da Computação - PPGCC |
dc.publisher.initials.fl_str_mv |
UFSCar |
publisher.none.fl_str_mv |
Universidade Federal de São Carlos Câmpus São Carlos |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFSCAR instname:Universidade Federal de São Carlos (UFSCAR) instacron:UFSCAR |
instname_str |
Universidade Federal de São Carlos (UFSCAR) |
instacron_str |
UFSCAR |
institution |
UFSCAR |
reponame_str |
Repositório Institucional da UFSCAR |
collection |
Repositório Institucional da UFSCAR |
bitstream.url.fl_str_mv |
https://repositorio.ufscar.br/bitstream/ufscar/10544/1/Disserta__o_Mestrado___Tiago_Pinho.pdf https://repositorio.ufscar.br/bitstream/ufscar/10544/3/license.txt https://repositorio.ufscar.br/bitstream/ufscar/10544/4/Disserta__o_Mestrado___Tiago_Pinho.pdf.txt https://repositorio.ufscar.br/bitstream/ufscar/10544/5/Disserta__o_Mestrado___Tiago_Pinho.pdf.jpg |
bitstream.checksum.fl_str_mv |
e3e53c2093ee35fe2055c01d4a772d3b ae0398b6f8b235e40ad82cba6c50031d 8b8c56665b83ce1305f89cfacd91ea81 2ded6a9c4c80f0f7478f96b61d6e61bb |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR) |
repository.mail.fl_str_mv |
|
_version_ |
1813715595698372608 |