Análise do impacto de feature selection e detecção de concept drift na classificação de fluxos de dados em evolução

• Autor(a) principal: Nunes, Andre Kenji Kagawa
• Data de Publicação: 2019
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFRGS
• Texto Completo: http://hdl.handle.net/10183/198497
• topic: Inteligência artificial; Datastreams; Drift detection; Feature selection; Feature drift; Concept drift; Classification; Machine learning

O aprendizado a partir de fluxos de dados sofre de diversos problemas que não existem em outros cenários de aprendizado de máquina convencional. Os principais problemas tratados nesse trabalho são a sua natureza online e não estacionária, além de suas consequências: as possíveis mudanças na função geradora dos dados, que caracterizam um concept drift. Esse cenário cria a necessidade de novos algoritmos desevolvidos para se adaptar à essas possíveis mudanças, que podem ocorrer de maneira gradual ou abrupta. Mas não limitado a essas anomalias, também existe a necessidade de lidar com uma possível alta dimensionalidade dos dados somado à necessidade de realizar o aprendizado incrementalmente, e em tempo real. Como resposta a esses desafios, existem diferentes soluções no estado da arte, envolvendo variados mecanismos como feature selection e métodos de detecção de concept drift. Portanto, nesse trabalho é analisado o impacto e viabilidade da adição desses mecanismos à algoritmos de classificação, em relação ao custo computacional e poder preditivo. Para isso, é proposto um algoritmo de controle definido como um comitê de árvores de decisão equipado com adaptação passiva externa aos classificadores base, e três modificações distintas originadas dele, onde uma utiliza um seletor de features relevantes, outra um detector de concept drift e adaptação ativa, e a última modificação utiliza os dois simultaneamente. Para comparar estas variações, são apresentados os resultados dos testes em múltiplos cenários representados por datasets sintéticos e reais. Deste modo, o algoritmo utilizando apenas feature selection e adaptação passiva apresentou ganho de acurácia e diminuição do custo computacional, enquanto os algoritmos utilizando métodos de detecção de concept drift apresentaram um desempenho inferior ao demais algoritmos, na maioria dos casos. Esses resultados foram verificados utilizando o teste de Friedman com procedimento post-hoc, onde a modificação com apenas feature selection foi a única que mostrou diferença estatisticamente significativa sobre os outros algoritmo com grau de confiança de 0.10, enquanto os testes foram inconclusivos para os algoritmos que utilizaram adaptação ativa.