Uma abordagem Transfer-learning para agrupamento de dados

Detalhes bibliográficos
Autor(a) principal: Pereira, Igor Avila
Data de Publicação: 2014
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da FURG (RI FURG)
Texto Completo: http://repositorio.furg.br/handle/1/8166
Resumo: Na vida cotidiana, as pessoas agrupam objetos de forma inconsciente, sem saber exatamente como a seleção de objetos que compõem um determinado grupo é feita. Assim, é uma característica da aprendizagem humana considerar o conhecimento obtido a partir de grupos anteriores para gerar novos agrupamentos. No entanto, a maioria dos algoritmos de agrupamento não considera esse tipo de conhecimento prévio. Neste contexto, este trabalho propõe um novo algoritmo de agrupamento que aplica técnica de Transfer Learning, a fim de transferir o conhecimento de agrupamentos anteriores para um agrupamento futuro. Todo dataset incorporado é submetido a um processo de pré-processamento, que combina as instâncias em pares e mapeia seus atributos em novas características, a fim de que esteja em um domínio comum. Em uma etapa de treinamento, aplica-se um classificador que extrai o conhecimento presente nos datasets. Deste modo, o conhecimento extraído dos datesets anteriores é repassado à tarefa de agrupar um novo dataset. Assim, a transferência de conhecimento contribui para o processo de formação de grupos, melhorando o resultado final do agrupamento. Experimentos foram realizados com dois conjuntos de datasets. O primeiro contém 10 datasets e o segundo 5 datasets. No primeiro conjunto, há datasets com diferentes atributos e número de instâncias. Todavia, o segundo conjunto possui apenas datasets de mesmas dimensões (dois atributos) e número de instâncias diferentes. Para ambos, utilizou-se o procedimento de validação cruzada. A cada iteração, um dataset do conjunto era definido com sendo o dataset teste, ou seja, que se deseja agrupar e os demais eram utilizados como bases auxiliares de conhecimento. No conjunto de 10 datasets aplicou-se um classificador baseado em árvores de decisão e, para o segundo conjunto um classificador baseado em regressão logística.
id FURG_f9b6be7f4ddafd6cd1612a6072606a5c
oai_identifier_str oai:repositorio.furg.br:1/8166
network_acronym_str FURG
network_name_str Repositório Institucional da FURG (RI FURG)
repository_id_str
spelling Uma abordagem Transfer-learning para agrupamento de dadosTransfer Learning approach to data clusteringEngenhariaCiência da computaçãoEngenharia de computaçãoTransfer learningAprendizado computacionalAgrupamento de dadosclusteringComputer engineeringEngineeringComputationTransfer LearningMachine learningClusteringNa vida cotidiana, as pessoas agrupam objetos de forma inconsciente, sem saber exatamente como a seleção de objetos que compõem um determinado grupo é feita. Assim, é uma característica da aprendizagem humana considerar o conhecimento obtido a partir de grupos anteriores para gerar novos agrupamentos. No entanto, a maioria dos algoritmos de agrupamento não considera esse tipo de conhecimento prévio. Neste contexto, este trabalho propõe um novo algoritmo de agrupamento que aplica técnica de Transfer Learning, a fim de transferir o conhecimento de agrupamentos anteriores para um agrupamento futuro. Todo dataset incorporado é submetido a um processo de pré-processamento, que combina as instâncias em pares e mapeia seus atributos em novas características, a fim de que esteja em um domínio comum. Em uma etapa de treinamento, aplica-se um classificador que extrai o conhecimento presente nos datasets. Deste modo, o conhecimento extraído dos datesets anteriores é repassado à tarefa de agrupar um novo dataset. Assim, a transferência de conhecimento contribui para o processo de formação de grupos, melhorando o resultado final do agrupamento. Experimentos foram realizados com dois conjuntos de datasets. O primeiro contém 10 datasets e o segundo 5 datasets. No primeiro conjunto, há datasets com diferentes atributos e número de instâncias. Todavia, o segundo conjunto possui apenas datasets de mesmas dimensões (dois atributos) e número de instâncias diferentes. Para ambos, utilizou-se o procedimento de validação cruzada. A cada iteração, um dataset do conjunto era definido com sendo o dataset teste, ou seja, que se deseja agrupar e os demais eram utilizados como bases auxiliares de conhecimento. No conjunto de 10 datasets aplicou-se um classificador baseado em árvores de decisão e, para o segundo conjunto um classificador baseado em regressão logística.In everyday life, people group objects unconsciously, without knowing exactly how the selection of objects that comprise a given group is made. Thus, it is a characteristic of human learning to consider the knowledge gained from earlier groups to generate new clusters. However, most clustering algorithms do not consider this type of prior knowledge. In this context, this work proposes a new clustering algorithm applying the Learning Transfer techniques in order to transfer knowledge from previous partitions for a future partition. The datasets undergo a process of pre-processing that combines instances in pairs and maps their attributes into new features in order to be in a homogeneous domain. In a training phase, we apply a classifier that extracts the datasets knowledge. Thus, the knowledge extracted from previous datesets is passed to the task of clustering a new dataset. The knowledge transfer process contributes to the formation of groups, improving the outcome of the clustering algorithm. Experiments were performed with two sets of datasets. The first contains 10 datasets and the second 5 datasets. In the first set there are datasets with different attributes and number of instances. However, the second set has only datasets with the same dimensions (two attributes) and different number of instances. For both used the cross-validation procedure. At each iteration, a dataset was defined with the set and the test dataset, that is, a dataset we want cluster and others were used as auxiliary knowledge bases. In all 10 datasets a classifier based on decision trees was applied, and for the second set, a classifier based on logistic regression was employed.Emmendorfer, Leonardo RamosMachado, Karina dos SantosPereira, Igor Avila2020-01-24T18:04:25Z2020-01-24T18:04:25Z2014info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfPEREIRA, Igor Avila. Uma abordagem Transfer-learning para agrupamento de dados. 2014. 74 f. Dissertação (Mestrado em Engenharia da Computação) – Centro de Ciências Computacionais, Universidade Federal do Rio Grande, Rio Grande, 2014.http://repositorio.furg.br/handle/1/8166porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da FURG (RI FURG)instname:Universidade Federal do Rio Grande (FURG)instacron:FURG2020-01-24T18:04:25Zoai:repositorio.furg.br:1/8166Repositório InstitucionalPUBhttps://repositorio.furg.br/oai/request || http://200.19.254.174/oai/requestopendoar:2020-01-24T18:04:25Repositório Institucional da FURG (RI FURG) - Universidade Federal do Rio Grande (FURG)false
dc.title.none.fl_str_mv Uma abordagem Transfer-learning para agrupamento de dados
Transfer Learning approach to data clustering
title Uma abordagem Transfer-learning para agrupamento de dados
spellingShingle Uma abordagem Transfer-learning para agrupamento de dados
Pereira, Igor Avila
Engenharia
Ciência da computação
Engenharia de computação
Transfer learning
Aprendizado computacional
Agrupamento de dados
clustering
Computer engineering
Engineering
Computation
Transfer Learning
Machine learning
Clustering
title_short Uma abordagem Transfer-learning para agrupamento de dados
title_full Uma abordagem Transfer-learning para agrupamento de dados
title_fullStr Uma abordagem Transfer-learning para agrupamento de dados
title_full_unstemmed Uma abordagem Transfer-learning para agrupamento de dados
title_sort Uma abordagem Transfer-learning para agrupamento de dados
author Pereira, Igor Avila
author_facet Pereira, Igor Avila
author_role author
dc.contributor.none.fl_str_mv Emmendorfer, Leonardo Ramos
Machado, Karina dos Santos
dc.contributor.author.fl_str_mv Pereira, Igor Avila
dc.subject.por.fl_str_mv Engenharia
Ciência da computação
Engenharia de computação
Transfer learning
Aprendizado computacional
Agrupamento de dados
clustering
Computer engineering
Engineering
Computation
Transfer Learning
Machine learning
Clustering
topic Engenharia
Ciência da computação
Engenharia de computação
Transfer learning
Aprendizado computacional
Agrupamento de dados
clustering
Computer engineering
Engineering
Computation
Transfer Learning
Machine learning
Clustering
description Na vida cotidiana, as pessoas agrupam objetos de forma inconsciente, sem saber exatamente como a seleção de objetos que compõem um determinado grupo é feita. Assim, é uma característica da aprendizagem humana considerar o conhecimento obtido a partir de grupos anteriores para gerar novos agrupamentos. No entanto, a maioria dos algoritmos de agrupamento não considera esse tipo de conhecimento prévio. Neste contexto, este trabalho propõe um novo algoritmo de agrupamento que aplica técnica de Transfer Learning, a fim de transferir o conhecimento de agrupamentos anteriores para um agrupamento futuro. Todo dataset incorporado é submetido a um processo de pré-processamento, que combina as instâncias em pares e mapeia seus atributos em novas características, a fim de que esteja em um domínio comum. Em uma etapa de treinamento, aplica-se um classificador que extrai o conhecimento presente nos datasets. Deste modo, o conhecimento extraído dos datesets anteriores é repassado à tarefa de agrupar um novo dataset. Assim, a transferência de conhecimento contribui para o processo de formação de grupos, melhorando o resultado final do agrupamento. Experimentos foram realizados com dois conjuntos de datasets. O primeiro contém 10 datasets e o segundo 5 datasets. No primeiro conjunto, há datasets com diferentes atributos e número de instâncias. Todavia, o segundo conjunto possui apenas datasets de mesmas dimensões (dois atributos) e número de instâncias diferentes. Para ambos, utilizou-se o procedimento de validação cruzada. A cada iteração, um dataset do conjunto era definido com sendo o dataset teste, ou seja, que se deseja agrupar e os demais eram utilizados como bases auxiliares de conhecimento. No conjunto de 10 datasets aplicou-se um classificador baseado em árvores de decisão e, para o segundo conjunto um classificador baseado em regressão logística.
publishDate 2014
dc.date.none.fl_str_mv 2014
2020-01-24T18:04:25Z
2020-01-24T18:04:25Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv PEREIRA, Igor Avila. Uma abordagem Transfer-learning para agrupamento de dados. 2014. 74 f. Dissertação (Mestrado em Engenharia da Computação) – Centro de Ciências Computacionais, Universidade Federal do Rio Grande, Rio Grande, 2014.
http://repositorio.furg.br/handle/1/8166
identifier_str_mv PEREIRA, Igor Avila. Uma abordagem Transfer-learning para agrupamento de dados. 2014. 74 f. Dissertação (Mestrado em Engenharia da Computação) – Centro de Ciências Computacionais, Universidade Federal do Rio Grande, Rio Grande, 2014.
url http://repositorio.furg.br/handle/1/8166
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da FURG (RI FURG)
instname:Universidade Federal do Rio Grande (FURG)
instacron:FURG
instname_str Universidade Federal do Rio Grande (FURG)
instacron_str FURG
institution FURG
reponame_str Repositório Institucional da FURG (RI FURG)
collection Repositório Institucional da FURG (RI FURG)
repository.name.fl_str_mv Repositório Institucional da FURG (RI FURG) - Universidade Federal do Rio Grande (FURG)
repository.mail.fl_str_mv
_version_ 1807384411097792512