Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes.

Detalhes bibliográficos
Autor(a) principal: NÓBREGA, Caio Santos Bezerra.
Data de Publicação: 2014
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFCG
Texto Completo: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362
Resumo: Sugerir os produtos mais apropriados aos diversos tipos de consumidores não é uma tarefa trivial, apesar de ser um fator chave para aumentar satisfação e lealdade destes. Devido a esse fato, sistemas de recomendação têm se tornado uma ferramenta importante para diversas aplicações, tais como, comércio eletrônico, sites personalizados e redes sociais. Recentemente, a fatoração de matrizes se tornou a técnica mais bem sucedida de implementação de sistemas de recomendação. Os parâmetros do modelo de fatoração de matrizes são tipicamente aprendidos por meio de métodos numéricos, tal como o gradiente descendente. O desempenho do gradiente descendente está diretamente relacionada à configuração da taxa de aprendizagem, a qual é tipicamente configurada para valores pequenos, com o objetivo de não perder um mínimo local. Consequentemente, o algoritmo pode levar várias iterações para convergir. Idealmente,é desejada uma taxa de aprendizagem que conduza a um mínimo local nas primeiras iterações, mas isto é muito difícil de ser realizado dada a alta complexidade do espaço de valores a serem pesquisados. Começando com um estudo exploratório em várias bases de dados de sistemas de recomendação, observamos que, para a maioria das bases, há um padrão linear entre a taxa de aprendizagem e o número de iterações necessárias para atingir a convergência. A partir disso, propomos utilizar modelos de regressão lineares simples para predizer, para uma base de dados desconhecida, um bom valor para a taxa de aprendizagem inicial. A ideia é estimar uma taxa de aprendizagem que conduza o gradiente descendenteaummínimolocalnasprimeirasiterações. Avaliamosnossatécnicaem8bases desistemasderecomendaçãoreaisecomparamoscomoalgoritmopadrão,oqualutilizaum valorfixoparaataxadeaprendizagem,ecomtécnicasqueadaptamataxadeaprendizagem extraídas da literatura. Nós mostramos que conseguimos reduzir o número de iterações até em 40% quando comparados à abordagem padrão.
id UFCG_20cd9e208a7658e0d728d7ccd37c9bab
oai_identifier_str oai:localhost:riufcg/362
network_acronym_str UFCG
network_name_str Biblioteca Digital de Teses e Dissertações da UFCG
repository_id_str 4851
spelling Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes.A strategy to predict the learning rate of the downward gradient for acceleration of matrix factorization.Une stratégie pour prédire le taux d'apprentissage du gradient descendant pour l'accélération de la factorisation matricielle.Metodologias e técnicas da computaçãoCiência da computaçãoAceleração da fatoração de matrizesGradiente descendenteSistemas de recomendaçãoTaxa de aprendizagem - gradienteModelos de regressão linearesRecomender systemMatrix FactorizationRecommendation systemsGradient descentsystème de recommandationfactorisation matricielleSimple linear regression modelsCiência da computação.Sugerir os produtos mais apropriados aos diversos tipos de consumidores não é uma tarefa trivial, apesar de ser um fator chave para aumentar satisfação e lealdade destes. Devido a esse fato, sistemas de recomendação têm se tornado uma ferramenta importante para diversas aplicações, tais como, comércio eletrônico, sites personalizados e redes sociais. Recentemente, a fatoração de matrizes se tornou a técnica mais bem sucedida de implementação de sistemas de recomendação. Os parâmetros do modelo de fatoração de matrizes são tipicamente aprendidos por meio de métodos numéricos, tal como o gradiente descendente. O desempenho do gradiente descendente está diretamente relacionada à configuração da taxa de aprendizagem, a qual é tipicamente configurada para valores pequenos, com o objetivo de não perder um mínimo local. Consequentemente, o algoritmo pode levar várias iterações para convergir. Idealmente,é desejada uma taxa de aprendizagem que conduza a um mínimo local nas primeiras iterações, mas isto é muito difícil de ser realizado dada a alta complexidade do espaço de valores a serem pesquisados. Começando com um estudo exploratório em várias bases de dados de sistemas de recomendação, observamos que, para a maioria das bases, há um padrão linear entre a taxa de aprendizagem e o número de iterações necessárias para atingir a convergência. A partir disso, propomos utilizar modelos de regressão lineares simples para predizer, para uma base de dados desconhecida, um bom valor para a taxa de aprendizagem inicial. A ideia é estimar uma taxa de aprendizagem que conduza o gradiente descendenteaummínimolocalnasprimeirasiterações. Avaliamosnossatécnicaem8bases desistemasderecomendaçãoreaisecomparamoscomoalgoritmopadrão,oqualutilizaum valorfixoparaataxadeaprendizagem,ecomtécnicasqueadaptamataxadeaprendizagem extraídas da literatura. Nós mostramos que conseguimos reduzir o número de iterações até em 40% quando comparados à abordagem padrão.Suggesting the most suitable products to different types of consumers is not a trivial task, despite being a key factor for increasing their satisfaction and loyalty. Due to this fact, recommender systems have be come an important tool for many applications, such as e-commerce, personalized websites and social networks. Recently, Matrix Factorization has become the most successful technique to implement recommendation systems. The parameters of this model are typically learned by means of numerical methods, like the gradient descent. The performance of the gradient descent is directly related to the configuration of the learning rate, which is typically set to small values, in order to do not miss a local minimum. As a consequence, the algorithm may take several iterations to converge. Ideally, one wants to find a learning rate that will lead to a local minimum in the early iterations, but this is very difficult to achieve given the high complexity of search space. Starting with an exploratory study on several recommendation systems datasets, we observed that there is an over all linear relationship between the learnin grate and the number of iterations needed until convergence. From this, we propose to use simple linear regression models to predict, for a unknown dataset, a good value for an initial learning rate. The idea is to estimate a learning rate that drives the gradient descent as close as possible to a local minimum in the first iteration. We evaluate our technique on 8 real-world recommender datasets and compared it with the standard Matrix Factorization learning algorithm, which uses a fixed value for the learning rate over all iterations, and techniques fromt he literature that adapt the learning rate. We show that we can reduce the number of iterations until at 40% compared to the standard approach.CapesUniversidade Federal de Campina GrandeBrasilCentro de Engenharia Elétrica e Informática - CEEIPÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃOUFCGMARINHO, Leandro Balby.MARINHo, L. B.http://lattes.cnpq.br/3728312501032061NÓBREGA, Caio Santos Bezerra.2014-07-302018-04-11T14:50:08Z2018-04-112018-04-11T14:50:08Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362NÓBREGA, Caio Santos Bezerra. Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. 2014. 77f. (Dissertação de Mestrado), Programa de Pós-graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande - Paraíba - Brasil, 2014. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362porHewlett-Packard HP company.info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFCGinstname:Universidade Federal de Campina Grande (UFCG)instacron:UFCG2022-03-22T12:50:06Zoai:localhost:riufcg/362Biblioteca Digital de Teses e Dissertaçõeshttp://bdtd.ufcg.edu.br/PUBhttp://dspace.sti.ufcg.edu.br:8080/oai/requestbdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.bropendoar:48512022-03-22T12:50:06Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)false
dc.title.none.fl_str_mv Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes.
A strategy to predict the learning rate of the downward gradient for acceleration of matrix factorization.
Une stratégie pour prédire le taux d'apprentissage du gradient descendant pour l'accélération de la factorisation matricielle.
title Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes.
spellingShingle Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes.
NÓBREGA, Caio Santos Bezerra.
Metodologias e técnicas da computação
Ciência da computação
Aceleração da fatoração de matrizes
Gradiente descendente
Sistemas de recomendação
Taxa de aprendizagem - gradiente
Modelos de regressão lineares
Recomender system
Matrix Factorization
Recommendation systems
Gradient descent
système de recommandation
factorisation matricielle
Simple linear regression models
Ciência da computação.
title_short Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes.
title_full Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes.
title_fullStr Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes.
title_full_unstemmed Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes.
title_sort Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes.
author NÓBREGA, Caio Santos Bezerra.
author_facet NÓBREGA, Caio Santos Bezerra.
author_role author
dc.contributor.none.fl_str_mv MARINHO, Leandro Balby.
MARINHo, L. B.
http://lattes.cnpq.br/3728312501032061
dc.contributor.author.fl_str_mv NÓBREGA, Caio Santos Bezerra.
dc.subject.por.fl_str_mv Metodologias e técnicas da computação
Ciência da computação
Aceleração da fatoração de matrizes
Gradiente descendente
Sistemas de recomendação
Taxa de aprendizagem - gradiente
Modelos de regressão lineares
Recomender system
Matrix Factorization
Recommendation systems
Gradient descent
système de recommandation
factorisation matricielle
Simple linear regression models
Ciência da computação.
topic Metodologias e técnicas da computação
Ciência da computação
Aceleração da fatoração de matrizes
Gradiente descendente
Sistemas de recomendação
Taxa de aprendizagem - gradiente
Modelos de regressão lineares
Recomender system
Matrix Factorization
Recommendation systems
Gradient descent
système de recommandation
factorisation matricielle
Simple linear regression models
Ciência da computação.
description Sugerir os produtos mais apropriados aos diversos tipos de consumidores não é uma tarefa trivial, apesar de ser um fator chave para aumentar satisfação e lealdade destes. Devido a esse fato, sistemas de recomendação têm se tornado uma ferramenta importante para diversas aplicações, tais como, comércio eletrônico, sites personalizados e redes sociais. Recentemente, a fatoração de matrizes se tornou a técnica mais bem sucedida de implementação de sistemas de recomendação. Os parâmetros do modelo de fatoração de matrizes são tipicamente aprendidos por meio de métodos numéricos, tal como o gradiente descendente. O desempenho do gradiente descendente está diretamente relacionada à configuração da taxa de aprendizagem, a qual é tipicamente configurada para valores pequenos, com o objetivo de não perder um mínimo local. Consequentemente, o algoritmo pode levar várias iterações para convergir. Idealmente,é desejada uma taxa de aprendizagem que conduza a um mínimo local nas primeiras iterações, mas isto é muito difícil de ser realizado dada a alta complexidade do espaço de valores a serem pesquisados. Começando com um estudo exploratório em várias bases de dados de sistemas de recomendação, observamos que, para a maioria das bases, há um padrão linear entre a taxa de aprendizagem e o número de iterações necessárias para atingir a convergência. A partir disso, propomos utilizar modelos de regressão lineares simples para predizer, para uma base de dados desconhecida, um bom valor para a taxa de aprendizagem inicial. A ideia é estimar uma taxa de aprendizagem que conduza o gradiente descendenteaummínimolocalnasprimeirasiterações. Avaliamosnossatécnicaem8bases desistemasderecomendaçãoreaisecomparamoscomoalgoritmopadrão,oqualutilizaum valorfixoparaataxadeaprendizagem,ecomtécnicasqueadaptamataxadeaprendizagem extraídas da literatura. Nós mostramos que conseguimos reduzir o número de iterações até em 40% quando comparados à abordagem padrão.
publishDate 2014
dc.date.none.fl_str_mv 2014-07-30
2018-04-11T14:50:08Z
2018-04-11
2018-04-11T14:50:08Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362
NÓBREGA, Caio Santos Bezerra. Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. 2014. 77f. (Dissertação de Mestrado), Programa de Pós-graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande - Paraíba - Brasil, 2014. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362
url http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362
identifier_str_mv NÓBREGA, Caio Santos Bezerra. Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. 2014. 77f. (Dissertação de Mestrado), Programa de Pós-graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande - Paraíba - Brasil, 2014. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv Hewlett-Packard HP company.
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Campina Grande
Brasil
Centro de Engenharia Elétrica e Informática - CEEI
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
UFCG
publisher.none.fl_str_mv Universidade Federal de Campina Grande
Brasil
Centro de Engenharia Elétrica e Informática - CEEI
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
UFCG
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFCG
instname:Universidade Federal de Campina Grande (UFCG)
instacron:UFCG
instname_str Universidade Federal de Campina Grande (UFCG)
instacron_str UFCG
institution UFCG
reponame_str Biblioteca Digital de Teses e Dissertações da UFCG
collection Biblioteca Digital de Teses e Dissertações da UFCG
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)
repository.mail.fl_str_mv bdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.br
_version_ 1809744349266706432