Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes.
Autor(a) principal: | |
---|---|
Data de Publicação: | 2014 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da UFCG |
Texto Completo: | http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362 |
Resumo: | Sugerir os produtos mais apropriados aos diversos tipos de consumidores não é uma tarefa trivial, apesar de ser um fator chave para aumentar satisfação e lealdade destes. Devido a esse fato, sistemas de recomendação têm se tornado uma ferramenta importante para diversas aplicações, tais como, comércio eletrônico, sites personalizados e redes sociais. Recentemente, a fatoração de matrizes se tornou a técnica mais bem sucedida de implementação de sistemas de recomendação. Os parâmetros do modelo de fatoração de matrizes são tipicamente aprendidos por meio de métodos numéricos, tal como o gradiente descendente. O desempenho do gradiente descendente está diretamente relacionada à configuração da taxa de aprendizagem, a qual é tipicamente configurada para valores pequenos, com o objetivo de não perder um mínimo local. Consequentemente, o algoritmo pode levar várias iterações para convergir. Idealmente,é desejada uma taxa de aprendizagem que conduza a um mínimo local nas primeiras iterações, mas isto é muito difícil de ser realizado dada a alta complexidade do espaço de valores a serem pesquisados. Começando com um estudo exploratório em várias bases de dados de sistemas de recomendação, observamos que, para a maioria das bases, há um padrão linear entre a taxa de aprendizagem e o número de iterações necessárias para atingir a convergência. A partir disso, propomos utilizar modelos de regressão lineares simples para predizer, para uma base de dados desconhecida, um bom valor para a taxa de aprendizagem inicial. A ideia é estimar uma taxa de aprendizagem que conduza o gradiente descendenteaummínimolocalnasprimeirasiterações. Avaliamosnossatécnicaem8bases desistemasderecomendaçãoreaisecomparamoscomoalgoritmopadrão,oqualutilizaum valorfixoparaataxadeaprendizagem,ecomtécnicasqueadaptamataxadeaprendizagem extraídas da literatura. Nós mostramos que conseguimos reduzir o número de iterações até em 40% quando comparados à abordagem padrão. |
id |
UFCG_20cd9e208a7658e0d728d7ccd37c9bab |
---|---|
oai_identifier_str |
oai:localhost:riufcg/362 |
network_acronym_str |
UFCG |
network_name_str |
Biblioteca Digital de Teses e Dissertações da UFCG |
repository_id_str |
4851 |
spelling |
Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes.A strategy to predict the learning rate of the downward gradient for acceleration of matrix factorization.Une stratégie pour prédire le taux d'apprentissage du gradient descendant pour l'accélération de la factorisation matricielle.Metodologias e técnicas da computaçãoCiência da computaçãoAceleração da fatoração de matrizesGradiente descendenteSistemas de recomendaçãoTaxa de aprendizagem - gradienteModelos de regressão linearesRecomender systemMatrix FactorizationRecommendation systemsGradient descentsystème de recommandationfactorisation matricielleSimple linear regression modelsCiência da computação.Sugerir os produtos mais apropriados aos diversos tipos de consumidores não é uma tarefa trivial, apesar de ser um fator chave para aumentar satisfação e lealdade destes. Devido a esse fato, sistemas de recomendação têm se tornado uma ferramenta importante para diversas aplicações, tais como, comércio eletrônico, sites personalizados e redes sociais. Recentemente, a fatoração de matrizes se tornou a técnica mais bem sucedida de implementação de sistemas de recomendação. Os parâmetros do modelo de fatoração de matrizes são tipicamente aprendidos por meio de métodos numéricos, tal como o gradiente descendente. O desempenho do gradiente descendente está diretamente relacionada à configuração da taxa de aprendizagem, a qual é tipicamente configurada para valores pequenos, com o objetivo de não perder um mínimo local. Consequentemente, o algoritmo pode levar várias iterações para convergir. Idealmente,é desejada uma taxa de aprendizagem que conduza a um mínimo local nas primeiras iterações, mas isto é muito difícil de ser realizado dada a alta complexidade do espaço de valores a serem pesquisados. Começando com um estudo exploratório em várias bases de dados de sistemas de recomendação, observamos que, para a maioria das bases, há um padrão linear entre a taxa de aprendizagem e o número de iterações necessárias para atingir a convergência. A partir disso, propomos utilizar modelos de regressão lineares simples para predizer, para uma base de dados desconhecida, um bom valor para a taxa de aprendizagem inicial. A ideia é estimar uma taxa de aprendizagem que conduza o gradiente descendenteaummínimolocalnasprimeirasiterações. Avaliamosnossatécnicaem8bases desistemasderecomendaçãoreaisecomparamoscomoalgoritmopadrão,oqualutilizaum valorfixoparaataxadeaprendizagem,ecomtécnicasqueadaptamataxadeaprendizagem extraídas da literatura. Nós mostramos que conseguimos reduzir o número de iterações até em 40% quando comparados à abordagem padrão.Suggesting the most suitable products to different types of consumers is not a trivial task, despite being a key factor for increasing their satisfaction and loyalty. Due to this fact, recommender systems have be come an important tool for many applications, such as e-commerce, personalized websites and social networks. Recently, Matrix Factorization has become the most successful technique to implement recommendation systems. The parameters of this model are typically learned by means of numerical methods, like the gradient descent. The performance of the gradient descent is directly related to the configuration of the learning rate, which is typically set to small values, in order to do not miss a local minimum. As a consequence, the algorithm may take several iterations to converge. Ideally, one wants to find a learning rate that will lead to a local minimum in the early iterations, but this is very difficult to achieve given the high complexity of search space. Starting with an exploratory study on several recommendation systems datasets, we observed that there is an over all linear relationship between the learnin grate and the number of iterations needed until convergence. From this, we propose to use simple linear regression models to predict, for a unknown dataset, a good value for an initial learning rate. The idea is to estimate a learning rate that drives the gradient descent as close as possible to a local minimum in the first iteration. We evaluate our technique on 8 real-world recommender datasets and compared it with the standard Matrix Factorization learning algorithm, which uses a fixed value for the learning rate over all iterations, and techniques fromt he literature that adapt the learning rate. We show that we can reduce the number of iterations until at 40% compared to the standard approach.CapesUniversidade Federal de Campina GrandeBrasilCentro de Engenharia Elétrica e Informática - CEEIPÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃOUFCGMARINHO, Leandro Balby.MARINHo, L. B.http://lattes.cnpq.br/3728312501032061NÓBREGA, Caio Santos Bezerra.2014-07-302018-04-11T14:50:08Z2018-04-112018-04-11T14:50:08Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362NÓBREGA, Caio Santos Bezerra. Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. 2014. 77f. (Dissertação de Mestrado), Programa de Pós-graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande - Paraíba - Brasil, 2014. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362porHewlett-Packard HP company.info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFCGinstname:Universidade Federal de Campina Grande (UFCG)instacron:UFCG2022-03-22T12:50:06Zoai:localhost:riufcg/362Biblioteca Digital de Teses e Dissertaçõeshttp://bdtd.ufcg.edu.br/PUBhttp://dspace.sti.ufcg.edu.br:8080/oai/requestbdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.bropendoar:48512022-03-22T12:50:06Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)false |
dc.title.none.fl_str_mv |
Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. A strategy to predict the learning rate of the downward gradient for acceleration of matrix factorization. Une stratégie pour prédire le taux d'apprentissage du gradient descendant pour l'accélération de la factorisation matricielle. |
title |
Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. |
spellingShingle |
Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. NÓBREGA, Caio Santos Bezerra. Metodologias e técnicas da computação Ciência da computação Aceleração da fatoração de matrizes Gradiente descendente Sistemas de recomendação Taxa de aprendizagem - gradiente Modelos de regressão lineares Recomender system Matrix Factorization Recommendation systems Gradient descent système de recommandation factorisation matricielle Simple linear regression models Ciência da computação. |
title_short |
Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. |
title_full |
Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. |
title_fullStr |
Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. |
title_full_unstemmed |
Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. |
title_sort |
Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. |
author |
NÓBREGA, Caio Santos Bezerra. |
author_facet |
NÓBREGA, Caio Santos Bezerra. |
author_role |
author |
dc.contributor.none.fl_str_mv |
MARINHO, Leandro Balby. MARINHo, L. B. http://lattes.cnpq.br/3728312501032061 |
dc.contributor.author.fl_str_mv |
NÓBREGA, Caio Santos Bezerra. |
dc.subject.por.fl_str_mv |
Metodologias e técnicas da computação Ciência da computação Aceleração da fatoração de matrizes Gradiente descendente Sistemas de recomendação Taxa de aprendizagem - gradiente Modelos de regressão lineares Recomender system Matrix Factorization Recommendation systems Gradient descent système de recommandation factorisation matricielle Simple linear regression models Ciência da computação. |
topic |
Metodologias e técnicas da computação Ciência da computação Aceleração da fatoração de matrizes Gradiente descendente Sistemas de recomendação Taxa de aprendizagem - gradiente Modelos de regressão lineares Recomender system Matrix Factorization Recommendation systems Gradient descent système de recommandation factorisation matricielle Simple linear regression models Ciência da computação. |
description |
Sugerir os produtos mais apropriados aos diversos tipos de consumidores não é uma tarefa trivial, apesar de ser um fator chave para aumentar satisfação e lealdade destes. Devido a esse fato, sistemas de recomendação têm se tornado uma ferramenta importante para diversas aplicações, tais como, comércio eletrônico, sites personalizados e redes sociais. Recentemente, a fatoração de matrizes se tornou a técnica mais bem sucedida de implementação de sistemas de recomendação. Os parâmetros do modelo de fatoração de matrizes são tipicamente aprendidos por meio de métodos numéricos, tal como o gradiente descendente. O desempenho do gradiente descendente está diretamente relacionada à configuração da taxa de aprendizagem, a qual é tipicamente configurada para valores pequenos, com o objetivo de não perder um mínimo local. Consequentemente, o algoritmo pode levar várias iterações para convergir. Idealmente,é desejada uma taxa de aprendizagem que conduza a um mínimo local nas primeiras iterações, mas isto é muito difícil de ser realizado dada a alta complexidade do espaço de valores a serem pesquisados. Começando com um estudo exploratório em várias bases de dados de sistemas de recomendação, observamos que, para a maioria das bases, há um padrão linear entre a taxa de aprendizagem e o número de iterações necessárias para atingir a convergência. A partir disso, propomos utilizar modelos de regressão lineares simples para predizer, para uma base de dados desconhecida, um bom valor para a taxa de aprendizagem inicial. A ideia é estimar uma taxa de aprendizagem que conduza o gradiente descendenteaummínimolocalnasprimeirasiterações. Avaliamosnossatécnicaem8bases desistemasderecomendaçãoreaisecomparamoscomoalgoritmopadrão,oqualutilizaum valorfixoparaataxadeaprendizagem,ecomtécnicasqueadaptamataxadeaprendizagem extraídas da literatura. Nós mostramos que conseguimos reduzir o número de iterações até em 40% quando comparados à abordagem padrão. |
publishDate |
2014 |
dc.date.none.fl_str_mv |
2014-07-30 2018-04-11T14:50:08Z 2018-04-11 2018-04-11T14:50:08Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362 NÓBREGA, Caio Santos Bezerra. Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. 2014. 77f. (Dissertação de Mestrado), Programa de Pós-graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande - Paraíba - Brasil, 2014. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362 |
url |
http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362 |
identifier_str_mv |
NÓBREGA, Caio Santos Bezerra. Uma estratégia para predição da taxa de aprendizagem do gradiente descendente para aceleração da fatoração de matrizes. 2014. 77f. (Dissertação de Mestrado), Programa de Pós-graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande - Paraíba - Brasil, 2014. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/362 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
Hewlett-Packard HP company. |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Campina Grande Brasil Centro de Engenharia Elétrica e Informática - CEEI PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO UFCG |
publisher.none.fl_str_mv |
Universidade Federal de Campina Grande Brasil Centro de Engenharia Elétrica e Informática - CEEI PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO UFCG |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da UFCG instname:Universidade Federal de Campina Grande (UFCG) instacron:UFCG |
instname_str |
Universidade Federal de Campina Grande (UFCG) |
instacron_str |
UFCG |
institution |
UFCG |
reponame_str |
Biblioteca Digital de Teses e Dissertações da UFCG |
collection |
Biblioteca Digital de Teses e Dissertações da UFCG |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG) |
repository.mail.fl_str_mv |
bdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.br |
_version_ |
1809744349266706432 |