Estudo de algoritmos de otimização estocástica aplicados em aprendizado de máquina
Autor(a) principal: | |
---|---|
Data de Publicação: | 2017 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | http://www.teses.usp.br/teses/disponiveis/45/45134/tde-28092017-182905/ |
Resumo: | Em diferentes aplicações de Aprendizado de Máquina podemos estar interessados na minimização do valor esperado de certa função de perda. Para a resolução desse problema, Otimização estocástica e Sample Size Selection têm um papel importante. No presente trabalho se apresentam as análises teóricas de alguns algoritmos destas duas áreas, incluindo algumas variações que consideram redução da variância. Nos exemplos práticos pode-se observar a vantagem do método Stochastic Gradient Descent em relação ao tempo de processamento e memória, mas, considerando precisão da solução obtida juntamente com o custo de minimização, as metodologias de redução da variância obtêm as melhores soluções. Os algoritmos Dynamic Sample Size Gradient e Line Search with variable sample size selection apesar de obter soluções melhores que as de Stochastic Gradient Descent, a desvantagem se encontra no alto custo computacional deles. |
id |
USP_f4e1194a66ba553c7247c39e121e60d2 |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-28092017-182905 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
Estudo de algoritmos de otimização estocástica aplicados em aprendizado de máquinaStudy of algorithms of stochastic optimization applied in machine learning problemsAprendizado de máquinaDynamic sample size selectionDynamic sample size selectionMachine LearningMétodos de redução de variânciaOtimização estocásticaSample size approximationSample size approximationStochastic optimizationVariance reduction methodsEm diferentes aplicações de Aprendizado de Máquina podemos estar interessados na minimização do valor esperado de certa função de perda. Para a resolução desse problema, Otimização estocástica e Sample Size Selection têm um papel importante. No presente trabalho se apresentam as análises teóricas de alguns algoritmos destas duas áreas, incluindo algumas variações que consideram redução da variância. Nos exemplos práticos pode-se observar a vantagem do método Stochastic Gradient Descent em relação ao tempo de processamento e memória, mas, considerando precisão da solução obtida juntamente com o custo de minimização, as metodologias de redução da variância obtêm as melhores soluções. Os algoritmos Dynamic Sample Size Gradient e Line Search with variable sample size selection apesar de obter soluções melhores que as de Stochastic Gradient Descent, a desvantagem se encontra no alto custo computacional deles.In different Machine Learnings applications we can be interest in the minimization of the expected value of some loss function. For the resolution of this problem, Stochastic optimization and Sample size selection has an important role. In the present work, it is shown the theoretical analysis of some algorithms of these two areas, including some variations that considers variance reduction. In the practical examples we can observe the advantage of Stochastic Gradient Descent in relation to the processing time and memory, but considering accuracy of the solution obtained and the cost of minimization, the methodologies of variance reduction has the best solutions. In the algorithms Dynamic Sample Size Gradient and Line Search with variable sample size selection, despite of obtaining better solutions than Stochastic Gradient Descent, the disadvantage lies in their high computational cost.Biblioteca Digitais de Teses e Dissertações da USPBirgin, Ernesto Julian GoldbergFernandes, Jessica Katherine de Sousa2017-08-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://www.teses.usp.br/teses/disponiveis/45/45134/tde-28092017-182905/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2018-07-17T16:38:18Zoai:teses.usp.br:tde-28092017-182905Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212018-07-17T16:38:18Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
Estudo de algoritmos de otimização estocástica aplicados em aprendizado de máquina Study of algorithms of stochastic optimization applied in machine learning problems |
title |
Estudo de algoritmos de otimização estocástica aplicados em aprendizado de máquina |
spellingShingle |
Estudo de algoritmos de otimização estocástica aplicados em aprendizado de máquina Fernandes, Jessica Katherine de Sousa Aprendizado de máquina Dynamic sample size selection Dynamic sample size selection Machine Learning Métodos de redução de variância Otimização estocástica Sample size approximation Sample size approximation Stochastic optimization Variance reduction methods |
title_short |
Estudo de algoritmos de otimização estocástica aplicados em aprendizado de máquina |
title_full |
Estudo de algoritmos de otimização estocástica aplicados em aprendizado de máquina |
title_fullStr |
Estudo de algoritmos de otimização estocástica aplicados em aprendizado de máquina |
title_full_unstemmed |
Estudo de algoritmos de otimização estocástica aplicados em aprendizado de máquina |
title_sort |
Estudo de algoritmos de otimização estocástica aplicados em aprendizado de máquina |
author |
Fernandes, Jessica Katherine de Sousa |
author_facet |
Fernandes, Jessica Katherine de Sousa |
author_role |
author |
dc.contributor.none.fl_str_mv |
Birgin, Ernesto Julian Goldberg |
dc.contributor.author.fl_str_mv |
Fernandes, Jessica Katherine de Sousa |
dc.subject.por.fl_str_mv |
Aprendizado de máquina Dynamic sample size selection Dynamic sample size selection Machine Learning Métodos de redução de variância Otimização estocástica Sample size approximation Sample size approximation Stochastic optimization Variance reduction methods |
topic |
Aprendizado de máquina Dynamic sample size selection Dynamic sample size selection Machine Learning Métodos de redução de variância Otimização estocástica Sample size approximation Sample size approximation Stochastic optimization Variance reduction methods |
description |
Em diferentes aplicações de Aprendizado de Máquina podemos estar interessados na minimização do valor esperado de certa função de perda. Para a resolução desse problema, Otimização estocástica e Sample Size Selection têm um papel importante. No presente trabalho se apresentam as análises teóricas de alguns algoritmos destas duas áreas, incluindo algumas variações que consideram redução da variância. Nos exemplos práticos pode-se observar a vantagem do método Stochastic Gradient Descent em relação ao tempo de processamento e memória, mas, considerando precisão da solução obtida juntamente com o custo de minimização, as metodologias de redução da variância obtêm as melhores soluções. Os algoritmos Dynamic Sample Size Gradient e Line Search with variable sample size selection apesar de obter soluções melhores que as de Stochastic Gradient Descent, a desvantagem se encontra no alto custo computacional deles. |
publishDate |
2017 |
dc.date.none.fl_str_mv |
2017-08-23 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://www.teses.usp.br/teses/disponiveis/45/45134/tde-28092017-182905/ |
url |
http://www.teses.usp.br/teses/disponiveis/45/45134/tde-28092017-182905/ |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1809091159331438592 |