| spelling |
Leonardo Barbosa e Oliveirahttp://lattes.cnpq.br/2522777418118689Luigi NardiGisele Lobo PappaRicardo Bastos Cavalcante PrudencioEduardo Alves do Valle JuniorHeitor Soares Ramos Filhohttp://lattes.cnpq.br/2014728988806809Artur Luis Fernandes de Souza2023-06-07T15:09:31Z2023-06-07T15:09:31Z2022-03-24http://hdl.handle.net/1843/54642Bayesian Optimization (BO) is a data-efficient tool for the joint optimization of design choices that is gaining great popularity in recent years. BO has impacted a wide range of areas, ranging from ML hyperparameter optimization to serial crystallography. However, while BO has become a popular method for optimizing expensive black-box functions, it fails to leverage the experience of human domain experts. Human experts often have intuitions on which regions of the design space are more likely to yield good results, but have no good way to encode this knowledge into BO. This causes BO to waste function evaluations on commonly known bad regions of design choices, slowing down convergence. To address this issue, we introduce Bayesian Optimization with a Prior for the Optimum (BOPrO). BOPrO allows users to inject their knowledge into the optimization process in the form of priors about which parts of the input space will yield the best performance, rather than BO's standard priors over functions which are much less intuitive for users. BOPrO then combines these priors with BO's standard probabilistic model to yield a pseudo-posterior distribution on good regions of the design space. We evaluate BOPrO on a suite of synthetic benchmarks, specially tailored to evaluating BO methods, and show that BOPrO is more sample e cient than state-of-the-art methods without user priors, previous approaches that support prior injection, and 10,000x faster than random search. We also compare BOPrO to the state-of-the-art on a real-world hardware design application with priors provided by a human application expert and once again show that BOPrO sets a new state-of-the-art performance. We also perform a series of ablation studies showing that BOPrO converges faster even if the user priors are not entirely accurate and that it robustly recovers from misleading priors.Otimização Bayesiana (Bayesian Optimization – BO) é uma ferramenta eficiente para a otimização de decisões de projeto que tem ganhado grande popularidade nos últimos anos. BO tem impactado uma vasta gama de áreas, de aprendizado de máquina à cristalografia serial. Porém, embora BO seja um método popular para a otimização de funções caixa-preta, BO não é capaz de aproveitar da experiência de especialistas humanos no processo de otimização. Especialistas humanos frequentemente têm intuições sobre quais regiões do espaço de busca tem maior chance de trazer bons resultados, porém, não tem suporte apropriado para injetar esse conhecimento na BO. Isso faz com que BO desperdice avaliações da função em regiões sabidamente ruins do espaço de busca, desacelerando a convergência. Para tratar esse problema, n´os introduzimos Bayesian Optimization with a Prior for the Optimum (BOPrO). BOPrO permite que usuários injetem seu conhecimento no processo de otimização na forma de priors de quais regiões do espaço de busca levarão `a melhor performance, no lugar dos priors sob funções tradicionais de BO, que são muito menos intuitivos para usuários. BOPrO então combina esses priors com o modelo probabilístico tradicional de BO para construir uma distribuição pseudo-posterior de boas regiões do espaço de busca. Nós avaliamos BOPrO em um conjunto de funções sintéticas e demonstramos que BOPrO ´e mais eficiente em número de avaliações do que m´métodos do estado da arte sem priors de usuários, outras abordagens com suporte para injeção de priors e 10,000× mais rápido do que a busca aleatória. N´os também comparamos BOPrO com o estado da arte em uma aplicação real de projeto de hardware com priors providenciados por um especialista humano e mostramos que BOPrO atinge um novo estado da arte. Por fim, demonstramos que BOPrO converge mais rápido mesmo que o prior do usuário não seja perfeitamente preciso e que BOPrO robustamente recupera de priors incorretos.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoCAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorporUniversidade Federal de Minas GeraisPrograma de Pós-Graduação em Ciência da ComputaçãoUFMGBrasilICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃOComputação – TesesOtimização bayesiana – TesesAprendizado de máquina – TesesMarkov, Processos de – TesesBayesian OptimizationAutomated machine learningGaussian ProcessBayesian optimization with a prior for the optimumOtimização bayesiana com prior para o ótimoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGLICENSElicense.txtlicense.txttext/plain; charset=utf-82118https://repositorio.ufmg.br/bitstream/1843/54642/4/license.txtcda590c95a0b51b4d15f60c9642ca272MD54ORIGINALBOPrO_PhD_final.pdfBOPrO_PhD_final.pdfapplication/pdf3546294https://repositorio.ufmg.br/bitstream/1843/54642/3/BOPrO_PhD_final.pdfaba65314ebce442821ff8d9a259f52e6MD531843/546422023-06-07 12:09:31.883oai:repositorio.ufmg.br:1843/54642TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEgRE8gUkVQT1NJVMOTUklPIElOU1RJVFVDSU9OQUwgREEgVUZNRwoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSBhbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIChSSS1VRk1HKSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZSBpcnJldm9nw6F2ZWwgZGUgcmVwcm9kdXppciBlL291IGRpc3RyaWJ1aXIgYSBzdWEgcHVibGljYcOnw6NvIChpbmNsdWluZG8gbyByZXN1bW8pIHBvciB0b2RvIG8gbXVuZG8gbm8gZm9ybWF0byBpbXByZXNzbyBlIGVsZXRyw7RuaWNvIGUgZW0gcXVhbHF1ZXIgbWVpbywgaW5jbHVpbmRvIG9zIGZvcm1hdG9zIMOhdWRpbyBvdSB2w61kZW8uCgpWb2PDqiBkZWNsYXJhIHF1ZSBjb25oZWNlIGEgcG9sw610aWNhIGRlIGNvcHlyaWdodCBkYSBlZGl0b3JhIGRvIHNldSBkb2N1bWVudG8gZSBxdWUgY29uaGVjZSBlIGFjZWl0YSBhcyBEaXJldHJpemVzIGRvIFJJLVVGTUcuCgpWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGTUcgcG9kZSBtYW50ZXIgbWFpcyBkZSB1bWEgY8OzcGlhIGRlIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBmaW5zIGRlIHNlZ3VyYW7Dp2EsIGJhY2stdXAgZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogZGVjbGFyYSBxdWUgYSBzdWEgcHVibGljYcOnw6NvIMOpIG9yaWdpbmFsIGUgcXVlIHZvY8OqIHRlbSBvIHBvZGVyIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIG8gZGVww7NzaXRvIGRlIHN1YSBwdWJsaWNhw6fDo28gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHB1YmxpY2HDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHB1YmxpY2HDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBQVUJMSUNBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UgQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCk8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lKHMpIG91IG8ocykgbm9tZXMocykgZG8ocykgZGV0ZW50b3IoZXMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkYSBwdWJsaWNhw6fDo28sIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgYWzDqW0gZGFxdWVsYXMgY29uY2VkaWRhcyBwb3IgZXN0YSBsaWNlbsOnYS4KRepositório InstitucionalPUBhttps://repositorio.ufmg.br/oaiopendoar:2023-06-07T15:09:31Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false
|