Identifying Reusable Early-Life Options

• Autor(a) principal: Weber, Aline
• Data de Publicação: 2020
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: eng
• Título da fonte: Repositório Institucional da UFRGS
• Texto Completo: http://hdl.handle.net/10183/218619
• topic: Informática; Reinforcement Learning; Options; Early-Life Options; Primitive Reflexes

Neste trabalho, introduzimos um método para identificar comportamentos motores reutilizáveis e de curta duração, que chamamos de early-life options. Esses comportamentos permitem com que robôs tenham boa performance mesmo nos momentos iniciais de suas vidas. Isso é importante quando agentes precisam interagir em ambientes nos quais o uso de políticas ruins (por exemplo, as políticas aleatórias com as quais os agentes geralmente são inicializados) pode ser catastrófico. Nosso método estende o conjunto de ações original do agente com comportamentos especialmente construídos para maximizar a performance em uma família possivelmente infinita de tarefas motoras relacionadas. Esses comportamentos são similares a reflexos primitivos em mamíferos, presentes no início de suas vidas. Agentes que iniciam suas vidas com a possibilidade de utilizar early-life options, mesmo quando agindo aleatoriamente, são capazes de produzir comportamentos rudimentares comparáveis a comportamentos de agentes que otimizaram suas políticas por centenas de milhares de passos. Nós introduzimos três métricas para identificar earlylife options úteis e mostramos que elas resultam em comportamentos que maximizam o retorno esperado da option, ao mesmo tempo em que minimizam o risco de obter performance significativamente baixa ao executá-la. Nós avaliamos o método proposto em três robôs simulados, cuja tarefa é aprender a caminhar sob diferentes restrições de consumo de bateria. Nós mostramos que mesmo políticas aleatórias sobre o conjunto de early-life options já são suficiente para que o agente tenha performance similar a de agentes que foram treinados por centenas de milhares de passos.