Estudo de desempenho de algoritmos de aprendizagem sob condições de ambigüidade sensorial.

• Autor(a) principal: Sildomar Takahashi Monteiro
• Data de Publicação: 2002
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Biblioteca Digital de Teses e Dissertações do ITA
• Texto Completo: http://www.bd.bibl.ita.br/tde_busca/arquivo.php?codArquivo=2487
• topic: Redes neurais; Aprendizagem; Algoritmos; Robôs; Avaliação de desempenho; Cinemática; Inteligência artificial; Computação

Algoritmos de aprendizagem autônoma têm sido propostos para lidar com a questão de como um agente autônomo pode aprender a realizar uma tarefa simples apenas interagindo com o seu ambiente. Existem muitos trabalhos apresentando resultados significativos, porém, apenas em simulação, o que freqüentemente leva a críticas desfavoráveis a respeito da validade dos resultados obtidos. Aspectos inerentes ao mundo real são ignorados, dificultando a análise dos algoritmos sob condições suscetíveis ao problema. A proposta desta dissertação é analisar a sensibilidade de tais algoritmos a situações de ambigüidade de estados comumente produzidas pela baixa capacidade sensorial de robôs móveis. Tal sensibilidade é produzida pela quebra de uma condição teórica (condição de Markov) importante para garantia de convergência de tais algoritmos, mas as conseqüências práticas desta violação sobre sistemas reais não estão bem estabelecidas na literatura. Os algoritmos de aprendizagem alvos deste estudo foram: Q-learning, Sarsa e Peng-Williams. As experiências foram realizadas em simulação e em sistemas reais utilizando dois robôs: o mini-robô Khepera e o robô Magellan. Durante os experimentos com o Magellan, implementou-se um método para gerar mapas cognitivos do ambiente com resolução variável, de modo a produzir um verificador de desempenho dos algoritmos de aprendizagem. Verificou-se que os algoritmos de aprendizagem implementados apresentaram desempenho satisfatório nos sistemas reais, apesar de perder um pouco a sua eficiência devido à ambigüidade dos estados, proveniente de características inerentes ao mundo real ou introduzida artificialmente. O algoritmo Q-learning obteve o melhor desempenho geral durante os experimentos, seguido pelo Sarsa. O algoritmo Peng-Williams teve seu desempenho prejudicado pelos parâmetros da experiência. O método para aprendizagem de mapas cognitivos mostrou-se eficiente e permitiu avaliação adequada dos algoritmos.