Coleta automática de corpora Web classificados por grau de legibilidade para o portugês

• Autor(a) principal: Wagner Filho, Jorge Alberto
• Data de Publicação: 2016
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFRGS
• Texto Completo: http://hdl.handle.net/10183/147619
• topic: Processamento : Linguagem natural; Aprendizagem : Maquina; Readability assessment; Readability assessment in Portuguese; Readability assessment in English; Portuguese corpus; Automatic readability assessment; Automatic corpus creation; Text classification; Web as Corpus

Este trabalho apresenta um estudo de diferentes abordagens de Aprendizado de Máquina para a tarefa de avaliação de legibilidade de textos em português, utilizando o conceito de criação de corpora a partir da Web (Iniciativa Wacky) para propor um framework de geração automática de grandes corpora classificados por legibilidade. Para isto, é apresentada uma série de experimentos focados na seleção de atributos, no treinamento de modelos de aprendizado e na avaliação dos corpora resultantes. Em uma comparação entre métricas textuais rasas e profundas, observamos que as primeiras apresentaram um ótimo desempenho na classificação, embora o conjunto completo o supere na maioria dos casos. Em um teste comparativo com o inglês, observou-se que fórmulas clássicas de legibilidade tendem a apresentar maior relevância naquela língua. A regressão logística apresentou, em geral, os melhores resultados de classificação, mas foi observada uma grande diferença de desempenho entre classificadores para duas e três classes de legibilidade, especialmente em relação à classe intermediária. Analisando a questão da generalização, foi observada uma grande discordância entre modelos treinados em diferentes corpora de referência, demonstrando a profunda ligação entre o treino do modelo e a classificação desejada no corpus final. No entanto, mostramos que a avaliação da concordância entre múltiplos modelos pode ser uma abordagem proveitosa na geração de uma classificação mais rigorosa do corpus final. Como resultado deste trabalho, foi construído um corpus WaC de grandes proporções para o português, composto por 1,4 milhão de documentos e cerca de 1,5 bilhão de tokens, sendo destes 720 mil documentos e 769 milhões de tokens já anotados com um analisador sintático e com 134 diferentes atributos textuais, e classificados por quatro diferentes modelos de aprendizado com diferentes características, podendo contribuir para novos estudos.