Abordagens para avaliação automática de conferências científicas: um estudo de caso em ciência da computação

• Autor(a) principal: Waister Silva Martins
• Data de Publicação: 2009
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/SLSS-7WFQ2F
• topic: Aprendizado de Máquina; Bibliotecas Digitais; Classificação de Conferências; Bibliometria; Bibliotecas digitais; Computação; Bibliometria

Avaliar a qualidade de conferências científicas é um importante serviço que pode ser provido por bibliotecas digitais e sistemas similares, principalmente para campos do conhecimento dinâmicos como a Ciência da Computação e a Engenharia Elétrica. Entretanto, a maioria das abordagens existentes está voltada para a avaliação de periódicos. Neste trabalho, propomos duas abordagens para avaliar automaticamente a qualidade de conferências. Na primeira abordagem, realizamos uma análise das deficiências das métricas baseadas em citações bibliográficas usadas para periódicos e propomos um conjunto de novas métricas especialmente projetadas para capturar aspectos intrínsecos e importantes relacionados a conferências, tais como longevidade, popularidade, prestígio e periodicidade. Para demonstrar a efetividade das métricas propostas, conduzimos dois conjuntos de experimentos. No primeiro, nossas métricas foram contrastadas com um gabarito produzido por um grande número de especialistas. Então, utilizamos nossas métricas para classificar essas conferências em níveis de qualidade pré-estabelecidos, também de acordo com o gabarito. Nossas métricas obtiveram ganhos de até 8,4% na comparação de similaridade e 7,8% na acurácia quando comparadas com as métricas tradicionais para classificação de periódicos.Na segunda abordagem, identificamos um grande número de características (por exemplo, citações, tradição, taxas de submissão e aceitação, reputação dos membros do comitê de programa) que podem ser usadas como critérios para avaliar a qualidade de conferências científicas e estudamos como essas características podem ser automaticamente combinadas através de técnicas de aprendizado de máquina para executar essa tarefa efetivamente. Entre nossos principais resultados, podemos citar: (1) a separação de conferências de alta qualidade de conferências de média e baixa qualidade pode ser executada efetivamente, mas separar os dois últimos tipos é uma tarefa muito díficil e (2) as características baseadas em citações seguidas pelas associadas com a tradição da conferência são as mais importantes para essa tarefa.Em suma, as principais contribuições desta dissertação são: (i) estudar a eficácia, para avaliação de conferências, de métricas baseadas em citações bibliográficas projetadas para periódicos; (ii) apresentar um conjunto de novas métricas baseadas em citações bibliográficas projetadas especificamente para avaliação de conferências e que capturam aspectos importantes que não são considerados pelas métricas existentes (para periódicos); (iii) apresentar e detalhar um conjunto de características que podem ser utilizadas como indicadores de qualidade para conferências científicas; (iv) estudar como essas características podem ser combinadas através de técnicas de aprendizado de máquina para automática e efetivamente classificar conferências de acordo com sua a qualidade; e (v) apresentar uma análise detalhada das dificuldades inerentes ao problema de classificação de conferências de acordo com a sua qualidade.