El Test de Turing para la evaluación de resumen automático de texto

Detalhes bibliográficos
Autor(a) principal: Molina Villegas, Alejandro
Data de Publicação: 2015
Outros Autores: Torres-Moreno, Juan-Manuel
Tipo de documento: Artigo
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://linguamatica.com/index.php/linguamatica/article/view/V7N2.4
Resumo: Actualmente existen varios métodos para producir resúmenes de texto de manera automática, pero la evaluación de los mismos continua siendo un tema desafiante. En este artículo estudiamos la evaluación de la calidad de resúmenes producidos de manera automática mediante un método de compresión de frases. Abordamos la problemática que supone el uso de métricas automáticas, las cuales no toman en cuenta ni la gramática ni la validez de las oraciones. Nuestra propuesta de evaluación está basada en el test de Turing, en el cual varios jueces humanos deben identificar el origen, humano o automático, de una serie de resúmenes. También explicamos como validar las respuestas de los jueces por medio del test estadístico de Fisher.
id RCAP_8994a99cc0b18694d93f8947e65a1398
oai_identifier_str oai:linguamatica.com:article/214
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling El Test de Turing para la evaluación de resumen automático de textoEl Test de Turing para la evaluación de resumen automático de textoThe Turing Test for Automatic Text Summarization Evaluationevaluación de resumen automáticocompresión de frasestest de TuringcrowdsourcingActualmente existen varios métodos para producir resúmenes de texto de manera automática, pero la evaluación de los mismos continua siendo un tema desafiante. En este artículo estudiamos la evaluación de la calidad de resúmenes producidos de manera automática mediante un método de compresión de frases. Abordamos la problemática que supone el uso de métricas automáticas, las cuales no toman en cuenta ni la gramática ni la validez de las oraciones. Nuestra propuesta de evaluación está basada en el test de Turing, en el cual varios jueces humanos deben identificar el origen, humano o automático, de una serie de resúmenes. También explicamos como validar las respuestas de los jueces por medio del test estadístico de Fisher.Actualmente existen varios métodos para producir resúmenes de texto de manera automática, pero la evaluación de los mismos continua siendo un tema desafiante. En este artículo estudiamos la evaluación de la calidad de resúmenes producidos de manera automática mediante un método de compresión de frases. Abordamos la problemática que supone el uso de métricas automáticas, las cuales no toman en cuenta ni la gramática ni la validez de las oraciones. Nuestra propuesta de evaluación está basada en el test de Turing, en el cual varios jueces humanos deben identificar el origen, humano o automático, de una serie de resúmenes. También explicamos como validar las respuestas de los jueces por medio del test estadístico de Fisher.Currently there are several methods to produce summaries of text automatically, but the evaluation of these remains a challenging issue. In this paper, we study the quality assessment of automatically generated abstracts. We deal with one of the major drawbacks of automatic metrics, which do not take into account either the grammar or the validity of sentences. Our proposal is based on the Turing test, in which a human judges must identify the source of a series of summaries. We propose how statistically validate the judgements using the Fisher's exact test.Universidade do Minho e Universidade de Vigo2015-12-30info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/articleapplication/pdfhttps://linguamatica.com/index.php/linguamatica/article/view/V7N2.4Linguamática; Vol. 7 No. 2; 45-55Linguamática; Vol. 7 Núm. 2; 45-55Linguamática; v. 7 n. 2; 45-551647-0818reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAPporhttps://linguamatica.com/index.php/linguamatica/article/view/V7N2.4https://linguamatica.com/index.php/linguamatica/article/view/V7N2.4/339Molina Villegas, AlejandroTorres-Moreno, Juan-Manuelinfo:eu-repo/semantics/openAccess2023-09-08T13:46:34Zoai:linguamatica.com:article/214Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T20:28:37.243648Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv El Test de Turing para la evaluación de resumen automático de texto
El Test de Turing para la evaluación de resumen automático de texto
The Turing Test for Automatic Text Summarization Evaluation
title El Test de Turing para la evaluación de resumen automático de texto
spellingShingle El Test de Turing para la evaluación de resumen automático de texto
Molina Villegas, Alejandro
evaluación de resumen automático
compresión de frases
test de Turing
crowdsourcing
title_short El Test de Turing para la evaluación de resumen automático de texto
title_full El Test de Turing para la evaluación de resumen automático de texto
title_fullStr El Test de Turing para la evaluación de resumen automático de texto
title_full_unstemmed El Test de Turing para la evaluación de resumen automático de texto
title_sort El Test de Turing para la evaluación de resumen automático de texto
author Molina Villegas, Alejandro
author_facet Molina Villegas, Alejandro
Torres-Moreno, Juan-Manuel
author_role author
author2 Torres-Moreno, Juan-Manuel
author2_role author
dc.contributor.author.fl_str_mv Molina Villegas, Alejandro
Torres-Moreno, Juan-Manuel
dc.subject.por.fl_str_mv evaluación de resumen automático
compresión de frases
test de Turing
crowdsourcing
topic evaluación de resumen automático
compresión de frases
test de Turing
crowdsourcing
description Actualmente existen varios métodos para producir resúmenes de texto de manera automática, pero la evaluación de los mismos continua siendo un tema desafiante. En este artículo estudiamos la evaluación de la calidad de resúmenes producidos de manera automática mediante un método de compresión de frases. Abordamos la problemática que supone el uso de métricas automáticas, las cuales no toman en cuenta ni la gramática ni la validez de las oraciones. Nuestra propuesta de evaluación está basada en el test de Turing, en el cual varios jueces humanos deben identificar el origen, humano o automático, de una serie de resúmenes. También explicamos como validar las respuestas de los jueces por medio del test estadístico de Fisher.
publishDate 2015
dc.date.none.fl_str_mv 2015-12-30
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
format article
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://linguamatica.com/index.php/linguamatica/article/view/V7N2.4
url https://linguamatica.com/index.php/linguamatica/article/view/V7N2.4
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://linguamatica.com/index.php/linguamatica/article/view/V7N2.4
https://linguamatica.com/index.php/linguamatica/article/view/V7N2.4/339
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade do Minho e Universidade de Vigo
publisher.none.fl_str_mv Universidade do Minho e Universidade de Vigo
dc.source.none.fl_str_mv Linguamática; Vol. 7 No. 2; 45-55
Linguamática; Vol. 7 Núm. 2; 45-55
Linguamática; v. 7 n. 2; 45-55
1647-0818
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133553925029888

Registros relacionados