Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment
Autor(a) principal: | |
---|---|
Data de Publicação: | 2020 |
Outros Autores: | , |
Tipo de documento: | Artigo |
Idioma: | eng |
Título da fonte: | Texto livre |
Texto Completo: | https://periodicos.ufmg.br/index.php/textolivre/article/view/24399 |
Resumo: | Despite fast development of machine translation, the output quality is less than acceptable in certain language pairs. The aim of this paper is to determine the types of errors in machine translation output that cause comprehension problems to potential readers. The study is based on a reading task experiment using eye tracking and a retrospective survey as a complementary method to add more value to the research as eye tracking as a method is considered to be problematic and challenging (O’BRIEN, 2009; ALVES et al., 2009). The cognitive evaluation approach is used in an eye tracking experiment to determine the complexity of the errors in the English–Lithuanian language pair from easiest to hardest as seen by the readers of a machine-translated text. The tested parameters – gaze time and fixation count – demonstrate that a different amount of cognitive effort is required to process different types of errors in machine-translated texts. The current work aims at contributing to other research in the Translation Studies field by providing the analysis of error assessment of machine translation output. |
id |
UFMG-9_f3baccaebf3e3a37799d3d641d1dc54b |
---|---|
oai_identifier_str |
oai:periodicos.ufmg.br:article/24399 |
network_acronym_str |
UFMG-9 |
network_name_str |
Texto livre |
repository_id_str |
|
spelling |
Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experimentAvaliação da qualidade da produção de tradução automática: abordagem de avaliação cognitiva em um experimento com rastreamento ocularTradução automáticaAbordagem de avaliação cognitivaErro(s) de traduçãoRastreamento ocularAceitabilidadeMachine translationCognitive evaluation approachTranslation error(s)Eye trackingAcceptabilityDespite fast development of machine translation, the output quality is less than acceptable in certain language pairs. The aim of this paper is to determine the types of errors in machine translation output that cause comprehension problems to potential readers. The study is based on a reading task experiment using eye tracking and a retrospective survey as a complementary method to add more value to the research as eye tracking as a method is considered to be problematic and challenging (O’BRIEN, 2009; ALVES et al., 2009). The cognitive evaluation approach is used in an eye tracking experiment to determine the complexity of the errors in the English–Lithuanian language pair from easiest to hardest as seen by the readers of a machine-translated text. The tested parameters – gaze time and fixation count – demonstrate that a different amount of cognitive effort is required to process different types of errors in machine-translated texts. The current work aims at contributing to other research in the Translation Studies field by providing the analysis of error assessment of machine translation output.Apesar do rápido desenvolvimento da tradução automática, a qualidade do texto produzido é bastante pobre em algumas combinações linguísticas. O objetivo deste artigo é determinar os tipos de erros na produção de tradução automática que acarretam dificuldades de compreensão para os potenciais leitores. O estudo é baseado em um experimento que utiliza rastreamento ocular e um questionário retrospetivo como método complementar de forma a acrescentar mais valor à pesquisa, visto que o rastreamento ocular enquanto método é muitas vezes considerado problemático e desafiador (O’BRIEN, 2009; ALVES et al., 2009). A abordagem de avaliação cognitiva é utilizada em um experimento com rastreamento ocular para determinar a complexidade dos erros na combinação linguística inglês-lituano dos mais fáceis aos mais difíceis, conforme visto pelos leitores do texto traduzido automaticamente. Os parâmetros testados (duração do olhar e número de fixações) demonstram que é necessário um esforço cognitivo diferente para processar diferentes tipos de erros em textos traduzidos de forma automática. Este trabalho almeja contribuir para outras pesquisas neste campo, pois fornece análise de avaliação de erros da produção de tradução automática.Universidade Federal de Minas Gerais2020-07-22info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfapplication/ziphttps://periodicos.ufmg.br/index.php/textolivre/article/view/2439910.35699/1983-3652.2020.24399Texto Livre; Vol. 13 No. 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285Texto Livre; Vol. 13 Núm. 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285Texto Livre; Vol. 13 No 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285Texto Livre; v. 13 n. 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-2851983-3652reponame:Texto livreinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGenghttps://periodicos.ufmg.br/index.php/textolivre/article/view/24399/19507https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/27708https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/27709https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/27710https://creativecommons.org/licenses/by/4.0info:eu-repo/semantics/openAccessKasperavičienė, Ramunė Motiejūnienė, Jurgita Patašienė, Irena 2021-07-07T23:37:16Zoai:periodicos.ufmg.br:article/24399Revistahttp://www.periodicos.letras.ufmg.br/index.php/textolivrePUBhttps://periodicos.ufmg.br/index.php/textolivre/oairevistatextolivre@letras.ufmg.br1983-36521983-3652opendoar:2021-07-07T23:37:16Texto livre - Universidade Federal de Minas Gerais (UFMG)false |
dc.title.none.fl_str_mv |
Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment Avaliação da qualidade da produção de tradução automática: abordagem de avaliação cognitiva em um experimento com rastreamento ocular |
title |
Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment |
spellingShingle |
Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment Kasperavičienė, Ramunė Tradução automática Abordagem de avaliação cognitiva Erro(s) de tradução Rastreamento ocular Aceitabilidade Machine translation Cognitive evaluation approach Translation error(s) Eye tracking Acceptability |
title_short |
Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment |
title_full |
Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment |
title_fullStr |
Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment |
title_full_unstemmed |
Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment |
title_sort |
Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment |
author |
Kasperavičienė, Ramunė |
author_facet |
Kasperavičienė, Ramunė Motiejūnienė, Jurgita Patašienė, Irena |
author_role |
author |
author2 |
Motiejūnienė, Jurgita Patašienė, Irena |
author2_role |
author author |
dc.contributor.author.fl_str_mv |
Kasperavičienė, Ramunė Motiejūnienė, Jurgita Patašienė, Irena |
dc.subject.por.fl_str_mv |
Tradução automática Abordagem de avaliação cognitiva Erro(s) de tradução Rastreamento ocular Aceitabilidade Machine translation Cognitive evaluation approach Translation error(s) Eye tracking Acceptability |
topic |
Tradução automática Abordagem de avaliação cognitiva Erro(s) de tradução Rastreamento ocular Aceitabilidade Machine translation Cognitive evaluation approach Translation error(s) Eye tracking Acceptability |
description |
Despite fast development of machine translation, the output quality is less than acceptable in certain language pairs. The aim of this paper is to determine the types of errors in machine translation output that cause comprehension problems to potential readers. The study is based on a reading task experiment using eye tracking and a retrospective survey as a complementary method to add more value to the research as eye tracking as a method is considered to be problematic and challenging (O’BRIEN, 2009; ALVES et al., 2009). The cognitive evaluation approach is used in an eye tracking experiment to determine the complexity of the errors in the English–Lithuanian language pair from easiest to hardest as seen by the readers of a machine-translated text. The tested parameters – gaze time and fixation count – demonstrate that a different amount of cognitive effort is required to process different types of errors in machine-translated texts. The current work aims at contributing to other research in the Translation Studies field by providing the analysis of error assessment of machine translation output. |
publishDate |
2020 |
dc.date.none.fl_str_mv |
2020-07-22 |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/article info:eu-repo/semantics/publishedVersion |
format |
article |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://periodicos.ufmg.br/index.php/textolivre/article/view/24399 10.35699/1983-3652.2020.24399 |
url |
https://periodicos.ufmg.br/index.php/textolivre/article/view/24399 |
identifier_str_mv |
10.35699/1983-3652.2020.24399 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.none.fl_str_mv |
https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/19507 https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/27708 https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/27709 https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/27710 |
dc.rights.driver.fl_str_mv |
https://creativecommons.org/licenses/by/4.0 info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
https://creativecommons.org/licenses/by/4.0 |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf application/zip |
dc.publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais |
publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais |
dc.source.none.fl_str_mv |
Texto Livre; Vol. 13 No. 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285 Texto Livre; Vol. 13 Núm. 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285 Texto Livre; Vol. 13 No 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285 Texto Livre; v. 13 n. 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285 1983-3652 reponame:Texto livre instname:Universidade Federal de Minas Gerais (UFMG) instacron:UFMG |
instname_str |
Universidade Federal de Minas Gerais (UFMG) |
instacron_str |
UFMG |
institution |
UFMG |
reponame_str |
Texto livre |
collection |
Texto livre |
repository.name.fl_str_mv |
Texto livre - Universidade Federal de Minas Gerais (UFMG) |
repository.mail.fl_str_mv |
revistatextolivre@letras.ufmg.br |
_version_ |
1799711142944178176 |