Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment

Detalhes bibliográficos
Autor(a) principal: Kasperavičienė, Ramunė
Data de Publicação: 2020
Outros Autores: Motiejūnienė, Jurgita, Patašienė, Irena
Tipo de documento: Artigo
Idioma: eng
Título da fonte: Texto livre
Texto Completo: https://periodicos.ufmg.br/index.php/textolivre/article/view/24399
Resumo: Despite fast development of machine translation, the output quality is less than acceptable in certain language pairs. The aim of this paper is to determine the types of errors in machine translation output that cause comprehension problems to potential readers. The study is based on a reading task experiment using eye tracking and a retrospective survey as a complementary method to add more value to the research as eye tracking as a method is considered to be problematic and challenging (O’BRIEN, 2009; ALVES et al., 2009). The cognitive evaluation approach is used in an eye tracking experiment to determine the complexity of the errors in the English–Lithuanian language pair from easiest to hardest as seen by the readers of a machine-translated text. The tested parameters – gaze time and fixation count – demonstrate that a different amount of cognitive effort is required to process different types of errors in machine-translated texts. The current work aims at contributing to other research in the Translation Studies field by providing the analysis of error assessment of machine translation output.
id UFMG-9_f3baccaebf3e3a37799d3d641d1dc54b
oai_identifier_str oai:periodicos.ufmg.br:article/24399
network_acronym_str UFMG-9
network_name_str Texto livre
repository_id_str
spelling Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experimentAvaliação da qualidade da produção de tradução automática: abordagem de avaliação cognitiva em um experimento com rastreamento ocularTradução automáticaAbordagem de avaliação cognitivaErro(s) de traduçãoRastreamento ocularAceitabilidadeMachine translationCognitive evaluation approachTranslation error(s)Eye trackingAcceptabilityDespite fast development of machine translation, the output quality is less than acceptable in certain language pairs. The aim of this paper is to determine the types of errors in machine translation output that cause comprehension problems to potential readers. The study is based on a reading task experiment using eye tracking and a retrospective survey as a complementary method to add more value to the research as eye tracking as a method is considered to be problematic and challenging (O’BRIEN, 2009; ALVES et al., 2009). The cognitive evaluation approach is used in an eye tracking experiment to determine the complexity of the errors in the English–Lithuanian language pair from easiest to hardest as seen by the readers of a machine-translated text. The tested parameters – gaze time and fixation count – demonstrate that a different amount of cognitive effort is required to process different types of errors in machine-translated texts. The current work aims at contributing to other research in the Translation Studies field by providing the analysis of error assessment of machine translation output.Apesar do rápido desenvolvimento da tradução automática, a qualidade do texto produzido é bastante pobre em algumas combinações linguísticas. O objetivo deste artigo é determinar os tipos de erros na produção de tradução automática que acarretam dificuldades de compreensão para os potenciais leitores. O estudo é baseado em um experimento que utiliza rastreamento ocular e um questionário retrospetivo como método complementar de forma a acrescentar mais valor à pesquisa, visto que o rastreamento ocular enquanto método é muitas vezes considerado problemático e desafiador (O’BRIEN, 2009; ALVES et al., 2009). A abordagem de avaliação cognitiva é utilizada em um experimento com rastreamento ocular para determinar a complexidade dos erros na combinação linguística inglês-lituano dos mais fáceis aos mais difíceis, conforme visto pelos leitores do texto traduzido automaticamente. Os parâmetros testados (duração do olhar e número de fixações) demonstram que é necessário um esforço cognitivo diferente para processar diferentes tipos de erros em textos traduzidos de forma automática. Este trabalho almeja contribuir para outras pesquisas neste campo, pois fornece análise de avaliação de erros da produção de tradução automática.Universidade Federal de Minas Gerais2020-07-22info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfapplication/ziphttps://periodicos.ufmg.br/index.php/textolivre/article/view/2439910.35699/1983-3652.2020.24399Texto Livre; Vol. 13 No. 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285Texto Livre; Vol. 13 Núm. 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285Texto Livre; Vol. 13 No 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285Texto Livre; v. 13 n. 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-2851983-3652reponame:Texto livreinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGenghttps://periodicos.ufmg.br/index.php/textolivre/article/view/24399/19507https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/27708https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/27709https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/27710https://creativecommons.org/licenses/by/4.0info:eu-repo/semantics/openAccessKasperavičienė, Ramunė Motiejūnienė, Jurgita Patašienė, Irena 2021-07-07T23:37:16Zoai:periodicos.ufmg.br:article/24399Revistahttp://www.periodicos.letras.ufmg.br/index.php/textolivrePUBhttps://periodicos.ufmg.br/index.php/textolivre/oairevistatextolivre@letras.ufmg.br1983-36521983-3652opendoar:2021-07-07T23:37:16Texto livre - Universidade Federal de Minas Gerais (UFMG)false
dc.title.none.fl_str_mv Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment
Avaliação da qualidade da produção de tradução automática: abordagem de avaliação cognitiva em um experimento com rastreamento ocular
title Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment
spellingShingle Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment
Kasperavičienė, Ramunė
Tradução automática
Abordagem de avaliação cognitiva
Erro(s) de tradução
Rastreamento ocular
Aceitabilidade
Machine translation
Cognitive evaluation approach
Translation error(s)
Eye tracking
Acceptability
title_short Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment
title_full Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment
title_fullStr Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment
title_full_unstemmed Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment
title_sort Quality assessment of machine translation output: cognitive evaluation approach in an eye tracking experiment
author Kasperavičienė, Ramunė
author_facet Kasperavičienė, Ramunė
Motiejūnienė, Jurgita
Patašienė, Irena
author_role author
author2 Motiejūnienė, Jurgita
Patašienė, Irena
author2_role author
author
dc.contributor.author.fl_str_mv Kasperavičienė, Ramunė
Motiejūnienė, Jurgita
Patašienė, Irena
dc.subject.por.fl_str_mv Tradução automática
Abordagem de avaliação cognitiva
Erro(s) de tradução
Rastreamento ocular
Aceitabilidade
Machine translation
Cognitive evaluation approach
Translation error(s)
Eye tracking
Acceptability
topic Tradução automática
Abordagem de avaliação cognitiva
Erro(s) de tradução
Rastreamento ocular
Aceitabilidade
Machine translation
Cognitive evaluation approach
Translation error(s)
Eye tracking
Acceptability
description Despite fast development of machine translation, the output quality is less than acceptable in certain language pairs. The aim of this paper is to determine the types of errors in machine translation output that cause comprehension problems to potential readers. The study is based on a reading task experiment using eye tracking and a retrospective survey as a complementary method to add more value to the research as eye tracking as a method is considered to be problematic and challenging (O’BRIEN, 2009; ALVES et al., 2009). The cognitive evaluation approach is used in an eye tracking experiment to determine the complexity of the errors in the English–Lithuanian language pair from easiest to hardest as seen by the readers of a machine-translated text. The tested parameters – gaze time and fixation count – demonstrate that a different amount of cognitive effort is required to process different types of errors in machine-translated texts. The current work aims at contributing to other research in the Translation Studies field by providing the analysis of error assessment of machine translation output.
publishDate 2020
dc.date.none.fl_str_mv 2020-07-22
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
format article
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://periodicos.ufmg.br/index.php/textolivre/article/view/24399
10.35699/1983-3652.2020.24399
url https://periodicos.ufmg.br/index.php/textolivre/article/view/24399
identifier_str_mv 10.35699/1983-3652.2020.24399
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/19507
https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/27708
https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/27709
https://periodicos.ufmg.br/index.php/textolivre/article/view/24399/27710
dc.rights.driver.fl_str_mv https://creativecommons.org/licenses/by/4.0
info:eu-repo/semantics/openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by/4.0
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
application/zip
dc.publisher.none.fl_str_mv Universidade Federal de Minas Gerais
publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.source.none.fl_str_mv Texto Livre; Vol. 13 No. 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285
Texto Livre; Vol. 13 Núm. 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285
Texto Livre; Vol. 13 No 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285
Texto Livre; v. 13 n. 2 (2020): Texto Livre: Linguagem e Tecnologia; 271-285
1983-3652
reponame:Texto livre
instname:Universidade Federal de Minas Gerais (UFMG)
instacron:UFMG
instname_str Universidade Federal de Minas Gerais (UFMG)
instacron_str UFMG
institution UFMG
reponame_str Texto livre
collection Texto livre
repository.name.fl_str_mv Texto livre - Universidade Federal de Minas Gerais (UFMG)
repository.mail.fl_str_mv revistatextolivre@letras.ufmg.br
_version_ 1799711142944178176