Bridging the gap between machine translation output and images in multimodal documents

Detalhes bibliográficos
Autor(a) principal: Pires, Thiago Blanch
Data de Publicação: 2021
Outros Autores: Espindola, Augusto Velloso dos Santos
Tipo de documento: Artigo
Idioma: eng
Título da fonte: Cadernos de Tradução (Florianópolis. Online)
Texto Completo: https://periodicos.ufsc.br/index.php/traducao/article/view/75483
Resumo: The aim of this article is to report on recent findings concerning the use of Google Translate outputs in multimodal contexts. Development and evaluation of machine translation often focus on verbal mode, but accounts by the area on the exploration text-image relations in multimodal documents translated automatically are rare. Thus, this work seeks to describe just what are such relations and how to describe them, organized in two parts: firstly, by exploring the problem through an interdisciplinary interface, involving Machine Translation and Multimodality to analyze some examples from the Wikihow website; secondly, by reporting on recent investigation on suitable tools and methods to properly annotate these issues from within a long-term purpose to assemble a corpus. Finally, this article provides a discussion on the findings, including some limitations and perspectives for future research.
id UFSC-6_0f7ea3ed30936b0dbd77ee329697a2d7
oai_identifier_str oai:periodicos.ufsc.br:article/75483
network_acronym_str UFSC-6
network_name_str Cadernos de Tradução (Florianópolis. Online)
repository_id_str
spelling Bridging the gap between machine translation output and images in multimodal documentsAproximando resultados de tradução automática e imagens em documentos multimodaisThe aim of this article is to report on recent findings concerning the use of Google Translate outputs in multimodal contexts. Development and evaluation of machine translation often focus on verbal mode, but accounts by the area on the exploration text-image relations in multimodal documents translated automatically are rare. Thus, this work seeks to describe just what are such relations and how to describe them, organized in two parts: firstly, by exploring the problem through an interdisciplinary interface, involving Machine Translation and Multimodality to analyze some examples from the Wikihow website; secondly, by reporting on recent investigation on suitable tools and methods to properly annotate these issues from within a long-term purpose to assemble a corpus. Finally, this article provides a discussion on the findings, including some limitations and perspectives for future research.O objetivo deste artigo é relatar os recentes achados sobre o uso de resultados do Google Tradutor em contextos multimodais. O desenvolvimento e a avaliação da tradução automática geralmente se concentram no modo verbal, mas são raros os relatos da área sobre a exploração das relações texto-imagem em documentos multimodais traduzidos automaticamente. Assim, este trabalho busca caracterizar o que são tais relações e como descrevê-las. Para tal, esta investigação examina o problema através de uma interface interdisciplinar envolvendo tradução automática e multimodalidade para analisar alguns exemplos do site Wikihow; em seguida, este trabalho descreve estudos recentes sobre ferramentas e métodos adequados para a anotação destas questões com o propósito de construir um corpus a longo prazo. Finalmente, este artigo fornece uma discussão sobre os achados, incluindo algumas limitações e perspectivas para pesquisas futuras.Universidade Federal de Santa Catarina2021-05-25info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfhttps://periodicos.ufsc.br/index.php/traducao/article/view/7548310.5007/2175-7968.2021.e75483Cadernos de Tradução; Vol. 41 No. 2 (2021): Edição Regular; 85-108Cadernos de Tradução; Vol. 41 Núm. 2 (2021): Edição Regular; 85-108Cadernos de Tradução; v. 41 n. 2 (2021): Edição Regular; 85-1082175-79681414-526Xreponame:Cadernos de Tradução (Florianópolis. Online)instname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCenghttps://periodicos.ufsc.br/index.php/traducao/article/view/75483/46513Copyright (c) 2021 Cadernos de Traduçãohttps://creativecommons.org/licenses/by/4.0info:eu-repo/semantics/openAccessPires, Thiago BlanchEspindola, Augusto Velloso dos Santos2022-12-17T15:19:09Zoai:periodicos.ufsc.br:article/75483Revistahttps://periodicos.ufsc.br/index.php/traducao/indexPUBhttps://periodicos.ufsc.br/index.php/traducao/oaieditorcadernostraducao@contato.ufsc.br||ecadernos@gmail.com||editorcadernostraducao@contato.ufsc.br|| cadernostraducao@contato.ufsc.br2175-79681414-526Xopendoar:2022-12-17T15:19:09Cadernos de Tradução (Florianópolis. Online) - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Bridging the gap between machine translation output and images in multimodal documents
Aproximando resultados de tradução automática e imagens em documentos multimodais
title Bridging the gap between machine translation output and images in multimodal documents
spellingShingle Bridging the gap between machine translation output and images in multimodal documents
Pires, Thiago Blanch
title_short Bridging the gap between machine translation output and images in multimodal documents
title_full Bridging the gap between machine translation output and images in multimodal documents
title_fullStr Bridging the gap between machine translation output and images in multimodal documents
title_full_unstemmed Bridging the gap between machine translation output and images in multimodal documents
title_sort Bridging the gap between machine translation output and images in multimodal documents
author Pires, Thiago Blanch
author_facet Pires, Thiago Blanch
Espindola, Augusto Velloso dos Santos
author_role author
author2 Espindola, Augusto Velloso dos Santos
author2_role author
dc.contributor.author.fl_str_mv Pires, Thiago Blanch
Espindola, Augusto Velloso dos Santos
description The aim of this article is to report on recent findings concerning the use of Google Translate outputs in multimodal contexts. Development and evaluation of machine translation often focus on verbal mode, but accounts by the area on the exploration text-image relations in multimodal documents translated automatically are rare. Thus, this work seeks to describe just what are such relations and how to describe them, organized in two parts: firstly, by exploring the problem through an interdisciplinary interface, involving Machine Translation and Multimodality to analyze some examples from the Wikihow website; secondly, by reporting on recent investigation on suitable tools and methods to properly annotate these issues from within a long-term purpose to assemble a corpus. Finally, this article provides a discussion on the findings, including some limitations and perspectives for future research.
publishDate 2021
dc.date.none.fl_str_mv 2021-05-25
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
format article
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://periodicos.ufsc.br/index.php/traducao/article/view/75483
10.5007/2175-7968.2021.e75483
url https://periodicos.ufsc.br/index.php/traducao/article/view/75483
identifier_str_mv 10.5007/2175-7968.2021.e75483
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv https://periodicos.ufsc.br/index.php/traducao/article/view/75483/46513
dc.rights.driver.fl_str_mv Copyright (c) 2021 Cadernos de Tradução
https://creativecommons.org/licenses/by/4.0
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Copyright (c) 2021 Cadernos de Tradução
https://creativecommons.org/licenses/by/4.0
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Santa Catarina
publisher.none.fl_str_mv Universidade Federal de Santa Catarina
dc.source.none.fl_str_mv Cadernos de Tradução; Vol. 41 No. 2 (2021): Edição Regular; 85-108
Cadernos de Tradução; Vol. 41 Núm. 2 (2021): Edição Regular; 85-108
Cadernos de Tradução; v. 41 n. 2 (2021): Edição Regular; 85-108
2175-7968
1414-526X
reponame:Cadernos de Tradução (Florianópolis. Online)
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Cadernos de Tradução (Florianópolis. Online)
collection Cadernos de Tradução (Florianópolis. Online)
repository.name.fl_str_mv Cadernos de Tradução (Florianópolis. Online) - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv editorcadernostraducao@contato.ufsc.br||ecadernos@gmail.com||editorcadernostraducao@contato.ufsc.br|| cadernostraducao@contato.ufsc.br
_version_ 1799875301667241984