Creating a transversal methodology for online machine translation : on-the-fly machine translation assessment

Detalhes bibliográficos
Autor(a) principal: Vaz, Tânia Marlene Botelho
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10451/63224
Resumo: Machine Translation (MT) has been gaining more attention in the past years, mostly related to the rapid development of ever more complex and sophisticated MT models. Consequently, the need to develop methods that ensure and augment the MT output quality became all the more evident. Unbabel conducts regular engine retrainings to ensure that the quality of the translations delivered to the clients are consistently up to par. However, as current state-of-the-art engines are parametric, that is, they learn a fixed number of parameters from the corpus during training, Unbabel’s retraining is tailored to accommodate this characteristic. This becomes especially relevant when considering MT models such as k-Nearest Neighbors (kNN) (Khandelwal et al., 2021), which rely on non-parametric datastores. kNN-MT requires a distinct output-quality-improving process, specifically tailored to accommodate non-parametric datastores. To address this challenge, this study proposes a Translation Quality Framework developed specifically for the specifications of MT models that employ the newly proposed kNN-MT architecture. The kNN-MT mechanism makes use of a datastore constructed with source-target translation pairs, which is leveraged during inference to retrieve similar sentences to a new given input sentence. In light of this, our framework sees as its primary objective the creation and implementation of high quality translations – i.e., gold standards – into the kNN datastore, in order to augment the output quality of systems employing the kNN-MT mechanism. For the purpose of assessing the efficacy of the framework, we conducted an initial pilot project, with the analysis of which we refined the framework. After the framework was established, we applied it to two different translation content types, Customer Support and Technical content, concluding that it is effective in augmenting the quality of kNN-MT-generated translations, reducing the number of errors by almost almost 83% in one of our experiments, and can successfully be applied transversally across multiple content types.
id RCAP_8d3e18da01c2682789f35a3daa3eea0c
oai_identifier_str oai:repositorio.ul.pt:10451/63224
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Creating a transversal methodology for online machine translation : on-the-fly machine translation assessmentDomínio/Área Científica::Humanidades::Línguas e LiteraturasMachine Translation (MT) has been gaining more attention in the past years, mostly related to the rapid development of ever more complex and sophisticated MT models. Consequently, the need to develop methods that ensure and augment the MT output quality became all the more evident. Unbabel conducts regular engine retrainings to ensure that the quality of the translations delivered to the clients are consistently up to par. However, as current state-of-the-art engines are parametric, that is, they learn a fixed number of parameters from the corpus during training, Unbabel’s retraining is tailored to accommodate this characteristic. This becomes especially relevant when considering MT models such as k-Nearest Neighbors (kNN) (Khandelwal et al., 2021), which rely on non-parametric datastores. kNN-MT requires a distinct output-quality-improving process, specifically tailored to accommodate non-parametric datastores. To address this challenge, this study proposes a Translation Quality Framework developed specifically for the specifications of MT models that employ the newly proposed kNN-MT architecture. The kNN-MT mechanism makes use of a datastore constructed with source-target translation pairs, which is leveraged during inference to retrieve similar sentences to a new given input sentence. In light of this, our framework sees as its primary objective the creation and implementation of high quality translations – i.e., gold standards – into the kNN datastore, in order to augment the output quality of systems employing the kNN-MT mechanism. For the purpose of assessing the efficacy of the framework, we conducted an initial pilot project, with the analysis of which we refined the framework. After the framework was established, we applied it to two different translation content types, Customer Support and Technical content, concluding that it is effective in augmenting the quality of kNN-MT-generated translations, reducing the number of errors by almost almost 83% in one of our experiments, and can successfully be applied transversally across multiple content types.A Tradução Automática (TA) tem vindo a registar um crescimento exponencial nas últimas décadas desde os primeiros sistemas baseados em regras linguísticas. Atualmente, os modelos estado da arte de TA são modelos neuronais paramétricos. Isto significa que os modelos passam por uma fase de treino em que são alimentados com uma grande quantidade de dados bilíngues, para aprenderem padrões contextuais e linguísticos entre a frase de partida e a de chegada. Estes padrões podem ser atualizados, efetuando subsequentes processos de treino com dados novos e mais específicos, aumentando a qualidade da tradução gerada pelo sistema. No entanto, há sistematicamente novas abordagens a modelos de TA a ser desenvolvidas para, entre outros fins, melhorar a velocidade e eficiência do sistema, melhorar a qualidade das traduções ou adaptar o sistema a domínios de tradução específicos, sendo que algumas destas novas abordagens envolvem a incorporação de características não-paramétricas. Um exemplo de uma abordagem com características não-paramétricas é o mecanismo de k-Nearest Neighbors (kNN) (Khandelwal et al., 2021), um sistema que utiliza um banco de dados (do inglês datastore) não-paramétrico construído com pares de segmentos de partida e as suas respetivas traduções de qualidade. Durante o processo de TA, o mecanismo kNN acede ao mencionado banco de dados para procurar e extrair segmentos com um contexto de tradução semelhante ao novo segmento a ser traduzido. Dado a natureza não-paramétrica do banco de dados, o mecanismo kNN não requer um treino prévio, como é o caso com modelos paramétricos. Em vez disso, novos dados paralelos podem ser adicionados ao banco de dados kNN instantaneamente, à medida que são produzidos. Por sua vez, isto significa que os métodos de treino para aumentar a qualidade de tradução de modelos paramétricos não são adequados para este modelo de natureza não-paramétrica. No presente trabalho propõe-se uma metodologia especificamente adaptada aos modelos de TA que empregam o mecanismo kNN-MT não-paramétrico, que visa continuamente aumentar a qualidade das traduções geradas por eles. O principal objetivo da metodologia é a construção e implementação de traduções de qualidade no banco de dados que, posteriormente, durante o processo de TA, são extraídos para gerar traduções de qualidade. A Secção 2 concentrou-se na apresentação da empresa Unbabel, com um foco especial na explicação dos processos de qualidade em vigor. A Secção 3 descreve o estado da arte da TA, endo que a Secção 3.1 se centrou na breve introdução da história da TA e a Secção 3.2 na apresentação do estado da arte das abordagens de avaliação de qualidade manual, automatizada e semi-automatizada. Na Secção 4 é descrita a metodologia criada no âmbito do presente trabalho, subdividindo-a em três partes: criação da metodologia; realização de um projeto piloto com o objetivo de testar a funcionalidade da metodologia desenvolvida; aplicação da metodologia a dois tipos de conteúdo – apoio ao cliente e conteúdo técnico. Numa primeira fase, foi desenvolvida a metodologia que visa aumentar a qualidade de tradução do modelo kNN-MT. A metodologia consiste na recolha de traduções geradas pelo kNN-MT que tenham uma qualidade abaixo de um certo limiar. A qualidade das frases é calculada de forma automatizada pelo MQM-QE, ferramenta proprietária da Unbabel, e o limite estabelecido foi de 85. Após a recolha de traduções, os erros encontrados nelas são anotados consoante o Multidimensional Quality Metrics (MQM) Framework (Lommel et al., 2014) e corrigidos. Essa correção corresponde à fase de criação de traduções de alta qualidade. Posteriormente, as traduções e os respetivos segmentos de origem são adicionados ao banco de dados e vão ser sugeridos pelo sistema kNN-MT quando este estabelecer uma semelhança contextual entre elas e um novo segmento a ser traduzido. Após a criação da metodologia, ela foi posta em prática pela primeira vez no contexto de um teste piloto, com o objetivo de testar a sua funcionalidade. O processo resultou num total de 630 novas traduções implementadas no banco de dados kNN. A metodologia foi aplicada com êxito, no entanto, os resultados mostraram que o limite estabelecido para a recolha de segmentos traduzidos era demasiado elevado, resultando num número reduzido de erros de tradução que, por consequência, resulta na criação de um número reduzido de traduções de qualidade. Em resposta a isso, baixamos o limiar de MQM-QE, sendo que estabelecemos limiares diferentes para os dois tipos de conteúdo abordados no presente trabalho: 76 para o conteúdo de apoio ao cliente e 70 para o conteúdo técnico. Esta diferença de valores deve-se à diferença no treino dos dois modelos específicos investigados no presente trabalho. O modelo de TA para o domínio de apoio ao cliente foi treinado várias vezes com dados do cliente, em contraste com o modelo para o domínio técnico, que só foi treinado uma vez com dados do cliente. Isto resulta numa maior qualidade das traduções geradas pelo modelo adaptado ao conteúdo de apoio ao cliente e usar um limiar de 70 iria restringir significativamente o número de erros críticos nas traduções. Posteriormente à criação da metodologia e ao teste piloto, foram realizados dois projectos nos quais a metodologia foi aplicada aos dois tipos de conteúdo suprarreferidos, verificando que pode ser aplicada transversalmente a múltiplos domínios de tradução. Outro objetivo do presente trabalho foi avaliar as traduções geradas pelo sistema kNN-MT e compará-las com as traduções feitas pelo sistema de TA NMT da Unbabel. O objetivo desta análise foi averiguar se um modelo de TA paramétrico que usa um banco de dados não paramétrico gera traduções de uma qualidade mais elevada do que um modelo paramétrico. Para esse fim, realizámos uma prévia análise ao sistema baseline das traduções feitas pelo sistema de TA NMT da Unbabel (sem a arquitetura kNN), para a qual recolhemos traduções em produção de apoio ao cliente e de conteúdo técnico, pertencentes aos mesmos clientes que as traduções kNN-MT, e anotamos os erros manualmente. Isto permitiu-nos fazer uma avaliação da qualidade das traduções geradas no sistema baseline, que serviu como referência para a comparação da qualidade das traduções após a implementação da arquitetura kNN. As conclusões, apresentadas na Secção 5, foram duas: no caso do conteúdo de apoio ao cliente, o sistema kNN gerou uma tradução de qualidade inferior à do sistema baseline, resultando em 921 erros, em contrapartida aos 397 erros produzidos pelo sistema baseline. Esta discrepância pode ser explicada, tendo em conta o número de vezes em que os dois modelos foram treinados com dados específicos do cliente de apoio ao cliente. O modelo baseline foi objeto de vários processos de treino, enquanto que o sistema kNN-MT foi só treinado uma vez com dados do cliente. No entanto, no caso do conteúdo técnico, o sistema kNN gerou uma tradução de qualidade significativamente superior ao da baseline. A tradução kNN-MT apresentou uma redução de quase 83 % de erros, o que constitui uma melhoria notável e prova que a metodologia proposta no presente trabalho funciona. Por fim, realizamos mais duas experiências, descritas na Secção 5.3, a fim de comparar objetivamente a avaliação do desempenho de quatro modelos de TA ao traduzir dados de um domínio diferente dos dados de treino, através de uma abordagem de avaliação de qualidade automatizada e uma semi-automatizada, sendo que dois dos modelos correspondem a modelos kNN-MT com características não paramétricas. Os quatro modelos foram: 1. Modelo base: um modelo sem adaptação a cliente ou domínio para verificar a diferença antes e depois da implementação do kNN; 2. Modelo kNN: um modelo base de kNN, sem adaptação ao domínio, mas usando os dados específicos do cliente para o banco de dados; 3. Modelo Fine-tuned: um modelo NMT com adaptação ao domínio; 4. Modelo fine-tuned + kNN: um modelo adaptado ao domínio e ao cliente. Ou seja, os objetivos destas experiências foram, por um lado, perceber se a metodologia é robusta quando aplicada ao mesmo domínio e, por outro lado, comparar o desempenho de dois modelos paramétricos com dois modelos paramétricos que utilizam um banco de dados não-paramétrico. Na primeira experiência, foi seguida a metodologia proposta por Martins et al. (2023) e foram geradas traduções do mesmo texto de partida com os quatro modelos. A metodologia da experiência foi dividida em duas partes. Numa primeira instância, traduzimos o texto de partida com modelos adaptados com dados de um cliente específico (Cliente A) e, subsequentemente, traduzimos o mesmo texto de partida com os modelos adaptados com dados de um cliente diferente de outro domínio (Cliente B). Os resultados mostraram que os três modelos adaptados ao cliente e/ou ao domínio tiveram um desempenho melhor do que o modelo base NMT que não foi adaptado ao domínio. O modelo base kNN teve um aumento de 0,213 pontos COMET (Rei et al., 2020) em relação ao modelo base NMT, o modelo fine-tuned NMT um aumento de 0,351 pontos COMET e o modelo fine-tuned + kNN um aumento de 0,348 pontos COMET. Visto que os dois modelos que empregam o mecanismo kNN-MT apresentam um bom desempenho ao traduzir dados de um domínio diferente dos dados de treino, a nossa metodologia provou ser transversal ao domínio. A segunda experiência consistiu em utilizar o corpus de teste (do inglês test suites) da Unbabel nos quatro modelos para avaliar comparativamente o desempenho da TA de cada modelo quando treinados com dados de dois clientes pertencentes a dois subdomínios diferentes de apoio ao cliente: um cliente da área das tecnologias (Cliente A) e um cliente da área do retalho (Cliente B). Os resultados mostraram que, apesar de o modelo kNN-MT e o modelo adaptado/treinado com dados do cliente + kNN-MT melhorarem a qualidade geral das traduções quando comparados com o modelo base, eles têm um desempenho fraco quando traduzem entidades mencionadas, tais como nomes de cidades e países. Esta conclusão evidencia a necessidade de adicionar dados com entidades mencionadas aos bancos de dados kNN-MT. Com o presente trabalho foi possível propor uma metodologia especificamente adaptada aos modelos de TA que empregam o mecanismo kNN-MT não-paramétrico e testá-la, aplicando-a a dois domínios diferentes. Foi concluído que a metodologia é eficaz para aumentar a qualidade das traduções geradas pelo kNN-MT e que pode ser aplicada transversalmente a vários tipos de conteúdo.Moniz, Helena Gorete SilvaBuchicchio, MariannaRepositório da Universidade de LisboaVaz, Tânia Marlene Botelho2024-03-06T16:34:13Z2024-01-162023-09-142024-01-16T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10451/63224TID:203527810enginfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2024-03-11T01:20:15Zoai:repositorio.ul.pt:10451/63224Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-20T03:14:31.625815Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Creating a transversal methodology for online machine translation : on-the-fly machine translation assessment
title Creating a transversal methodology for online machine translation : on-the-fly machine translation assessment
spellingShingle Creating a transversal methodology for online machine translation : on-the-fly machine translation assessment
Vaz, Tânia Marlene Botelho
Domínio/Área Científica::Humanidades::Línguas e Literaturas
title_short Creating a transversal methodology for online machine translation : on-the-fly machine translation assessment
title_full Creating a transversal methodology for online machine translation : on-the-fly machine translation assessment
title_fullStr Creating a transversal methodology for online machine translation : on-the-fly machine translation assessment
title_full_unstemmed Creating a transversal methodology for online machine translation : on-the-fly machine translation assessment
title_sort Creating a transversal methodology for online machine translation : on-the-fly machine translation assessment
author Vaz, Tânia Marlene Botelho
author_facet Vaz, Tânia Marlene Botelho
author_role author
dc.contributor.none.fl_str_mv Moniz, Helena Gorete Silva
Buchicchio, Marianna
Repositório da Universidade de Lisboa
dc.contributor.author.fl_str_mv Vaz, Tânia Marlene Botelho
dc.subject.por.fl_str_mv Domínio/Área Científica::Humanidades::Línguas e Literaturas
topic Domínio/Área Científica::Humanidades::Línguas e Literaturas
description Machine Translation (MT) has been gaining more attention in the past years, mostly related to the rapid development of ever more complex and sophisticated MT models. Consequently, the need to develop methods that ensure and augment the MT output quality became all the more evident. Unbabel conducts regular engine retrainings to ensure that the quality of the translations delivered to the clients are consistently up to par. However, as current state-of-the-art engines are parametric, that is, they learn a fixed number of parameters from the corpus during training, Unbabel’s retraining is tailored to accommodate this characteristic. This becomes especially relevant when considering MT models such as k-Nearest Neighbors (kNN) (Khandelwal et al., 2021), which rely on non-parametric datastores. kNN-MT requires a distinct output-quality-improving process, specifically tailored to accommodate non-parametric datastores. To address this challenge, this study proposes a Translation Quality Framework developed specifically for the specifications of MT models that employ the newly proposed kNN-MT architecture. The kNN-MT mechanism makes use of a datastore constructed with source-target translation pairs, which is leveraged during inference to retrieve similar sentences to a new given input sentence. In light of this, our framework sees as its primary objective the creation and implementation of high quality translations – i.e., gold standards – into the kNN datastore, in order to augment the output quality of systems employing the kNN-MT mechanism. For the purpose of assessing the efficacy of the framework, we conducted an initial pilot project, with the analysis of which we refined the framework. After the framework was established, we applied it to two different translation content types, Customer Support and Technical content, concluding that it is effective in augmenting the quality of kNN-MT-generated translations, reducing the number of errors by almost almost 83% in one of our experiments, and can successfully be applied transversally across multiple content types.
publishDate 2023
dc.date.none.fl_str_mv 2023-09-14
2024-03-06T16:34:13Z
2024-01-16
2024-01-16T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10451/63224
TID:203527810
url http://hdl.handle.net/10451/63224
identifier_str_mv TID:203527810
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799137798206259200

Registros relacionados