Oferecemos suporte para o desenvolvimento de motores de tradução por IA e IA generativa, bem como para a construção de
modelos de linguagem de grande escala
necessários para o
ajuste fino.

A necessidade de corpora paralelos está aumentando cada vez mais no desenvolvimento e ajuste de tradução automática e IA generativa multilíngue. Além disso, mesmo quando um tradutor começa a trabalhar em uma nova área, ter uma memória de tradução acumulada internamente aumentará drasticamente a eficiência do trabalho de tradução. Por outro lado, não é fácil coletar um corpus paralelo sistemático por conta própria, por isso é eficiente adquirir dados externamente e concentrar-se no desenvolvimento dos resultados desejados ou no trabalho de tradução.

Os seis pontos a seguir podem ser citados como critérios para a seleção de um corpus paralelo.
1) Combinação de idiomas
2) Área
3) Qualidade
4) Quantidade
5) Tipo de dados
6) Presença ou ausência de contexto

A "combinação de idiomas" em 1) refere-se a se o par de idiomas que o tradutor traduz ou o par de idiomas a ser treinado no desenvolvimento de tradução automática é japonês e inglês, ou japonês e chinês, por exemplo. O mesmo se aplica ao registrar na memória de tradução de ferramentas de auxílio à tradução utilizadas; a "combinação de idiomas" pode ser considerada o elemento mais importante. Além disso, ao buscar expressões mais naturais, qual idioma é o original também é um fator importante. Como exemplo concreto, mesmo que se diga simplesmente "corpus paralelo de japonês e inglês", é natural que haja diferenças na fluidez da expressão em inglês e no contexto da tradução entre o caso em que o original é japonês traduzido para o inglês e o caso em que o original é inglês traduzido para o japonês.

O termo "área" em 2) refere-se a campos como turismo, medicina, direito, economia, ciência e tecnologia, etc. O aprendizado de máquina com dados da área na qual se deseja aumentar a precisão leva a uma aceleração do desenvolvimento. Ao construir um modelo de linguagem para melhorar a precisão da tradução automática em uma área específica, estima-se que o ponto de referência para obter resultados eficazes seja de cerca de 100.000 pares. Escusado será dizer que a área também é importante ao criar dicionários de terminologia técnica a partir de corpora paralelos. No caso da nossa empresa, as áreas exigidas no Japão foram a área de turismo, quando o foco estava no atendimento ao turista estrangeiro em nome de uma nação voltada ao turismo, e a área médica, quando foi necessário fortalecer o atendimento médico para estrangeiros que visitam ou residem no Japão. Além disso, as necessidades mudaram ao longo de alguns anos para a área de negócios, que inclui materiais de apresentação usados para anunciar e explicar o conteúdo dos negócios, bem como palestras em conferências e eventos e as subsequentes sessões de perguntas e respostas.

A "qualidade" em 3), em outras palavras, refere-se à precisão e depende do método pelo qual o corpus paralelo foi criado. É desejável que os dados tenham sido traduzidos por humanos; dados traduzidos por tradução automática que não passaram por revisão ou correção humana naturalmente terão uma qualidade inferior. Além disso, mesmo no caso de dados paralelos traduzidos por humanos, pode ocorrer de uma frase do original ser traduzida em duas ou mais frases, o que afeta a qualidade se for essencial que o original e a tradução correspondam frase por frase. Além disso, se a tradução for excessivamente abreviada, não pode ser considerada um corpus paralelo de alta qualidade.

Em relação à "quantidade" em 4), por exemplo, se o objetivo for registrar em memórias de tradução ou dicionários de termos de ferramentas de tradução assistida usadas internamente, algumas dezenas de milhares de pares de corpora paralelos em um campo específico podem ser considerados uma quantidade suficientemente útil para os tradutores. Ao desenvolver motores de tradução automática ou realizar aprendizado de máquina em um campo específico, diz-se que 100.000 pares trazem um certo efeito. Por outro lado, diz-se que são necessários dezenas de milhões de pares para desenvolver motores de tradução automática de uso geral. Assim, a quantidade de corpora paralelos necessária varia significativamente dependendo da finalidade.

O "tipo de dados" em 5) indica se o arquivo original usado para criar o corpus paralelo é um relatório/livro branco, ou uma apresentação/conferência/sessão de perguntas e respostas, etc. É mais eficaz usar corpora paralelos criados a partir de relatórios/livros brancos se você deseja treinar linguagem escrita, ou a partir de apresentações/conferências/sessões de perguntas e respostas se deseja treinar linguagem falada. Como nossos corpora paralelos gerenciam atributos detalhadamente, é possível extrair corpora paralelos por tipo de dados.

A "presença ou ausência de contexto" em 6) refere-se a se existe uma conexão semântica entre várias frases. Especificamente, os exemplos de frases listados em dicionários têm como única condição conter uma palavra de entrada específica e não possuem conexão entre si. Portanto, são considerados "sem contexto". Em contraste, um relatório é composto por várias frases que descrevem um evento ou ocorrência, portanto, "possui contexto". Da mesma forma, conferências e sessões de perguntas e respostas também "possuem contexto", pois vários falantes conversam alternadamente. Não apenas para tradução automática, mas também para gerar respostas mais precisas em chatbots, a necessidade de "ter contexto" nos corpora paralelos usados para aprendizado de máquina tornou-se mais importante do que nunca.

Resumo
Ao selecionar um corpus paralelo, é necessário considerar os pontos de 1) a 6) acima, dependendo do uso pretendido. Especialmente ao realizar aprendizado de máquina para um campo específico, é essencial considerar a qualidade, o tipo de dados e a necessidade de contexto. Para utilizar um corpus paralelo adequado ao seu objetivo, verifique primeiro nossos dados de amostra gratuitos.