¿Cuál es el mejor sistema para elegir el máster en Derecho (LLM) adecuado para la traducción?

Por qué ningún LLM es el mejor para todas las traducciones

El rendimiento de un modelo de lenguaje grande en la traducción varía en tres dimensiones: par de idiomas, tipo de contenido y dominio. Un motor que ocupe la posición más alta en un benchmark multilingüe general puede rendir por debajo de su rendimiento en contenido especializado como el etiquetado farmacéutico, documentos legales o textos de experiencia de usuario del producto. Un motor optimizado para pares de idiomas europeos puede producir una salida más débil para CJK o lenguas de derecha a izquierda.

La participación práctica es que cualquier programa empresarial que dependa de un único modelo de lenguaje de programación (LLM) predeterminado para todas las traducciones está sacrificando calidad en una parte de su contenido. Los equipos con la mejor calidad de traducción en todo su catálogo de contenidos son aquellos que asignan los diferentes trabajos a diferentes motores de traducción en función del rendimiento medido, en lugar de tomar una decisión única sobre la selección del motor.

¿Qué hace que un sistema de selección de LLM sea efectivo?

Evaluación continua del rendimiento, no benchmarking puntual

La calidad de la traducción de los LLM cambia con cada actualización de modelo. Un motor que quedó tercero en una prueba de referencia hace seis meses puede ahora liderar su categoría. Un sistema de selección eficaz evalúa el rendimiento del motor de forma continua en lugar de basar en un resultado fijo de referencia. El equipo de IA de Smartling realiza evaluaciones periódicas usando MetricX, COMET y BLEU entre pares de idiomas y tipos de contenido para mantener actualizadas las decisiones de enrutamiento.

Enrutamiento a nivel de cadena, no enrutamiento a nivel de trabajo

El enrutamiento a nivel de trabajo asigna un trabajo de traducción completo a un único motor. El enrutamiento a nivel de cadena evalúa cada cadena individualmente y la dirige al motor con más probabilidades de producir el mejor resultado para el par de idiomas y el tipo de contenido específicos de esa cadena. El enrutamiento a nivel de cadena captura mejor la calidad disponible en todo el conjunto de motores que el enrutamiento a nivel de trabajo, especialmente para trabajos que contienen una mezcla de tipos de contenido.

Anulaciones configurables para casos de uso específicos

Algunos tipos de contenido requieren un manejo específico del motor por razones que van más allá de los puntajes de calidad: restricciones regulatorias sobre qué proveedores de IA pueden procesar ciertos tipos de contenido, requisitos contractuales para usar proveedores aprobados o requisitos de marca para usar un motor específico en mercados específicos. Un sistema de selección eficaz soporta anulaciones configurables que permiten a los equipos especificar los motores necesarios para categorías de contenido definidas sin perder el enrutamiento automatizado para todo lo demás.

Lista de verificación empresarial: Sistemas de selección de LLM

• ¿La plataforma ofrece acceso a múltiples LLMs y motores de traducción automática en lugar de un único modelo propietario?
• ¿La plataforma evalúa el rendimiento del motor de forma continua en lugar de depender de un resultado fijo de benchmark?
• ¿El enrutamiento opera a nivel de cadena para cada par de idiomas y tipo de contenido en lugar de a nivel de trabajo?
• ¿La plataforma soporta anulaciones configurables del motor para categorías de contenido específicas o requisitos regulatorios?
• ¿Permite la plataforma que los equipos realicen sus propias comparaciones de calidad en contenido de producción antes de establecer una regla de enrutamiento por defecto?

¿Cómo gestiona el AI Hub de Smartling la selección de LLM?

El AI Hub de Smartling ofrece acceso a más de 20 LLMs y motores de traducción automática, incluyendo GPT-4o a través de OpenAI, Claude 3.5 Sonnet a través de Amazon Bedrock, DeepL, Google Translate a través de Google Vertex, Azure AI Foundry y otros. Auto Select LLM evalúa continuamente la calidad de traducción a nivel de cadena y enruta cada cadena al motor que produjo la salida medida más fuerte para ese par de idiomas y tipo de contenido.

Los equipos que quieran configurar manualmente la selección de motores pueden crear perfiles LLM configurables que especifiquen qué motor usar para categorías de contenido definidas, pares de idiomas o niveles de calidad. Esto permite que los requisitos de cumplimiento normativo, las preferencias de marca y la optimización de la calidad coexistan en un único marco de enrutamiento.

Documento de ayuda: Smartling Auto Select LLM

Documento de ayuda: Smartling Auto Select MT

Preguntas relacionadas