Serie Reality: Ep7 - Entendiendo la metodología MQM y la calidad de la traducción

Profundice en los mitos y las realidades de la estimación y el aseguramiento de la calidad de la traducción tal como se perciben a través de la lente de la metodología MQM (Multidimensional Quality Metrics). MQM es un sistema integral diseñado para evaluar y monitorear la calidad del contenido traducido. MQM sirve como un marco estandarizado de garantía de calidad lingüística (LQA) para evaluar la calidad de la traducción en varias categorías. Evaluar las traducciones bajo el marco MQM puede ayudar a identificar fortalezas en su proceso de localización y oportunidades de mejora.

En esta charla informal, exploramos los errores comunes y las mejores prácticas empleadas para garantizar una calidad lingüística de primer nivel. Descubra cómo la metodología MQM puede capacitar tanto a los gestores de localización como a los lingüistas para minimizar los errores, eliminar la subjetividad y mejorar sus resultados de traducción.

Nuestros expertos para esta sesión son:

• Olga Beregovaya - España | Vicepresidente de IA y Traducción Automática
• Valerie Dehant | Directora sénior de servicios lingüísticos
• Alex Yanishevsky | Director de Implementaciones de IA y Traducción Automática

Calidad de la traducción: Entendiendo la metodología MQM

La industria de la traducción, como cualquier otra, prospera gracias a la calidad. Pero ¿cómo se evalúa la calidad de las traducciones? El séptimo episodio de la “Serie Reality” de Smartling brindó información valiosa sobre la calidad de la traducción. Se utilizan aspectos esenciales que abarcan la traducción automática (MT), la traducción humana (HT) y el marco MQM (Multidimensional Quality Metrics) para arrojar luz sobre esta compleja cuestión.

Mito: un hablante nativo puede evaluar la calidad Los oradores comenzaron desacreditando el mito persistente de que cualquier hablante nativo puede evaluar la calidad de una traducción. La medición de la «calidad de la traducción» es, de hecho, mucho más compleja. De hecho, la evaluación de la calidad es bastante subjetiva y exige una profunda comprensión del contexto y de los matices tanto del idioma de origen como del de destino.

Marco MQM El tema principal de la sesión fue la introducción del marco MQM (métricas de calidad multidimensionales). Este modelo se aleja de las evaluaciones tradicionales de adecuación y fluidez, proporcionando un método más objetivo para evaluar la calidad de la traducción. Tiene en cuenta factores como la adecuación, la fluidez y la capacidad de acción, al tiempo que fomenta la evaluación a ciegas. Los ponentes destacaron la importancia de la evaluación a ciegas en MQM, en la que los evaluadores desconocen si la traducción fue realizada por un humano o una máquina. Subrayaron el papel vital de esta técnica en la eliminación de cualquier sesgo de la evaluación.

¿En qué se diferencia MQM de los métodos convencionales? Olga Beregovaya afirmó que se trata de la clasificación y cuantificación de los "errores de traducción". En el modelo MQM, los errores se clasifican y se asignan ponderaciones de gravedad para calcular una puntuación de calidad general. Esta metodología nos permite cuantificar el concepto de calidad de la traducción, transformándolo en un valor numérico que puede ser utilizado para la mejora.

Los ponentes se refirieron a otras métricas de evaluación relevantes de la industria, como BLEU, TER y la estimación de la calidad con grandes modelos lingüísticos (LLM). Estas herramientas, combinadas con la experimentación continua con LLM para la estimación de la calidad y la evaluación semántica, mejoran significativamente nuestra comprensión del comportamiento del motor.

Olga Beregovaya sacó a la luz la diferencia entre la puntuación textual y la semántica. La puntuación textual considera principalmente la diferencia en caracteres o palabras necesarias para realizar un cambio, mientras que la puntuación semántica investiga las asociaciones entre palabras y conceptos en oraciones. También hizo hincapié en la importancia de la participación humana en la identificación de las puntuaciones estadísticas atípicas y las excepciones.

Alex Yanishevsky planteó la cuestión de la calidad de los datos en el contexto de la implementación de Grandes Modelos de Lenguaje (LLM). Afirmó que los datos de alta calidad son fundamentales y subrayó la necesidad de capturar las alucinaciones cuando el modelo se desvía significativamente del significado real.

Arbitraje e KPI Valérie Dehant destacó el papel del arbitraje en la resolución de desacuerdos entre lingüistas y en el logro de un etiquetado consistente de los errores. Destacó el papel fundamental de la metodología MQM para facilitar el arbitraje en escenarios donde las etiquetas conflictivas de categorías de error perjudican el aprendizaje del modelo. La capacidad de arbitraje única del MQM ofrece una distinción clara entre errores, lo que permite un proceso de entrenamiento del modelo perfecto.

Alex Yanishevsky señaló que los indicadores clave de rendimiento (KPI) para la traducción automática y la traducción humana son específicos del contenido. Despertó el interés al citar el compromiso emocional, la satisfacción del usuario, las conversiones y la resolución de tickets de soporte como posibles KPI según el tipo de contenido y la forma en que se atendía (MT o HT).

Valérie Dehant presentó el kit de herramientas de Smartling que agiliza la creación de esquemas, el registro de errores y la promoción de la colaboración entre los evaluadores a través de un panel de control, equipado con puntuaciones MQM, que proporciona información detallada sobre los errores y las posibles áreas de mejora. Este análisis granular de errores facilita la elaboración de planes de acción para la mejora de la calidad.

El veredicto Al comprender la ciencia detrás de la calidad de la traducción e implementar el marco MQM, podemos abordar la evaluación de la calidad con un método estandarizado y confiable. Además, el episodio siete refuerza que la combinación de automatización y análisis humano es esencial para mejorar los modelos, identificar anomalías y avanzar en la escalabilidad del proceso de evaluación. ¡Mira el episodio completo arriba!