Meta AI ha creado un único modelo de IA, NLLB-200, que es el primero en traducirse a 200 idiomas diferentes con una calidad de vanguardia que ha sido validada a través de evaluaciones exhaustivas para cada uno de ellos.
También han creado un nuevo conjunto de datos de evaluación, FLORES-200, y miden el desempeño de NLLB-200 en cada idioma para confirmar que las traducciones son de alta calidad. NLLB-200 supera el estado de la técnica anterior en un promedio del 44 %.
Ahora están utilizando técnicas de modelado y aprendizajes del proyecto para mejorar y ampliar las traducciones en Facebook, Instagram y Wikipedia.
Están abriendo los modelos NLLB-200, FLORES-200, el código de entrenamiento del modelo y el código para recrear el conjunto de datos de entrenamiento, para ayudar a otros investigadores a mejorar sus herramientas de traducción y desarrollar su trabajo.
Los investigadores de Meta AI crearon No Language Left Behind (NLLB), un esfuerzo por desarrollar capacidades de traducción automática de alta calidad para la mayoría de los idiomas del mundo. Hoy anuncian un avance importante en NLLB: han creado un único modelo de IA llamado NLLB-200, que traduce 200 idiomas diferentes con resultados de vanguardia.
Muchos de estos idiomas, como el kamba y el lao, no eran compatibles ni siquiera con las mejores herramientas de traducción existentes en la actualidad. Actualmente, menos de 25 idiomas africanos son compatibles con herramientas de traducción ampliamente utilizadas, muchas de las cuales son de mala calidad. Por el contrario, NLLB-200 admite 55 idiomas africanos con resultados de alta calidad. En total, este modelo único puede proporcionar traducciones de alta calidad para idiomas hablados por miles de millones de personas en todo el mundo. En total, los puntajes BLEU de NLLB-200 mejoran el estado del arte anterior en un promedio del 44 % en todas las direcciones de 10k del punto de referencia FLORES-101. Para algunos idiomas africanos e indios, el aumento es superior al 70 % con respecto a los sistemas de traducción recientes.
Más información: https://ai.facebook.com/blog/nllb-200-high-quality-machine-translation/
1MillionBot y Parlem colaboran en AINA (Generalitat de Cataluña y Centro de Supercomputación de Barcelona)
