El laboratorio de IA de Meta ha creado un modelo de lenguaje nuevo y masivo que comparte tanto las habilidades notables como los defectos dañinos de la red neuronal pionera GPT-3 de OpenAI . Y en un movimiento sin precedentes para Big Tech, lo está regalando a los investigadores, junto con detalles sobre cómo se construyó y entrenó.
Es la primera vez que un modelo de lenguaje grande completamente entrenado estará disponible para cualquier investigador que quiera estudiarlo. La noticia ha sido bien recibida por muchos preocupados por la forma en que pequeños equipos construyen esta poderosa tecnología a puerta cerrada.
Los modelos de lenguaje extenso, poderosos programas que pueden generar párrafos de texto e imitar una conversación humana, se han convertido en una de las tendencias más populares en IA en los últimos años. Pero tienen fallas profundas, repiten como loros la desinformación, los prejuicios y el lenguaje tóxico.
En teoría, poner a más personas a trabajar en el problema debería ayudar. Sin embargo, debido a que los modelos de lenguaje requieren grandes cantidades de datos y poder de cómputo para entrenarse, hasta ahora se han mantenido como proyectos para firmas tecnológicas ricas. La comunidad investigadora en general, incluidos los especialistas en ética y los científicos sociales preocupados por su uso indebido, ha tenido que observar desde el margen.
Meta está poniendo a disposición su modelo, llamado Open Pretrained Transformer (OPT), para uso no comercial. También está lanzando su código y un libro de registro que documenta el proceso de capacitación. El libro de registro contiene actualizaciones diarias de los miembros del equipo sobre los datos de entrenamiento: cómo se agregaron al modelo y cuándo, qué funcionó y qué no. En más de 100 páginas de notas, los investigadores registran cada error, bloqueo y reinicio en un proceso de capacitación de tres meses que se desarrolló sin parar desde octubre de 2021 hasta enero de 2022.
Más información: https://www.technologyreview.com/2022/05/03/1051691/meta-ai-large-language-model-gpt3-ethics-huggingface-transparency
1MillionBot «solution partner» de aQuantum Partner Network (aQNetwork)
1MillionBot «solution partner» de aQuantum Partner Network (aQNetwork)