Un equipo de investigadores de las universidades de Stanford y Washington ha logrado entrenar un modelo de inteligencia artificial, denominado s1, en tan solo 26 minutos y con un coste inferior a 50 d贸lares.
Este modelo compite directamente con los desarrollos de OpenAI. Utilizando un conjunto de datos de apenas 1.000 preguntas y t茅cnicas de destilaci贸n, refinaron el modelo bas谩ndose en respuestas del modelo Gemini 2.0 de Google. Sin embargo, este m茅todo contraviene los t茅rminos de servicio de Google.
El modelo s1 se basa en Qwen2.5, un modelo de c贸digo abierto de Alibaba Cloud. Inicialmente, los investigadores emplearon un conjunto de 59.000 preguntas, pero descubrieron que reducirlo a 1.000 no afectaba significativamente el rendimiento. El entrenamiento se realiz贸 utilizando 16 GPUs Nvidia H100 y aplicando t茅cnicas de escalado en tiempo de prueba para mejorar la precisi贸n del razonamiento. Sorprendentemente, s1 super贸 al modelo o1 de OpenAI en preguntas matem谩ticas de competencia hasta en un 27%.
Este avance pone en tela de juicio las pr谩cticas tradicionales de la industria, que suelen requerir inversiones multimillonarias y vastos recursos computacionales. Demuestra que es posible entrenar modelos de IA efectivos de manera m谩s econ贸mica y eficiente, desafiando el statu quo establecido por gigantes tecnol贸gicos como OpenAI, Microsoft, Meta y Google.