Con el propósito de abordar y prevenir riesgos potencialmente “catastróficos” asociados con la inteligencia artificial, OpenAI ha revelado la formación de un nuevo equipo llamado “Preparedness” (Preparación). Este anuncio, afirma la empresa, está en línea con la misión de OpenAI de construir una IA segura y beneficiosa para la humanidad.
La presentación de Preparedness no ha sido fruto de la casualidad. En julio pasado, OpenAI se unió a otros destacados laboratorios de IA en la adopción de una serie de compromisos destinados a promover la seguridad, la seguridad y la confianza en la IA. Estos compromisos abarcaron diversas áreas de riesgo, incluyendo aquellos riesgos “de vanguardia” que fueron el foco central de la una importante cumbre sobre seguridad de la IA organizada por el Gobierno del Reino Unido. OpenAI compartió allí sus progresos en la materia, incluyendo trabajos realizados dentro del ámbito de sus “compromisos voluntarios”.
En el comunicado emitido ayer, la empresa reconoce la necesidad de abordar preguntas fundamentales, como:
- ¿Qué peligros conllevan los sistemas de IA cuando se utilizan de manera indebida, tanto en la actualidad como en el futuro?
- ¿Cómo se puede establecer un marco sólido para monitorear, evaluar, prever y protegerse contra las capacidades peligrosas de los sistemas de IA de vanguardia?
- Si los pesos de nuestros modelos de IA de vanguardia fueran robados, ¿cómo podrían los actores maliciosos decidir utilizarlos?
Con el objetivo de minimizar estos riesgos a medida que sus potentes modelos de IA evolucionen, OpenAI está, bajo la dirección de Aleksander Madry (director del Centro de Machine Learning del MIT y coordinador del nuevo grupo de trabajo de OpenAI), formando el equipo de Preparedness. Este equipo estará involucrado en la evaluación de capacidades y en las pruebas internas de los modelos de “alta capacidad” de OpenAI.
Sam Altman, CEO de OpenAI, enfatizó la importancia de esta iniciativa al afirmar:
“Estamos comprometidos en garantizar que la IA avance de manera segura y beneficiosa. Con la creación del equipo de Preparedness y la convocatoria a la comunidad para el Desafío de Preparación de IA, demostramos nuestro compromiso con la seguridad y la preparación en un campo en constante evolución. Queremos colaborar con la comunidad y trabajar juntos para abordar los riesgos y desafíos que la IA puede presentar en el futuro”.
El “desafío” (challenge, en inglés) al que se refiere Altman es una iniciativa de OpenAI para la prevención de “usos catastróficos” de la IA, en el que invita a la comunidad a presentar ideas para estudios de riesgo relacionados con la materia. Los diez mejores participantes tendrán la oportunidad de ganar hasta 25.000 dólares en créditos de API y la posibilidad de unirse al equipo de Preparedness.