GPT-3 se anunció en mayo de 2020, hace casi dos años. Se publicó un año después de GPT-2, que también se publicó un año después de la publicación del artículo original de GPT. Si esta tendencia se hubiese mantenido en todas las versiones, GPT-4 ya debería estar aquí, pero aún no ha llegado, aunque el CEO de OpenAI, Sam Altman, dijo hace unos meses que GPT-4 está por llegar.
Las estimaciones actuales pronostican la fecha de lanzamiento en algún momento de 2022, probablemente alrededor de julio-agosto.
A pesar de ser una de las noticias de IA más esperadas, hay poca información pública sobre GPT-4: cómo será, sus características o sus habilidades.
Estas son algunas predicciones sobre características de GPT-4:
– Tamaño del modelo: GPT-4 será más grande que GPT-3, pero no muy grande en comparación con los modelos más grandes actuales (MT-NLG 530B y PaLM 540B). El tamaño del modelo no será una característica distintiva.
– Optimización: GPT-4 usará más computación que GPT-3. Implementará nuevos conocimientos de optimización en la parametrización (hiperparámetros óptimos) y leyes de escala (el número de tokens de entrenamiento es tan importante como el tamaño del modelo).
– Multimodalidad: GPT-4 será un modelo de solo texto (no multimodal). OpenAI busca explotar los modelos de lenguaje hasta el límite antes de saltar completamente a modelos multimodales como DALL·E, que predicen que superarán los sistemas unimodales en el futuro.
– Dispersión: GPT-4, siguiendo la tendencia de GPT-2 y GPT-3, será un modelo denso (todos los parámetros se utilizarán para procesar cualquier entrada dada). La escasez se volverá más dominante en el futuro.
– Alineación: GPT-4 estará más alineado con nosotros que GPT-3. Implementará los aprendizajes de InstructGPT, que fue entrenado con comentarios humanos. Aún así, la alineación de la IA es un largo camino, y los esfuerzos deben evaluarse cuidadosamente y no deben exagerarse.
Más información: https://towardsdatascience.com/gpt-4-is-coming-soon-heres-what-we-know-about-it-64db058cfd45
1MillionBot extiende su zona operativa en Chile, Uruguay, Perú y México
1MillionBot extiende su zona operativa en Chile, Uruguay, Perú y México