AlphaCode, desarrollada por DeepMind, propiedad de Google, que escribe programas de computadora a un nivel competitivo logró una clasificación estimada dentro del 54 % superior de los participantes en competencias de programación al resolver nuevos problemas que requieren una combinación de pensamiento crítico, lógica, algoritmos, codificación y comprensión del lenguaje natural. Que aún suelen considerarse solventables solo por humanos.
AlphaCode está optimizado para enfrentarse a tareas de “programación competitiva”, la realizada en concursos como los de Codeforces
Han validado su desempeño utilizando competencias organizadas en Codeforces, una plataforma popular que organiza competencias regulares que atraen a decenas de miles de participantes de todo el mundo que vienen a probar sus habilidades de codificación. Seleccionaron para evaluación 10 concursos recientes, cada uno más nuevo que sus datos de entrenamiento. AlphaCode se colocó aproximadamente al nivel del competidor medio, lo que marca la primera vez que un sistema de generación de código de IA alcanza un nivel competitivo de rendimiento en competencias de programación.
AlphaCode, que utiliza modelos de lenguaje basados en transformers para generar código a una escala sin precedentes, luego filtra inteligentemente a un pequeño conjunto de programas prometedores.
Para ayudar a otros a desarrollar nuestros resultados, publican su conjunto de datos de problemas y soluciones de programación competitivos en GitHub, incluidas pruebas exhaustivas para garantizar que los programas que pasan estas pruebas sean correctos, una característica crítica de la que carecen los conjuntos de datos actuales.
Las habilidades de resolución de problemas requeridas para sobresalir en este tipo de competencias están más allá de las capacidades de los sistemas de IA existentes. Sin embargo, al combinar los avances en los modelos de transformadores a gran escala (que recientemente han mostrado capacidades prometedoras para generar código) con muestreo y filtrado a gran escala, han logrado avances significativos en la cantidad de problemas que pueden resolver.
Más información: https://deepmind.com/blog/article/Competitive-programming-with-AlphaCode
40 nuevos hitos de 1MillionBot en 2021
