La mayoría de las jurisdicciones de Estados Unidos exigen un examen para obtener la licencia profesional,
comúnmente conocido como “The Multistate Bar Exam” (MBE), como condición previa para ejercer la abogacía. Para superar este examen, generalmente se exige que el solicitante complete al menos siete años de educación postsecundaria, incluidos tres años en una facultad de Derecho. Además, muchos de los examinandos se someten a semanas o meses de preparación específica para preparar este examen diseñado para evaluar el conocimiento legal y la comprensión de lectura ya que requieren un dominio semántico y sintético del idioma inglés superior a la media.
A pesar de realizar este gran esfuerzo, aproximadamente uno de cada cinco examinandos sigue obteniendo una puntuación inferior a la necesaria para aprobar el examen en su primer intento. Ante una tarea tan compleja y que requiere un conocimiento tan profundo, los investigadores Mike Bommarito y Dan Katz se preguntan: ¿podría la IA de GPT aprobar este complicado examen de opción múltiple de alrededor de 200 preguntas?
En la investigación realizada, se documenta la evaluación experimental del rendimiento del modelo text-davinci-003 de OpenAI, conocido como GPT-3.5, en la sección de elección múltiple (MBE) del examen.
La tabla y el gráfico adjuntos en la investigación muestran claramente que GPT aún no ha aprobado el examen general de opción múltiple. Sin embargo, GPT supera significativamente la tasa de probabilidad aleatoria de referencia del 25%. Además, GPT ha alcanzado la tasa de aprobación promedio en al menos dos categorías, Pruebas Judiciales y Responsabilidad Civil.
Además, GPT logró la tasa de aprobación promedio en al menos dos categorías, Evidencia y Crimen. En promedio, en todas las categorías, GPT tiene una tasa de aprobación un 17 % más baja que los solicitantes humanos.
Aunque la capacidad para interpretar estos resultados se ve limitada por la incipiente comprensión científica de los Grandes Modelos de Lenguaje (LLM) y la naturaleza de GPT, los investigadores concluyen que estos resultados sugieren claramente que un LLM aprobará el componente MBE del examen de acceso a la abogacía en un futuro próximo.