Un reciente estudio de Stanford realizado por James Zou, profesor asociado de ciencia de datos biomédicos en Stanford y Mirac Suzgun, estudiante de doctorado en Derecho en Stanford, sugiere que los LLM son incapaces de separar con fiabilidad lo que una persona cree de lo que realmente es un hecho.
Los investigadores evaluaron 24 modelos de lenguaje con un benchmark llamado KaBLE (Knowledge and Belief Evaluation), que incluye 13.000 preguntas distribuidas en 13 tareas distintas relacionadas con conocimiento, creencias y hechos. El objetivo era entender si estos modelos pueden reconocer no solo lo que es verdadero sino también cuándo una persona tiene una creencia falsa, lo que según los investigadores expone una debilidad clave en sus capacidades de razonamiento. Según Zou “A medida que pasamos de usar la IA de maneras más interactivas y centradas en el ser humano en áreas como la educación y la medicina, se vuelve muy importante que estos sistemas desarrollen una buena comprensión de las personas con las que interactúan”, dijo Zou.
Para los investigadores a medida que pasamos de ver la IA como una herramienta autónoma a tratarla como un socio colaborativo, se vuelve realmente importante que estos modelos respondan a las complejidades de las personas, pero este objetivo también plantea retos y aunque lo que se persigue es que la IA adapte sus respuestas al usuario para mejorar la colaboración y la personalización, ese mismo intento también introduce riesgos ya que el modelo podría apoyarse en estereotipos o suposiciones incorrectas sobre la persona, lo que derivaría en malentendidos o conclusiones equivocadas sobre sus creencias, conocimientos o necesidades.
Según el estudio los modelos de IA con “razonamiento explícito” o mejorado, siguen mostrando inconsistencias y dificultades para diferenciar creencias de hechos. Esto indica que, incluso con avances en razonamiento profundo, persisten restricciones fundamentales para manejar correctamente el conocimiento y las creencias. En decir que aunque un modelo pueda generar respuestas coherentes o simular razonamiento, no comprende realmente la diferencia entre lo que es un hecho, lo que alguien cree y lo que podría ser falso.
Estas limitaciones o restricciones no siempre son obvias para quienes usamos IA esta ilusión de comprensión, combinada con la tendencia humana a confiar excesivamente en la IA, esto se conoce como automation bias, un fenómeno psicológico y cognitivo que ocurre cuando las personas confían demasiado en sistemas automatizados, como software, algoritmos o inteligencia artificial, y tienden a aceptar sus sugerencias sin cuestionarlas, incluso cuando son incorrectas lo que puede llevar a sobreestimar la capacidad de razonamiento real de los modelos.
Comprender y conocer tanto las capacidades como las limitaciones de las herramientas que IA que utilizamos no solo sirve para evitar errores, sino también para sacarles el máximo partido. Conocer cómo y por qué tendemos a confiar demasiado en sus respuestas nos permite interactuar de manera más inteligente con estas herramientas, de esta forma podemos cuestionarlas cuando sea necesario, aprovechar su capacidad para tareas objetivas y rutinarias, y combinar sus sugerencias con nuestro juicio humano para tomar decisiones más informadas. Entender este sesgo nos ayuda a usar la IA de forma más estratégica, segura y efectiva, en lugar de depender de ella ciegamente.
Puedes ver el estudio completo en este enlace
Si estás pensando en implementar soluciones de IA segura y confiable en tu empresa contáctanos