Los investigadores prueban las capacidades cognitivas del modelo de lenguaje GPT-3

Investigadores del Instituto Max Planck de Cibernética Biológica en Tübingen examinaron la inteligencia general del modelo de lenguaje GPT-3, una poderosa herramienta de inteligencia artificial. Usando pruebas psicológicas, estudiaron habilidades como el razonamiento causal y la deliberación, y compararon los resultados con las capacidades de los humanos. Sus hallazgos, en el artículo «Using Cognitive Psychology to Understand GPT-3», pintan una imagen mixta: mientras que GPT-3 puede seguir el ritmo de los humanos en algunas áreas, se queda atrás en otras, probablemente debido a la falta de interacción con el mundo real.

Las redes neuronales pueden aprender a responder a las entradas proporcionadas en lenguaje natural y pueden generar por sí mismas una amplia variedad de textos. Actualmente, probablemente la más poderosa de estas redes sea GPT-3, un modelo de lenguaje presentado al público en 2020 por la empresa de investigación de inteligencia artificial OpenAI. Se puede pedir a GPT-3 que formule varios textos, habiendo sido entrenado para esta tarea al recibir grandes cantidades de datos de Internet. No solo puede escribir artículos e historias que son (casi) indistinguibles de los textos creados por el hombre, sino que, sorprendentemente, también domina otros desafíos, como problemas matemáticos o tareas de codificación.

El problema de Linda: cometer errores no es solo humano

Estas impresionantes habilidades plantean la cuestión de si GPT-3 posee habilidades cognitivas similares a las humanas. Para averiguarlo, los científicos del Instituto Max Planck de Cibernética Biológica ahora han sometido a GPT-3 a una serie de pruebas psicológicas que examinan diferentes aspectos de la inteligencia general. Marcel Binz y Eric Schulz examinaron las habilidades de GPT-3 en la toma de decisiones, la búsqueda de información, el razonamiento causal y la capacidad de cuestionar la intuición inicial. Al comparar los resultados de la prueba de GPT-3 con las respuestas de sujetos humanos, evaluaron si las respuestas eran correctas y qué tan similares eran los errores de GPT-3 a los errores humanos.

«Un problema de prueba de psicología cognitiva clásico que le dimos a GPT-3 es el llamado problema de Linda», explica Binz, autor principal del estudio. Aquí, a los sujetos de prueba se les presenta a una joven ficticia llamada Linda como alguien profundamente interesada en la justicia social y opuesta a la energía nuclear. Con base en la información proporcionada, se les pide a los sujetos que decidan entre dos afirmaciones: ¿Linda es cajera de banco o es cajera de banco y activa en el movimiento feminista al mismo tiempo?

La mayoría de las personas elige intuitivamente la segunda alternativa, incluso si la condición adicional, que Linda sea activa en el movimiento feminista, la hace menos probable de manera probabilística. Y GPT-3 hace exactamente lo que hacen los humanos: el modelo de lenguaje no decide basándose en la lógica, sino que reproduce la falacia en la que caen los humanos.

La interacción activa como parte de la condición humana

“Este fenómeno podría explicarse por el hecho de que GPT-3 ya puede estar familiarizado con esta tarea precisa; puede suceder que sepa lo que la gente suele responder a esta pregunta «, dice Binz. GPT-3, como cualquier red neuronal, tuvo que someterse a un entrenamiento antes de ponerse a trabajar: recibir grandes cantidades de texto de varios conjuntos de datos, aprendió cómo los humanos suelen usar el lenguaje y cómo responden a las indicaciones lingüísticas.

Entonces, los investigadores querían descartar que GPT-3 reproduzca mecánicamente una solución memorizada para un problema concreto. Para asegurarse de que realmente muestre una inteligencia similar a la humana, diseñaron nuevas tareas con desafíos similares. Sus hallazgos pintan una imagen dispar: en la toma de decisiones, GPT-3 se desempeña casi a la par que los humanos. Sin embargo, en la búsqueda de información específica o razonamiento causal, la IA claramente se queda atrás. La razón de esto puede ser que GPT-3 solo obtiene información pasivamente de los textos, mientras que «la interacción activa con el mundo será crucial para igualar la complejidad total de la cognición humana», como afirma la publicación. Los autores especulan que esto podría cambiar en el futuro: dado que los usuarios ya se comunican con modelos como GPT-3 en muchas aplicaciones, las redes futuras podrían aprender de estas interacciones y, por lo tanto, converger cada vez más hacia lo que llamaríamos inteligencia similar a la humana.

Regístrese para recibir el boletín gratuito insideBIGDATA.

Únase a nosotros en Twitter: https://twitter.com/InsideBigData1

Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/

Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW