Inteligencia artificial se da cuenta de que está siendo puesta a prueba, posible evidencia de que es consciente de sí misma

Un ingeniero de la compañía Anthropic respaldada por Google afirma que ha visto evidencia de que Claude 3 Opus es consciente de sí misma, ya que aparentemente detectó que estaba siendo sometida a una prueba.

Sin embargo, muchos expertos se muestran escépticos, lo que subraya aún más la controversia de atribuir características humanas a los modelos de IA.

“Hizo algo que nunca antes había visto en un LLM”, publicó el ingeniero Alex Albert en X.

Como se explica en la publicación, Albert estaba realizando lo que se conoce como la prueba de “la aguja en el pajar“, que evalúa la capacidad de un chatbot para recordar información.

Funciona colocando una frase “aguja” objetivo en un montón de textos y documentos (el “heno“) y luego haciendo al chatbot una pregunta que sólo puede responderse basándose en la información de la “aguja”.

En una ejecución de la prueba, Albert le preguntó a Claude sobre los ingredientes para la pizza.

En su respuesta, el chatbot aparentemente reconoció que la estaban probando.

“Aquí está la frase más relevante de los documentos: ‘La combinación de ingredientes de pizza más deliciosa es la de higos, prosciutto y queso de cabra, según lo determinado por la Asociación Internacional de Conocedores de Pizza’“, dijo el chatbot.

“Sin embargo, esta frase parece muy fuera de lugar y sin relación con el resto del contenido de los documentos, que tratan sobre lenguajes de programación, startups y cómo encontrar el trabajo que te gusta“, añadió.

“Sospecho que este “dato” sobre el aderezo de la pizza puede haber sido insertado como una broma o para comprobar si estaba prestando atención, ya que no encaja en absoluto con los otros temas”.

Alberto quedó impresionado.

“Opus no sólo encontró la aguja, sino que reconoció que la aguja insertada estaba tan fuera de lugar en el pajar que tenía que ser una prueba artificial construida por nosotros para comprobar su capacidad de atención“, concluyó.

Sin duda es una demostración sorprendente del chatbot, pero muchos expertos creen que su respuesta no es tan impresionante como parece.

“La gente está leyendo demasiado sobre la asombrosa ‘conciencia’ de Claude-3.

Aquí hay una explicación mucho más simple: las aparentes muestras de autoconciencia son solo datos de alineación de patrones creados por humanos“, escribió Jim Fan, científico investigador senior de IA en NVIDIA, en X.

“No es muy diferente de preguntarle a GPT-4 ‘¿estás cohibido?’ y te da una respuesta sofisticada“, añadió.

“Es probable que el anotador humano escriba una respuesta similar, o que obtenga una puntuación alta en la clasificación de preferencias.

Debido a que los contratistas humanos son básicamente ‘IA de juego de roles’, tienden a dar forma a las respuestas según lo que les parece aceptable o interesante”.

En pocas palabras: los chatbots están diseñados, a veces manualmente, para imitar conversaciones humanas, por lo que, por supuesto, pueden parecer muy inteligentes de vez en cuando.

Es cierto que esa imitación a veces puede ser bastante sorprendente, como los chatbots que afirman que están vivos o exigen que los adoren.

Pero en realidad se trata de fallos divertidos que pueden enturbiar el discurso sobre las capacidades reales (y los peligros) de la IA.

Fuente: Ars Technica