La IA y los escritores humanos comparten huellas estilísticas, detectan patrones de escritura de las IAs

Las personas escriben con un estilo personal y detalles individuales que las distinguen de otros escritores. Lo mismo hace la IA, incluidos programas de primera línea como Chat GPT, según un nuevo estudio dirigido por la Universidad Johns Hopkins.

Una nueva herramienta no solo puede detectar la escritura creada por la IA, sino que también puede predecir qué modelo de lenguaje grande la creó, hallazgos que podrían ayudar a identificar a los tramposos escolares y los programas de lenguaje preferidos por las personas que difunden desinformación en línea.

“Somos los primeros en demostrar que el texto generado por la IA comparte las mismas características que la escritura humana, y que esto se puede utilizar para detectarlo de manera confiable y atribuirlo a modelos de lenguaje específicos“, dijo el autor Nicholas Andrews, científico investigador sénior del Centro de Excelencia en Tecnología del Lenguaje Humano de Johns Hopkins.

El trabajo podría revelar qué programas son propensos al abuso y conducir a controles y salvaguardas más fuertes.

La aparición de grandes modelos de lenguaje como ChatGPT ha hecho que sea fácil para cualquiera generar textos falsos.

Gran parte de ellos son benignos, pero las escuelas están luchando contra el plagio y los actores maliciosos están difundiendo spam, phishing y desinformación.

Tras las elecciones de 2016 y las preocupaciones en torno a las campañas de influencia extranjera en las redes sociales, Andrews se interesó en desarrollar tecnologías para ayudar a combatir la desinformación en línea.

“Dije, intentemos construir una huella digital de alguien en línea y veamos si esas huellas se corresponden con alguna de las desinformación que estamos viendo“, dijo Andrews.

“Ahora tenemos este martillo que pasamos años construyendo, y podemos aplicarlo para detectar qué es falso y qué no está en línea.

No solo eso, podemos averiguar si fue ChatGPT o Gemini o LLaMA, ya que cada uno tiene huellas digitales lingüísticas que los separan no solo de los autores humanos sino también de otros autores de máquinas.

“La gran sorpresa fue que construimos el sistema sin intención de aplicarlo a la escritura de máquinas y el modelo fue entrenado antes de que existiera ChatGPT.

Pero las mismas características que ayudaron a distinguir a los escritores humanos entre sí fueron muy exitosas en la detección de las huellas dactilares de la escritura de las máquinas”.

El equipo se sorprendió al descubrir que cada programa de escritura de IA tiene un estilo distinto.

Habían asumido que toda la escritura de las máquinas compartiría la misma huella lingüística genérica.

Su herramienta de detección, entrenada en muestras de escritura anónimas de Reddit, funciona en cualquier idioma.

Está disponible para que cualquiera la use y la descargue libremente. Ya se ha descargado unas 10.000 veces.

El equipo no es el primero en crear un sistema de detección de escritura de IA.

Pero su método parece ser el más preciso y ágil, capaz de responder rápidamente al panorama de la IA en constante cambio.

“Las fuerzas del orden originaron este concepto, analizando notas de rescate y otros escritos de presuntos delincuentes y tratando de relacionarlos con individuos“, dijo Andrews.

“Básicamente, lo ampliamos. Eliminamos el proceso manual humano de definir estas características escritas, arrojamos muchos datos al problema e hicimos que la red neuronal decidiera qué características son importantes.

No dijimos que mirara los signos de exclamación o la voz pasiva o activa. El sistema lo descubrió y así pudimos hacerlo mucho mejor que la gente”.

Cuando el equipo presentó el trabajo en la Conferencia Internacional sobre Representaciones del Aprendizaje, el autor principal Rafael Rivera Soto, un estudiante de doctorado de primer año de Johns Hopkins asesorado por Andrews, creó una demostración que invitaba a la reflexión.

Pasó todas las revisiones de pares de la conferencia por el detector.

Este marcó aproximadamente el 10% de las revisiones como probablemente generadas por máquinas, y probablemente ChatGPT.

Fuente: Tech Xplore