Herramienta detecta artículos escritos por ChatGPT con una tasa de precisión superior al 99%

A medida que el contenido de los chatbots de IA comienza a inundar el mundo, una de las mayores preocupaciones es detectar de manera confiable la diferencia entre las palabras de los robots y las de los seres humanos reales.

Ha habido algunos intentos de construir detectores ChatGPT, y docenas de empresas compiten para construir tecnología de detección de IA.

Pero hasta ahora, ninguna de las opciones funciona bien, ni siquiera una creada por OpenAI, la empresa que creó ChatGPT.

Las herramientas existentes son tan ineficaces que son esencialmente inútiles.

El observador ChatGPT creado por la Universidad de Kansas solo está diseñado para funcionar en contextos específicos, pero su éxito informado parece prometedor.

En el proceso de construcción, los investigadores dicen que han identificado signos reveladores de escritura de IA.

Describe una técnica que detecta artículos de investigación académica escritos por IA.

El estudio seleccionó un conjunto de 64 artículos de investigadores científicos escritos por autores humanos en una variedad de disciplinas, desde biología hasta física.

Alimentaron esos datos a ChatGPT y los usaron para producir un conjunto de datos de 128 artículos de IA con un total de 1,276 párrafos de tonterías de chatbot.

Los científicos usan esos párrafos falsos para construir su algoritmo de detección ChatGPT.

Luego, reunieron un nuevo conjunto de datos para probar su algoritmo con 30 artículos reales y 60 artículos escritos por ChatGPT, lo que suma 1210 párrafos en total.

Los investigadores afirman que su algoritmo detectó artículos completos escritos por ChatGPT el 100 % de las veces.

Fue menos preciso pero aún impresionante a nivel de párrafo: el algoritmo detectó el 92% de los párrafos de IA.

Los investigadores esperan que otros utilicen su trabajo para adaptar el software de detección a sus propios nichos y propósitos.

“Nos esforzamos por crear un método accesible para que, con poca orientación, incluso los estudiantes de secundaria pudieran construir un detector de inteligencia artificial para diferentes tipos de escritura”, dijo Heather Desaire, autora del artículo y profesora de química en la Universidad de Kansas.

“Existe la necesidad de abordar la escritura de IA, y las personas no necesitan un título en informática para contribuir a este campo”.

El documento dice que hay algunos signos reveladores del trabajo de ChatGPT.

Por un lado, los escritores humanos escriben párrafos más largos, usan un vocabulario más amplio, incluyen más signos de puntuación y tienden a calificar sus declaraciones con palabras como “sin embargo“, “pero” y “aunque”.

ChatGPT también es menos específico con citas como figuras y menciones de otros científicos.

El modelo construido por Desaire y co. no funcionará de inmediato para los maestros que esperan penalizar a los estudiantes de secundaria que hacen trampa.

El algoritmo se creó para la escritura académica, específicamente el tipo de escritura académica que lee en las revistas científicas.

Es una pena para los instructores y administradores que, en general, pasaron los últimos seis meses enloquecidos por el plagio facilitado por ChatGPT.

Sin embargo, Desaire dijo que en teoría se puede usar la misma técnica para construir un modelo que detecte otros tipos de escritura.

Las cosas se desmoronan cuando consideras el hecho de que un escritor podría hacer fácilmente algunos pequeños ajustes a una parte de la escritura de un chatbot y hacer que sea mucho más difícil de detectar.

Aún así, los investigadores describieron este trabajo como una “prueba de concepto” y dicen que podrían desarrollar una herramienta más robusta y quizás más precisa con un conjunto de datos más grande.

A pesar de lo prometedores que pueden ser estos resultados, las empresas de tecnología y los impulsores de IA dicen que herramientas como ChatGPT están en pañales.

Es imposible decir si los métodos de detección como este resistirán si la IA continúa desarrollándose al ritmo vertiginoso que hemos visto en los últimos años.

Fuente: Gizmodo