¿Cómo sé si esta nota la escribió una IA? Los detectores fallan; la firma dice más

La respuesta corta, explicada

El 61.22% de un grupo de ensayos escritos por personas fue marcado como texto de IA. Los revisaron siete detectores de texto generado. Son programas que calculan si un texto salió de una máquina. La medición la hizo un equipo de la Universidad de Stanford en 2023. Eran 91 ensayos reales del examen TOEFL, de personas cuyo idioma nativo no es el inglés.

Ese error tiene nombre: falso positivo, marcar como artificial un texto humano. Con esos mismos detectores, la cifra cambió por completo en otro grupo. En ensayos de estudiantes estadounidenses de octavo grado, el falso positivo fue 5.19%. Esos estudiantes escriben en su lengua materna. En 18 de esos 91 ensayos coincidieron los siete detectores. Los siete los dieron por escritos con IA.

No es la falla de un producto suelto. Un artículo del International Journal for Educational Integrity probó catorce herramientas en diciembre de 2023. Su conclusión fue que ninguna resulta exacta ni confiable. Entre las probadas estaban Turnitin y PlagiarismCheck, dos sistemas que se usan en universidades.

Depende de esto

Depende de cómo escribe la persona, no de si usó IA. El mismo equipo de Stanford (2023) pidió a ChatGPT enriquecer el vocabulario de esos ensayos. Los falsos positivos bajaron de 61.22% a 11.77%. Al simplificar el vocabulario de los ensayos nativos, subieron de 5.19% a 56.65%. Lo que estos programas calculan es riqueza de vocabulario, no autoría.

Funciona como el plumón que revisa billetes en la caja de la tienda. Al billete legítimo, arrugado de tanto circular, lo marca como falso. Al falso recién impreso lo deja pasar.

Depende también de quién quiera esconder el uso de IA. El artículo del International Journal for Educational Integrity (2023) documentó otro hueco. Parafrasear o traducir el texto de IA empeora el rendimiento de las herramientas. Y esas herramientas tienden a clasificar como humano lo que leen.

Nadie sabe todavía cuánto fallan en español. Los dos estudios trabajaron con textos en inglés. Tampoco hay medición con hablantes de lenguas originarias que escriben en español.

Qué puedes revisar y qué puedes exigir

Revisa la nota antes de creerle a un porcentaje. Busca la firma y la fecha de publicación. Abre las fuentes que cita y comprueba que existan. Compara el texto con otras notas firmadas por esa misma persona. Es el método que recomienda Vanderbilt (2023) en lugar del detector. Escribe a la redacción y pregunta quién firmó la pieza.

Exige además que ningún porcentaje sirva como prueba contra una persona. La Universidad Vanderbilt apagó el detector de Turnitin en agosto de 2023, en todos sus cursos. Sostuvo que ese software no es una herramienta eficaz. Turnitin declaraba 1% de falsos positivos. Esa universidad envió 75 000 trabajos en 2022. Ese 1% serían unos 750 estudiantes señalados por error. El equipo de Stanford (2023) pide no usar estos detectores para evaluar trabajos. Pídelo en tu escuela y en tu medio.

Fuentes

1. Liang, W. et al., GPT detectors are biased against non-native English writers, Universidad de Stanford / arXiv, abril de 2023. Preprint; versión revisada por pares en Patterns, julio de 2023.
2. Weber-Wulff, D. et al., Testing of detection tools for AI-generated text, International Journal for Educational Integrity, diciembre de 2023. Revisado por pares; licencia CC BY 4.0.
3. Vanderbilt University, Guidance on AI Detection and Why We’re Disabling Turnitin’s AI Detector, agosto de 2023. Comunicado institucional.