Un nuevo estudio descubrió que un detector de IA desarrollado por la Universidad de Kansas puede detectar contenidos generados por IA en trabajos académicos con una tasa de precisión del 99%, uno de los únicos detectores del mercado orientados específicamente a la escritura académica.
Según un informe publicado el miércoles en la revista Cell Reports Physical Science, los investigadores crearon una herramienta que puede demostrar la detección de IA en artículos académicos con un 99% de precisión.
El equipo de investigadores seleccionó 64 perspectivas (un tipo de artículo) y las utilizó para hacer 128 artículos utilizando ChatGPT, que luego se utilizó para entrenar al detector de IA.
El modelo tuvo una tasa de precisión del 100% a la hora de identificar los artículos creados por humanos de los generados por IA, y del 92% a la hora de identificar párrafos específicos dentro del texto.
Según una encuesta de Study.com, el 89% de los estudiantes universitarios ha admitido utilizar ChatGPT para ayudarse con las tareas, mientras que el 34% de los educadores cree que el software debería prohibirse, aunque el 66% apoya que los estudiantes tengan acceso.
"En estos momentos, existen algunos problemas bastante evidentes con la escritura mediante IA", afirmó la autora principal, Heather Desaire, en un comunicado. "Uno de los mayores problemas es que ensambla texto de muchas fuentes y no hay ningún tipo de comprobación de exactitud: es algo así como el juego Dos verdades y una mentira".
Mira también
Contra
Mira también
Los detectores de IA no han demostrado ser precisos al 100%. Una estudiante de la Universidad de California en Davis alega que su universidad la acusó falsamente de hacer trampas con la IA. Tras subir un trabajo para una de sus clases, recibió un correo electrónico de su profesor en el que afirmaba que una parte estaba marcada en el programa Turnitin como generada por IA. Su caso fue remitido inmediatamente a la Oficina de Apoyo al Estudiante y Asuntos Judiciales, que se ocupa de la disciplina por mala conducta académica.
La estudiante defendió su caso y finalmente ganó, utilizando marcas de tiempo para demostrar que ella escribió el trabajo. Esta no fue la única vez que los educadores etiquetaron falsamente las tareas como generadas por IA. Un profesor de comercio de Texas A&M intentó suspender a más de la mitad de su clase de último curso después de utilizar ChatGPT para comprobar si los estudiantes habían utilizado el chatbot para escribir sus trabajos. Copió y pegó los trabajos en ChatGPT y le preguntó si los había escrito él, a lo que respondió que sí. Esto provocó que la universidad les retuviera los diplomas, aunque el profesor les ofreció la oportunidad de rehacer la tarea. Sin embargo, la universidad confirmó a Insider que ningún estudiante fue suspendido ni se le impidió graduarse.
Antecedentes clave
El chatbot de OpenAI, ChatGPT, se estrenó al público en noviembre de 2022 y en menos de una semana superó la marca del millón de usuarios, con personas que lo utilizan para cosas como crear código y escribir ensayos. La inteligencia de la IA llevó a varias escuelas a prohibir indefinida o temporalmente el software, entre ellas las Escuelas Públicas de Nueva York, las Escuelas Públicas de Seattle y el Distrito Escolar Unificado de Los Ángeles.
TurnitIn
Lanzó una herramienta de detección de IA para documentos. Antes, sólo tenía la capacidad de comprobar si había plagio. La función se ha añadido a su informe de similitud y muestra un porcentaje global de la cantidad de trabajo que el software de IA generó dentro del trabajo.
La empresa afirma que su herramienta de detección de IA tiene una precisión del 98% a la hora de detectar trabajos escritos con IA. Su modelo de detección está entrenado para detectar contenidos de los modelos lingüísticos GPT-3 y GPT-3.5, incluido ChatGPT. Sin embargo, afirma que como las características de escritura de GPT-4 son similares a las de los modelos anteriores, puede detectar contenidos de esta versión "la mayoría de las veces".
Copyleaks
Afirma tener una tasa de precisión en la detección de IA del 99%. Su software puede detectar texto generado por IA en varios modelos, incluidos GPT-4 y versiones anteriores, y contenido creado con Jasper AI. También afirma que puede detectar contenidos de IA en varios idiomas, como español, ruso, francés, holandés y alemán.
Winston AI
Se lanzó en febrero y afirma que realiza esta tarea con una precisión del 99%. Sólo admite la detección en inglés y francés, aunque la empresa pretende ampliarla pronto al español y al alemán. Puede detectar contenidos hechos con ChatGPT, Bard, Bing Chat, GPT-4 y otras herramientas de generación de texto.
El clasificador de OpenAI
Se lanzó en enero para distinguir entre texto escrito con IA y texto escrito por humanos. Aunque son los mismos creadores que están detrás de ChatGPT, la herramienta no es muy precisa. Tiene una tasa de acierto de alrededor del 26% y etiqueta incorrectamente el trabajo humano como trabajo de IA el 9% de las veces. Sin embargo, OpenAI afirma que la precisión aumenta también a medida que aumenta la longitud del texto. Es "muy poco fiable" en textos con 1.000 caracteres o menos, y OpenAI sólo recomienda utilizar el software en documentos escritos en inglés.
La empresa también advierte contra el uso del clasificador como herramienta principal de toma de decisiones y sugiere utilizarlo como complemento de otros métodos de detección.
AI Writing Check
Fue desarrollado por Quill y CommonLit para ayudar a los profesores a comprobar si hay trabajos creados con IA en las tareas. Sus desarrolladores predicen que su precisión se sitúa entre el 80% y el 90%. Sólo permite detectar textos de hasta 400 palabras cada vez y, para cualquier cosa más larga, los usuarios deben dividirlo en secciones. El software de detección fue creado por OpenAI y es capaz de identificar patrones sintácticos lingüísticos dentro del texto que no son del todo humanos.
