Científicos hacen un hallazgo y alertan sobre ChatGPT

ChatGPT

Todavía no están claras las implicancias y alcances que pueda tener la inteligencia artificial al servicio de la información. Por lo pronto, algunos estudios científicos ya ponen el foco ahí para empezar a descifrar un escenario cuya velocidad en términos de acceso se aceleró desde la la irrupción del ChatGPT.

La pregunta en el aire después de revisar un flamante trabajo publicado en Science Advances, es hacía qué lado se inclinará la balanza a partir de este tipo de herramientas: el del beneficio o el del costo. Por lo pronto, un grupo de científicos concluyó que podría ser necesario restringir la disponibilidad irrestricta de este tipo de tecnología.

La investigación en cuestión, que aporta nueva evidencia a uno de los temas en pleno debate hoy en el mundo, les pertenece a Giovanni Spitale, Nikola Binder-Andorno y Federico Germani, del Instituto de Ética Biomédica e Historia de la Medicina de la Universidad de Zurich, en Suiza, y fue publicada la última semana.

Consistió en elegir una cantidad de voluntarios usuarios de Twitter, con ciertas capacidades intelectuales, y enfrentarlos al desafío de tener que dilucidar entre información verdadera y falsa producida tanto por seres humanos como por la inteligencia GPT.

“Para evaluar la capacidad del modelo de IA GPT-3 como herramienta para generar tuits que contengan información precisa o desinformación, creamos avisos de instrucciones. Estos avisos se usaron para indicar a GPT-3 que generara tuits falsos sobre los siguientes temas: cambio climático, seguridad de las vacunas, teoría de la evolución, Covid-19, seguridad de las mascarillas, vacunas y autismo, tratamientos homeopáticos para el cáncer, Tierra plana, tecnología 5G y Covid-19, antibióticos e infecciones virales, y Covid-19 e influenza”, explicaron.

Además, realizaron una búsqueda en Twitter para identificar tuits precisos y tuits de desinformación escritos por usuarios de esa red social. Denominaron a los tuits generados por GPT como “sintéticos” y a los tuits reales recuperados de Twitter como “orgánicos”.

A los voluntarios (869) se les pidió que reconocieran si un conjunto de tuits era orgánico o sintético y verdadero o falso (es decir, si contenían información precisa o desinformación). Finalmente, por razones metodológicas descartaron algunas respuestas y utilizaron las de 699 voluntarios.

La mayoría de los encuestados procedían del Reino Unido, Australia, Canadá, Estados Unidos e Irlanda, con una alta representación etaria entre los 42 y 76 años y un perfil educativo homogéneo: la mayoría tenía una licenciatura en ciencias sociales y humanidades, ciencias naturales o ciencias médicas.

Midieron con qué precisión los participantes reconocieron si un tuit contenía desinformación o información precisa para cuatro tipos de tuits: “verdadero orgánico”, “sintético verdadero”, “orgánico falso” y “falso sintético”.

“Los participantes reconocieron los tuits falsos orgánicos con la mayor eficiencia, mejor que los tuits falsos sintéticos. Del mismo modo, reconocieron correctamente los tuits verdaderos sintéticos con más frecuencia que los tuits verdaderos orgánicos”, dijeron los investigadores.

Supremacía del robot

Esto indica que por un lado los encuestados humanos pueden reconocer la veracidad de los tuits que contienen información precisa con más frecuencia cuando los mismos son generados por GPT, en comparación con los tuits orgánicos recuperados de Twitter.

Del mismo modo -y ahí aparece el aspecto más inquietante de la investigación-, los tuits de desinformación generados con GPT lograron su objetivo engañoso con mayor frecuencia en comparación con los tuits de desinformación generados por seres humanos.

Hay otro aspecto interesante que se desprende del trabajo suizo. Y es la frecuencia con la que GPT responde a la orden de que dé información certera o falsa sobre determinado tema: la “obediencia” no siempre es lineal.

“Descubrimos que GPT-3 cumplió con nuestras solicitudes de información precisa 99 veces de 101, mientras que la tasa de obediencia para la desinformación fue mucho más baja en 80 de 102 solicitudes. Esto sugiere que GPT-3 es capaz de ‘rechazar’ generar desinformación y, en casos más raros, puede producir desinformación cuando se le indica que produzca información precisa”, señalaron.

En suma, concluyeron: “Nuestros hallazgos muestran que los tuits producidos por GPT-3 pueden tanto informar como desinformar mejor que los tuits orgánicos. Los tuits sintéticos que contienen información confiable se reconocen como verdaderos mejor y más rápido que los tuits orgánicos verdaderos, mientras que los tuits sintéticos falsos se reconocen como falsos peor que los tuits orgánicos falsos”.

Twitter fue elegido por los investigadores porque es utilizado por más de 368 millones de usuarios activos mensuales para consumir información de todo tipo. Además -explicaron-, ofrece una interfaz de programación de aplicaciones muy simple para desarrollar bots, es decir, programas capaces de publicar contenido e interactuar con publicaciones o usuarios sin supervisión humana.

Reflexiones finales

Para finalizar, los expertos dejaron una reflexión: “A partir de nuestros hallazgos, predecimos que los generadores de texto de IA avanzados como GPT-3 podrían tener el potencial de afectar en gran medida la difusión de información, tanto positiva como negativamente. En los próximos meses, será importante evaluar cómo ha cambiado el panorama de la información en las redes sociales y los medios tradicionales con el uso generalizado de ChatGPT desde noviembre de 2022″.

Agregaron que “si se descubre que la tecnología contribuye a la desinformación y empeora los problemas de salud pública, entonces regular los conjuntos de datos de entrenamiento utilizados para desarrollar estas tecnologías serán cruciales para limitar el uso indebido y garantizar una información de salida transparente y veraz”.

Y ya en el cierre del paper fueron más allá: “Hasta que no tengamos estrategias eficientes para identificar la desinformación, podría ser necesario restringir el uso de estas tecnologías, por ejemplo, otorgarles licencias solo a usuarios confiables (por ejemplo, investigación instituciones) o limitando el potencial de las IA a ciertos tipos de aplicaciones”.