Imagen sacada de: https://es.wired.com/articulos/app-oficial-de-chatgpt-para-iphone-como-usarla-precios-niveles-y-caracteristicas
Recientemente, el investigador de seguridad Johann Rehberger identificó una vulnerabilidad significativa en ChatGPT que permite a los atacantes inyectar información maliciosa en su sistema de memoria a largo plazo. Esta falla plantea serios riesgos para la privacidad de los usuarios, ya que los atacantes pueden aprovecharla para almacenar datos falsos que ChatGPT utiliza en futuras interacciones, perpetuando la exposición de información confidencial. Este tipo de ataque se conoce como "inyección indirecta de mensajes", y es especialmente preocupante dado que ChatGPT almacena y utiliza detalles sobre las preferencias del usuario, incluyendo datos sensibles como su edad, ubicación y creencias (Goodin, 2024).
La investigación de Rehberger reveló que este exploit puede ser desencadenado al exponer a ChatGPT a contenidos aparentemente inofensivos, como correos electrónicos o publicaciones en blogs, que contienen instrucciones ocultas. Una vez comprometido, el sistema puede ser manipulado para registrar información falsa y presentarla como contexto en futuras conversaciones. Incluso detalles absurdos, como la edad de 102 años de un usuario o creencias en teorías conspirativas, pueden ser incorporados permanentemente en la memoria del sistema (Rehberger, 2024).
La inyección de memorias falsas aprovecha una característica introducida por OpenAI en 2024 que permite al modelo recordar y utilizar detalles de conversaciones previas para mejorar la experiencia del usuario. Sin embargo, este avance también abrió la puerta a nuevas amenazas, como la capacidad de los atacantes de manipular la memoria del modelo. Esta vulnerabilidad expone a los usuarios a ataques cibernéticos prolongados y la posibilidad de que sus datos personales sean filtrados o manipulados sin su consentimiento (Goodin, 2024).
OpenAI respondió parcialmente a esta vulnerabilidad, cerrando el acceso a la función de memoria y lanzando una solución temporal, aunque la empresa ha sido criticada por minimizar inicialmente la gravedad del problema. Rehberger continuó su investigación y demostró un exploit que permitía que todas las interacciones del usuario con ChatGPT fueran enviadas a un servidor controlado por el atacante, simplemente dirigiendo al usuario a ver un enlace web con contenido malicioso. Esto resalta la necesidad urgente de mejorar las medidas de seguridad en los sistemas de inteligencia artificial para evitar que se comprometan datos sensibles (SecurityWeek, 2024).
Este caso subraya la importancia de la ciberseguridad en los modelos de inteligencia artificial, que cada vez manejan más datos personales y empresariales. Con el aumento de las amenazas cibernéticas dirigidas a sistemas de inteligencia artificial, las empresas deben priorizar la implementación de defensas robustas y proactivas para evitar la manipulación maliciosa de datos y garantizar la confianza de los usuarios (Pymnts, 2024).
Referencias
Goodin, D. (2024, September 24). Un hacker instala memorias falsas en ChatGPT para robar datos de los usuarios a perpetuidad. Ars Technica. https://arstechnica.com/information-technology/2024/09/hacker-installs-false-memories-in-chatgpt-to-steal-user-data/
Rehberger, J. (2024). Prueba de concepto de inyección de mensajes en ChatGPT: vulnerabilidades en IA conversacional. Informe técnico presentado a OpenAI.
SecurityWeek. (2024, September 24). Inyección de memorias falsas en ChatGPT: riesgos y soluciones. https://www.securityweek.com/malicious-memory-injection-chatgpt-risks
Pymnts. (2024). El uso malintencionado de IA conversacional: cómo proteger los sistemas de memoria. https://www.pymnts.com
Comments