En los últimos días, X (antes Twitter) ha sido tendencia debido a su inteligencia artificial Grok. La plataforma, propiedad de Elon Musk, ha permitido la difusión de imágenes falsas de carácter sexual generadas por este chatbot. La herramienta posibilitaba a los usuarios tomar imágenes reales y modificarlas para darles una connotación sexual, una práctica conocida como pornografía deepfake.

¿Qué es la pornografía deepfake?

Los deepfakes son contenidos pornográficos manipulados mediante inteligencia artificial, específicamente con tecnología de intercambio o recreación de rostros, que permite reemplazar la cara de una persona por la de otra. De esta manera, el protagonista del material parece ser alguien que en realidad no participó en él.

Le puede interesar:

Pornografía deepfake: qué es y por qué Grok, la IA de Elon Musk, está en el centro del debate

Aunque esta práctica es más común en videos pornográficos, también puede realizarse a partir de una sola imagen. Basta con contar con una fotografía del rostro de la persona que se desea sexualizar para crear un montaje en el que aparente estar desnuda o participando en actividades íntimas, sin su consentimiento.

Si bien existen programas creados específicamente para este tipo de prácticas, inteligencias artificiales como Grok están permitiendo que cualquier persona genere este tipo de imágenes falsas mediante un simple comando, lo que ha encendido las alertas sobre el uso indebido de estas tecnologías y la falta de controles efectivos.

Las medidas de X para limitar el uso de Grok

Después de que la Fiscalía de California iniciara una investigación contra xAI, la empresa de inteligencia artificial de Elon Musk, por “facilitar la producción a gran escala de montajes íntimos no consentidos (deepfakes), utilizados para acosar a mujeres y niñas en internet, principalmente a través de la red social X”, según indicó el fiscal general del estado, Rob Bonta. La plataforma X anunció nuevas medidas para impedir que su chatbot de inteligencia artificial, Grok, transforme fotos de personas reales en imágenes de carácter sexual.

Mensaje difundido en X por Grok en el que se refiere a un incidente por la generación de imágenes inapropiadas y a una revisión interna. Foto: Captura de pantalla.

X señaló que “bloqueará geográficamente la capacidad” de los usuarios de Grok y de la plataforma para crear imágenes de personas en “bikinis, ropa interior y atuendos similares” en aquellas jurisdicciones donde este tipo de contenidos sea considerado ilegal.

“Ya hemos implementado medidas tecnológicas para impedir que la cuenta de Grok permita la edición de imágenes de personas reales con ropa reveladora, como bikinis”, indicó el equipo de seguridad de X en un comunicado.

“Esta restricción se aplica a todos los usuarios, incluidos los suscriptores de pago”, añadió la compañía.

Además, como “una capa adicional de protección”, X explicó que la creación de imágenes y la edición de fotografías a través de la cuenta de Grok quedaron limitadas exclusivamente a usuarios con suscripción de pago, según señaló en el comunicado.

Un análisis realizado la semana pasada por la ONG AI Forensics sobre más de 20.000 imágenes generadas por Grok reveló que más de la mitad mostraban a personas con poca ropa. De ese total, el 81 % correspondía a mujeres y el 2 % parecía representar a menores de edad.

{{RELATED_1}}

Implicaciones legales del deepfake en Colombia

Jorge Andrade, abogado de la Corporación Universitaria Autónoma del Cauca, explica que en Colombia la creación y difusión de deepfakes puede vulnerar derechos fundamentales como la honra, la intimidad y el buen nombre de las personas. En especial, cuando se trata de imágenes manipuladas con contenido sexual, se configura una posible violación al derecho a la intimidad, al exponer a las víctimas a escenarios que nunca autorizaron ni protagonizaron.

En ese contexto, y en relación con el caso de Grok, las medidas adoptadas por X para bloquear la edición de imágenes de personas reales con ropa reveladora pueden entenderse como una respuesta preventiva frente a este tipo de vulneraciones, buscando limitar el uso de la inteligencia artificial para prácticas que afectan derechos fundamentales y que, en determinadas jurisdicciones, podrían derivar en responsabilidades legales.