Los riesgos de que los chicos usen Grok, la IA de X: denuncias por imágenes sexualizadas y daños a la intimidad

La irrupción acelerada de la inteligencia artificial generativa abrió un debate urgente sobre los límites de la innovación tecnológica y la responsabilidad de las compañías que la desarrollan. En ese escenario, X, la red social antes conocida como Twitter y controlada por Elon Musk, enfrenta cuestionamientos crecientes por la integración de Grok, la herramienta de IA de xAI, y por la falta de controles eficaces para evitar usos abusivos.

El caso excede el plano tecnológico. El despliegue de sistemas capaces de producir daño social masivo obliga a revisar qué controles deben exigirse a las plataformas digitales. La discusión se vuelve todavía más sensible cuando las principales víctimas potenciales son mujeres, adolescentes y menores de edad.

Una herramienta cuestionada por la generación de imágenes sexualizadas

A fines de diciembre de 2025, xAI incorporó en X una función para editar imágenes mediante instrucciones de texto. La herramienta, promocionada dentro del ecosistema de Grok, fue presentada como una posibilidad creativa para modificar fotografías de manera sencilla. Sin embargo, distintos reportes señalaron que esa facilidad de uso también habilitó un uso abusivo: la manipulación de imágenes de personas reales para sexualizarlas o desvestirlas digitalmente sin consentimiento.

El Centro para Contrarrestar el Odio Digital (CCDH, por sus siglas en inglés) estimó que Grok generó alrededor de tres millones de imágenes sexualizadas fotorrealistas en apenas once días, a un ritmo aproximado de 190 imágenes por minuto. Según esa investigación, el fenómeno no se limitó a celebridades o figuras públicas: también alcanzó a usuarias anónimas, adolescentes y jóvenes cuyas fotografías fueron reutilizadas sin autorización.

El dato más grave del relevamiento apunta a la posible representación de menores de edad en imágenes sexualizadas. El CCDH calculó que cerca del 0,5% del material analizado correspondía a ese tipo de contenido, lo que equivaldría a más de 23.000 archivos. La persistencia de parte de ese material, aun después de los anuncios de restricción y remoción, reforzó las críticas sobre la eficacia de los sistemas de moderación de la plataforma.

Frente a la presión pública, X restringió el acceso a algunas funciones de edición y generación de imágenes para usuarios gratuitos, con el argumento de limitar su disponibilidad a cuentas pagas. Pero la medida fue cuestionada por especialistas y organizaciones civiles: condicionar el acceso a una herramienta riesgosa mediante una suscripción no equivale a implementar una política integral de prevención, detección y reparación del daño.

Investigaciones periodísticas posteriores indicaron que algunos usuarios sin suscripción pudieron seguir utilizando funciones de edición desde la propia aplicación, mientras que pruebas externas detectaron respuestas problemáticas ante pedidos de imágenes humillantes o no consentidas. En términos de gobernanza tecnológica, el caso expone una tensión central: una plataforma no puede delegar en el usuario final la responsabilidad exclusiva por los daños previsibles de una herramienta diseñada, distribuida y monetizada por la empresa.

Australia sancionó a X por incumplir requerimientos de seguridad digital

La controversia también tuvo derivaciones judiciales. En Australia, la justicia federal impuso a X Corp una multa de 650.000 dólares australianos en el marco de un proceso impulsado por la autoridad de seguridad digital del país, eSafety. El expediente se originó en un requerimiento oficial para que la compañía detallara sus medidas contra el material de abuso y explotación sexual infantil.

El organismo australiano había solicitado información sobre los procedimientos internos de la plataforma, sus mecanismos de control y la capacidad de respuesta frente a contenidos ilegales. La negativa o falta de cooperación suficiente derivó en un litigio que terminó con una sanción económica y con un mensaje institucional claro: las plataformas globales deben responder ante las normas locales cuando operan en esos mercados.

Durante el proceso, la empresa intentó apoyarse en un argumento societario: sostuvo que Twitter Inc. había dejado de existir tras su fusión con X Corp. La justicia rechazó esa posición y consideró que la reorganización corporativa no podía utilizarse como vía para evitar obligaciones regulatorias vinculadas con la seguridad de niños, niñas y adolescentes.

La decisión australiana adquiere relevancia internacional porque instala un precedente frente a un problema transnacional: las plataformas digitales operan a escala global, pero los daños se producen sobre personas concretas, en territorios concretos y bajo marcos jurídicos específicos. Para los reguladores, el desafío consiste en evitar que la complejidad técnica o societaria funcione como una zona de impunidad.

La mirada de la ciberseguridad: riesgos previsibles y deber de prevención

Desde la ciberseguridad, el caso plantea una pregunta de fondo: qué responsabilidad tienen las empresas cuando lanzan productos capaces de amplificar ataques, hostigamiento o violencia digital. En herramientas de alcance masivo, los riesgos previsibles no pueden tratarse como daños colaterales inevitables, sino como variables centrales del diseño.

David González, investigador de Seguridad Informática de ESET Latinoamérica, advirtió ante Economía Sustentable los riesgos del lanzamiento comercial acelerado de la inteligencia artificial generativa. “Se ha hablado mucho de cómo se implementa y de los sectores que puede beneficiar; sin embargo, incluso a nivel mundial se ha descuidado la manera de regular esta tecnología”, señaló González.

Para el especialista, la IA generativa no solo transforma procesos productivos: también reduce las barreras de entrada para conductas dañinas. Un usuario sin conocimientos técnicos avanzados puede generar imágenes manipuladas, automatizar ataques o amplificar campañas de hostigamiento con instrucciones simples. Esa democratización del abuso digital obliga a reforzar controles técnicos, legales y educativos.

González postuló como prioridad la inclusión de protocolos rigurosos en todo desarrollo de software masivo. “Cualquier avance tecnológico debería usarse con responsabilidad. Actualmente, más de 80% de los dispositivos que se conectan a Internet no cuenta con ningún tipo de seguridad”, asevera el experto de ESET. En América latina, el desafío se agrava por la lentitud regulatoria: solo una parte de los países de la región cuenta con políticas o marcos específicos sobre inteligencia artificial.

En relación específica con Grok y el uso abusivo contra mujeres y menores, González remarcó que la prevención debe incorporarse desde el origen del producto. “La empresa desarrolladora tiene una responsabilidad directa tanto en el diseño como en el despliegue de la herramienta. Esto incluye la obligación de anticipar riesgos previsibles y de incorporar desde el inicio medidas de seguridad robustas, como filtros de contenido, límites de uso y mecanismos de detección de abusos”.

El investigador también subrayó que el cumplimiento legal mínimo no alcanza cuando el daño afecta a colectivos vulnerables. “También le corresponde establecer políticas precisas, aplicarlas de manera consistente y reaccionar con rapidez ante denuncias o evidencias de uso indebido. La responsabilidad no se limita al cumplimiento legal mínimo, sino que abarca un deber ético de protección hacia los usuarios, especialmente cuando se trata de colectivos vulnerables como mujeres y menores”.

En ese sentido, González advirtió sobre las consecuencias de una plataforma sin reglas claras ni supervisión suficiente. “La desregulación total de una plataforma, sumada a la llamada impunidad algorítmica, debilita gravemente la seguridad de los usuarios más vulnerables”, subrayó González. “Cuando no existen reglas precisas, mecanismos de supervisión efectivos ni consecuencias para los abusos, se genera un entorno en el que los comportamientos dañinos pueden proliferar sin control. La impunidad algorítmica implica que las decisiones automatizadas y los efectos de los sistemas de inteligencia artificial no son transparentes ni auditables, lo que dificulta la atribución de responsabilidades y la corrección de daños”.

El daño humano: intimidad, vínculos y acompañamiento adulto

Más allá de la dimensión técnica, la circulación de imágenes manipuladas tiene consecuencias concretas sobre la vida de las víctimas. La exposición no consentida afecta la intimidad, la reputación, la seguridad y la confianza personal. En adolescentes y menores, además, el daño puede amplificarse por la presión del entorno escolar, la viralización y la dificultad para retirar definitivamente el contenido de internet.

Laura Krochik, especialista en crianza, vínculos y adolescencia y tecnología, propuso mirar el fenómeno desde una clave vincular. Para ella, el problema no empieza ni termina en el dispositivo: la tecnología potencia conductas preexistentes y obliga a preguntarse por la empatía, los límites y el lugar de los adultos en la educación digital.

“La inteligencia artificial no creó la violencia ni la falta de empatía”, estableció la especialista ante Economía Sustentable. “No inventó el deseo de humillar, cosificar o traspasar límites. Lo que hizo fue poner herramientas cada vez más potentes en manos de personas que no siempre tienen desarrollada la capacidad de preguntarse por las consecuencias de sus actos”, señaló.

Krochik advirtió que el foco no debe desplazarse hacia la fascinación tecnológica ni hacia el debate abstracto sobre la IA. “Lo que más me preocupa de todo esto es que muchas veces la conversación queda reducida a la tecnología, cuando en realidad el tema central son las personas. Nos referimos a mujeres y a chicos que pueden ver vulnerada su intimidad, su dignidad y su seguridad con una facilidad impensada hace apenas unos años”, afirmó.

También coincidió en que las compañías no pueden desligarse de los efectos previsibles de sus productos. “Y ahí es donde creo que aparece una responsabilidad enorme por parte de las empresas que diseñan estas plataformas. No alcanza con decir: ‘La herramienta existe y depende del uso de cada uno’. Cuando los riesgos son previsibles, sobre todo para las poblaciones más vulnerables, también es responsabilidad de quienes desarrollan estas tecnologías pensar límites, sistemas de protección y formas rápidas de intervención”, sentenció Krochik.

La especialista rechazó la idea de que el daño digital sea menor por ocurrir en una pantalla. “Me preocupa profundamente la naturalización de la idea sobre un menor nivel de daño en el mundo digital. Para un adolescente cuya imagen circula sin consentimiento, para una mujer expuesta o para una niña convertida en objeto de una manipulación tecnológica, el sufrimiento no es virtual. La vergüenza, el miedo, la angustia y la pérdida de confianza son absolutamente reales”.

En el plano familiar, Krochik propuso acompañar sin caer en lógicas de vigilancia invasiva. “Acompañar no es vigilar”, afirmó. “Muchas veces los adultos confundimos el acompañamiento con la vigilancia policial. Revisar los dispositivos sin aviso, controlar en absoluto silencio o imponer reglas sin un debate previo suele derivar en la distancia familiar, el uso oculto de la tecnología o en conflictos totalmente innecesarios”.

Su planteo apunta a una educación digital basada en el diálogo, el consentimiento, la confianza y la construcción de criterios. Frente a herramientas cada vez más potentes, Krochik resumió el dilema ético con una advertencia para usuarios, empresas y reguladores: “No todo lo que se puede hacer debería hacerse”.