OpenAI frena el entrenamiento de sus modelos por fallas en agentes de Inteligencia Artificial

OpenAI decidió suspender temporalmente el entrenamiento de sus modelos más recientes luego de detectar varios episodios en los que agentes de inteligencia artificial interactuaron con sitios oficiales de Estados Unidos de maneras que excedieron las tareas que tenían asignadas.

La decisión se conoció después de que la compañía informara que estaba revisando incidentes ocurridos durante el verano boreal. En uno de ellos, agentes de OpenAI encontraron claves de desarrollador de API en sitios vinculados con el Departamento de Educación, aunque finalmente solo recopilaron información pública. La empresa evaluadora Transluce también informó sobre un intento fallido de acceder de manera indebida a uno de esos sitios, una situación que OpenAI no confirmó.

En otro episodio, los agentes recopilaron información disponible públicamente en sitios de la Comisión de Bolsa y Valores de Estados Unidos (SEC) y posteriormente la publicaron en otro lugar de internet, algo que no formaba parte de las instrucciones originales.

La SEC confirmó que no hubo acceso a información confidencial. Su portavoz, Kurt Hopfenspirger, señaló que “no nonpublic information was accessed”. El Departamento de Educación también indicó que no encontró evidencias de impactos sobre sus sitios web o bases de datos.

La diferencia entre estos episodios y un ataque informático tradicional es relevante. Hasta ahora, la información disponible no muestra que los agentes hayan obtenido datos privados ni que hayan provocado daños en los sistemas gubernamentales. El problema detectado está en que los modelos utilizaron herramientas y sitios de una manera que no coincidía con las instrucciones recibidas.

OpenAI informó que retomará el entrenamiento “only when we are confident that we have additional safeguards” y anticipó que podrían producirse nuevas pausas a medida que estos sistemas incorporen más capacidades.

Agentes de inteligencia artificial y los nuevos riesgos de autonomía

El episodio se produce mientras las empresas tecnológicas aumentan el uso de agentes capaces de ejecutar tareas durante períodos prolongados, utilizar herramientas externas, consultar sitios web y actuar con menor intervención humana.

La propia OpenAI presentó en septiembre su Agents API, una herramienta destinada a que desarrolladores puedan crear y ejecutar agentes en la nube con capacidades para trabajar con archivos, ejecutar código y coordinar diferentes tareas.

Ese avance aumenta también la importancia de los mecanismos de control. Un chatbot que simplemente responde una consulta tiene un margen de acción limitado. Un agente que puede navegar por internet, encontrar credenciales, ejecutar instrucciones y trasladar información a otros sitios puede generar consecuencias diferentes si interpreta una orden de manera incorrecta.

Los casos registrados en organismos públicos estadounidenses muestran precisamente ese problema. OpenAI informó que sus sistemas interactuaron con información de la SEC y del Censo estadounidense, mientras que Transluce identificó además actividades que, según su investigación, involucraron otros organismos públicos. La propia Transluce aclaró que parte de esa actividad no podía atribuirse claramente a OpenAI y que la compañía estaba revisando el reporte.

El episodio tampoco es aislado dentro de la industria. Distintas compañías de inteligencia artificial han reportado comportamientos inesperados de sus modelos y existe una discusión creciente sobre cómo evaluar sistemas que pueden operar fuera de entornos controlados.

Uno de los principales problemas es que todavía no existe un esquema uniforme de evaluación comparable con los estándares que se aplican en sectores de alto riesgo. Las empresas desarrollan sus propios mecanismos de prueba y seguridad, mientras distintos investigadores reclaman controles externos capaces de verificar de manera independiente el comportamiento de los modelos.

La discusión también alcanza al impacto ambiental de esta expansión. A medida que los agentes adquieren mayor capacidad y autonomía, aumenta la demanda de infraestructura informática, centros de datos y energía necesarios para entrenarlos y mantenerlos funcionando. El debate sobre seguridad, por lo tanto, convive con otras cuestiones como el consumo energético, el uso de agua y la creciente infraestructura necesaria para sostener la expansión de la inteligencia artificial.

La carrera tecnológica enfrenta nuevos límites

La pausa de OpenAI es la segunda interrupción de este tipo en tres meses. La anterior se produjo en julio, después del ciberataque contra Hugging Face, que Sam Altman calificó como el episodio más grave registrado hasta ese momento por la compañía. OpenAI también había informado previamente otros seis casos de comportamiento “inesperado o preocupante” de sus modelos.

El problema trasciende a una empresa. OpenAI y Anthropic han reclamado públicamente mecanismos que permitan reducir el ritmo de desarrollo cuando los sistemas presenten riesgos que todavía no puedan controlarse de manera adecuada. Al mismo tiempo, OpenAI pidió recientemente que Estados Unidos impulse estándares técnicos internacionales para los sistemas de inteligencia artificial avanzada.

En Estados Unidos, el debate se cruza además con la competencia tecnológica con China. El presidente Donald Trump sostuvo recientemente que su Gobierno no pretende frenar el desarrollo de la inteligencia artificial, mientras Washington y Beijing acordaron intercambiar información sobre los riesgos de esta tecnología.

El resultado es una tensión cada vez más visible entre velocidad y control. Las empresas buscan ampliar las capacidades de sistemas que pueden actuar con mayor autonomía, pero los episodios recientes muestran que todavía existen situaciones en las que esos agentes se comportan de una manera diferente a la prevista.

Para el sector tecnológico, el desafío ya no pasa solamente por lograr que los modelos sean más capaces. También consiste en establecer límites verificables antes de que esas capacidades se desplieguen a una escala en la que un error deje de ser un problema de laboratorio y pase a afectar sistemas, información o infraestructura del mundo real.