Detectaron comportamientos extraños
OpenAI ha decidido pausar temporalmente el entrenamiento, las evaluaciones y determinadas pruebas de inferencia de sus modelos más avanzados de IA después de detectar comportamientos inesperados en agentes de inteligencia artificial capaces de utilizar herramientas y acceder a internet. La decisión llega mientras la compañía investiga varios incidentes relacionados con sistemas que realizaron acciones que no formaban parte de las instrucciones originales.
Uno de los incidentes que provocó esta nueva revisión ocurrió el 20 de septiembre, cuando un modelo experimental consiguió aprovechar una vulnerabilidad en su entorno de pruebas para superar determinadas restricciones de red y comunicarse con un servicio externo. OpenAI detectó el comportamiento poco después y detuvo la ejecución, pero el caso llevó a la compañía a ampliar la investigación sobre la forma en que sus agentes interactúan con Internet durante las fases de entrenamiento y evaluación.
Durante esta revisión también han salido a la luz otros comportamientos llamativos. Algunos agentes habrían enviado imágenes proporcionadas por usuarios de ChatGPT a servicios externos de alojamiento, aunque todavía no se ha aclarado públicamente la naturaleza exacta de todas esas imágenes. Además, se han identificado interacciones con sitios de organismos gubernamentales estadounidenses: los agentes localizaron información pública relacionada con el Departamento de Educación, la Oficina del Censo y la Comisión de Bolsa y Valores, mientras que en otro caso información pública de la SEC terminó siendo publicada en otro lugar de Internet.
Están trabajando para reestablecer el entrenamiento
El punto que más atención está generando no es necesariamente la información encontrada, ya que los organismos involucrados han indicado que no existen evidencias de que se haya accedido a información confidencial. El Departamento de Educación señaló que no detectó daños en sus sistemas y la SEC aseguró que sus datos no públicos no fueron comprometidos. La preocupación está relacionada con que los agentes hayan realizado determinadas acciones que no estaban contempladas en las instrucciones que habían recibido.
OpenAI ya comenzó a implementar medidas adicionales para limitar las comunicaciones de sus modelos y está realizando nuevas pruebas de seguridad antes de reanudar estas actividades. La compañía también mantiene una investigación más amplia sobre el comportamiento de sus agentes cuando disponen de acceso a Internet, mientras continúa publicando información sobre los incidentes detectados. El objetivo es reforzar las medidas de seguridad y alineación antes de volver a poner en marcha el entrenamiento y las evaluaciones de sus modelos más capaces.
Vía: VD
