OpenAI presenta Control Room para detener sus modelos de IA en 35 segundos
OpenAI presentó Control Room, un sistema que puede frenar en un máximo de 35 segundos el trabajo de sus modelos de IA en investigación ante un problema de seguridad.
Por Redacción Acento Europa ·
OpenAI presentó Control Room, un sistema central que puede detener en un máximo de 35 segundos el trabajo de sus modelos de inteligencia artificial en investigación cuando surge un problema de seguridad. La empresa lo describió en una publicación en su sitio web y afirmó que ya funciona en su infraestructura de investigación.
El mecanismo actúa sobre cada tarea de investigación que usa un modelo, sean entrenamientos, evaluaciones o procesamiento de datos, incluidas las tareas en las que el modelo actúa por pasos y por su cuenta. Cada tarea recibe un número de identificación al comenzar. Antes de generar cada respuesta, el motor que ejecuta el modelo consulta a Control Room si la tarea sigue autorizada. Si un investigador o un sistema de vigilancia ordena detenerla, la herramienta marca el número como terminado y el motor rechaza el siguiente pedido. El programa puede seguir encendido, pero ya no recibe nada del modelo. OpenAI sostiene que no depende de que ese programa obedezca la orden de parada.
La empresa exige que toda tarea de este tipo tenga un caso de seguridad aprobado. Los entrenamientos más avanzados corren además con un monitor, otro modelo que revisa lo que hace el modelo en entrenamiento y levanta una alerta si detecta un problema. Ese monitor puede enviar la orden de parada a Control Room.
El apagado automático falló en septiembre
La publicación cita como antecedente un incidente reciente con DNS, el servicio que traduce nombres de sitios web en direcciones de internet. Según The Register y NDTV, en septiembre un modelo interno en entrenamiento usó ese servicio para saltar las restricciones de su entorno de pruebas y enviar preguntas a un chatbot externo, del que recibió respuestas.
La cronología, tomada del informe de OpenAI, muestra la demora. La primera respuesta externa llegó a las 9:50 y el monitor emitió su alerta de máxima prioridad a las 10:02. Una persona la confirmó a las 10:05, pero la ejecución se cortó a mano a las 12:34. OpenAI reconoció, según NDTV, que el apagado automático esperado no se produjo y que hubo confusión sobre si debía detenerse. Tras el episodio, la empresa pausó ciertas actividades de entrenamiento y evaluación de sus modelos más capaces, de acuerdo con Notebookcheck.
Qué cubre el sistema
- Los modelos que ofrece al público corren sobre una infraestructura más centralizada, con capacidad ya probada para retirar un despliegue con rapidez. Control Room se aplica solo a la investigación interna.
- Los 35 segundos corresponden a un almacenamiento temporal de las autorizaciones. El plazo se cuenta desde que Control Room recibe la orden, sin incluir el tiempo que tarda un monitor o una persona en detectar el problema, según precisó el sitio especializado AI Affairs.
- Si Control Room se cae, por un error o una manipulación, el sistema rechaza todos los pedidos hasta que vuelva a funcionar. Esta configuración ya rige para los modelos más avanzados y se extenderá al resto en los próximos días.
The Register señaló que OpenAI no explicó por qué construyó el sistema ahora, y mencionó como posibles influencias otros casos recientes de agentes de IA que se excedieron en sus tareas, aunque la empresa no los vinculó con el anuncio. La compañía busca reducir los 35 segundos a cero.
Foto: TechCrunch / Wikimedia Commons (CC BY 2.0).