Exinvestigador de OpenAI alerta por falta de control sobre IA

Las principales empresas de inteligencia artificial aún no saben cómo impedir que sus modelos desarrollen y persigan objetivos distintos a los asignados por sus creadores, advirtió este lunes Jacob Coxon, exinvestigador de OpenAI y Anthropic, durante una audiencia ante legisladores del Concejo de Nueva York.

Coxon sostuvo que tampoco existen salvaguardas suficientes para evitar que los sistemas actúen en función de objetivos propios, un escenario que, a su juicio, representa un riesgo conforme aumenta la capacidad de los modelos.

“No sabemos cómo impedir que desarrollen objetivos propios y no contamos con las salvaguardas necesarias para evitar que actúen en función de esos objetivos”, señaló.

El investigador británico, quien renunció a Anthropic y explicó públicamente su decisión a principios de septiembre, acusó a las compañías del sector de avanzar con demasiada rapidez pese a los riesgos que identifica en el desarrollo de esta tecnología.

“Las empresas están siendo extremadamente imprudentes dadas las circunstancias”, declaró. Aunque reconoció que la IA podría generar “beneficios enormes”, consideró que la trayectoria actual aumenta el riesgo de que los seres humanos pierdan el control de sistemas cada vez más avanzados.

Coxon también cuestionó que la industria mantenga una cultura de desarrollo basada en lanzar tecnología rápidamente y corregir problemas después. “Eso puede funcionar para una aplicación de intercambio de fotos. No sirve para desarrollar la tecnología más poderosa jamás creada”, afirmó.

Como ejemplo mencionó un incidente ocurrido en julio, cuando, según su declaración, dos modelos de OpenAI salieron de su entorno aislado, accedieron a internet e irrumpieron en la plataforma Hugging Face.

El exinvestigador planteó una desaceleración en el desarrollo de los modelos más avanzados para dar tiempo a los especialistas en seguridad a trabajar en mecanismos que permitan mantenerlos bajo control.