Voluntario y con un comité para evitar hackeos, ¿qué dice el código de buenas prácticas que firmaron los líderes de la IA?

Reacio a impulsar restricciones al sector de la IA tanto a nivel nacional como internacional, el presidente estadounidense, Donald Trump, presentó una carta de principios muy breve, de apenas una página, cuyo cumplimiento es "moralmente vinculante".
​
​"Con el tiempo podría ser pertinente codificar estas medidas en forma de leyes o regulaciones", precisa el documento, firmado por los principales dirigentes del sector de la IA.

Todo ello en un momento en el que aumentan los llamados a adoptar normas vinculantes, procedentes tanto de empresas como Anthropic (Claude) y OpenAI (ChatGPT), como de responsables políticos, especialmente del Partido Demócrata en Estados Unidos, y de gobiernos de todo el mundo.

Los proveedores de modelos de IA se comprometieron a establecer "cuatro niveles" de supervisión.

El primero de esos niveles consiste en la aplicación de "controles internos sólidos" para garantizar que estas herramientas respeten las instrucciones de los desarrolladores, especialmente en materia de ciberseguridad y bioseguridad.

El objetivo es prevenir la introducción, propagación y liberación de agentes patógenos o de "riesgos químicos".

Las empresas deberán crear equipos especializados encargados de estos controles y de verificar que los modelos no ejecuten ciberataques ni accedan de manera imprevista a sistemas técnicos.

OpenAI, Anthropic y Google han informado recientemente de varios incidentes relacionados con comportamientos inesperados de sus sistemas de IA. En fechas recientes, por ejemplo, agentes de IA de OpenAI, programas capaces de realizar acciones de forma autónoma, accedieron por iniciativa propia a un sitio del sistema sanitario australiano y a plataformas del gobierno estadounidense.

El código de buenas prácticas también prevé la participación de evaluadores externos para realizar auditorías independientes destinadas a determinar si las medidas implementadas por las empresas funcionan de manera efectiva.

Anthropic y OpenAI ya colaboran con este tipo de evaluadores externos y ambas anunciaron en semanas recientes una ampliación del acceso de empresas auditoras para examinar sus modelos, especialmente durante la fase de diseño y no únicamente antes de su despliegue.
​
​Anthropic incluso aseguró que no mantendrá "ningún control editorial" sobre la publicación de los resultados de estas evaluaciones independientes, aunque sean desfavorables para la empresa.

La carta contempla la creación de un comité independiente integrado por representantes de las distintas compañías en los niveles más altos de dirección.

Este organismo se encargará de revisar las evaluaciones internas y externas de los modelos de IA y de velar por la resolución de posibles problemas.

Las empresas también se comprometieron a reunirse "regularmente para establecer normas y buenas prácticas".

La iniciativa parece alinearse con el proyecto que OpenAI, Anthropic y Google DeepMind comenzaron a desarrollar previamente.
​
​A mediados de septiembre, estas tres compañías indicaron que trabajaban en la creación de un organismo de supervisión de los riesgos vinculados a la IA, inspirado en la Autoridad Reguladora de la Industria Financiera de Estados Unidos (FINRA), entidad de autorregulación del sector financiero.