Miles Brundage, un renombrado ex investigador de políticas de OpenAI, está lanzando un instituto dedicado a una idea simple: a las empresas de IA no se les debería permitir calificar sus tareas.
Hoy, Brundage anunció oficialmente la creación del Instituto de Investigación de Evaluación y Verificación de IA (AVERI), una nueva organización sin fines de lucro cuyo objetivo es promover la idea de que los modelos de IA de vanguardia deberían estar sujetos a auditoría externa. AVERI también está trabajando para crear estándares de auditoría de IA.
El lanzamiento coincide con la publicación de un artículo de investigación en coautoría de Brundage y más de 30 investigadores de seguridad de IA y expertos en gobernanza que establece un marco detallado sobre cómo podría funcionar la auditoría independiente de las empresas que construyen los sistemas de IA más potentes del mundo.
Brundage pasó siete años en OpenAI como investigador de políticas y consultor sobre cómo la empresa debería prepararse para la llegada de una inteligencia artificial general similar a la humana. Dejó la empresa en octubre de 2024.
“Una de las cosas que aprendí trabajando en OpenAI es que las empresas definen este tipo de normas”, dijo Brundage a Fortune. “Nadie los obliga a trabajar con expertos externos para asegurarse de que sea seguro. En cierto modo escriben sus propias reglas”.
Esto crea riesgos. Si bien los principales laboratorios de IA realizan pruebas de seguridad y protección y publican informes técnicos sobre los resultados de muchas de estas evaluaciones, algunas de las cuales realizan con la ayuda de organizaciones externas del “equipo rojo”, en este momento los consumidores, las empresas y los gobiernos simplemente tienen que confiar en lo que dicen los laboratorios de IA sobre estas pruebas. Nadie los obliga a realizar o informar estas evaluaciones de acuerdo con ningún conjunto de estándares en particular.
Brundage dijo que otras industrias utilizan la auditoría para brindar al público, incluidos los consumidores, los socios comerciales y, hasta cierto punto, los reguladores, la confianza de que los productos son seguros y han sido sometidos a pruebas rigurosas.
“Si sales y compras una aspiradora, sabes que tendrá componentes, como baterías, que han sido probados por laboratorios independientes con estrictos estándares de seguridad para garantizar que no se incendie”, dijo.
El nuevo instituto insistirá en políticas y estándares
Brundage dijo que AVERI estaba interesada en políticas que alentarían a los laboratorios de inteligencia artificial a avanzar hacia un sistema de auditoría externa rigurosa, así como en investigar cuáles deberían ser los estándares para esas auditorías, pero no estaba interesado en realizar las auditorías mismas.
“Somos un grupo de expertos. Estamos tratando de comprender y dar forma a esta transición”, dijo. “No estamos tratando de atraer como clientes a todas las empresas Fortune 500”.
Dijo que las empresas de contabilidad pública, auditoría, seguros y pruebas existentes podrían considerar la auditoría de seguridad de la IA, o que se crearían nuevas empresas para asumir esa función.
AVERI dijo que ha recaudado $7.5 millones hacia su meta de $13 millones para cubrir a 14 empleados y dos años de trabajo. Sus patrocinadores actuales incluyen Halcyon Futures, Fathom, Coficient Giving, el ex presidente de Y Combinator, Jeff Ralston, Craig Falls, Good Forever Foundation, Sympatico Ventures y AI Underwriting Company.
La organización dice que también ha recibido donaciones de empleados no ejecutivos actuales y anteriores de empresas transfronterizas de inteligencia artificial. “Estas son personas que saben dónde están enterrados los cuerpos” y “les gustaría ver una mayor rendición de cuentas”, dijo Brundage.
Las compañías de seguros o los inversores pueden exigir controles de seguridad de la IA
Brundage dijo que podría haber varios mecanismos que alentarían a las empresas de inteligencia artificial a comenzar a contratar auditores independientes. En primer lugar, es posible que las grandes empresas que compren modelos de IA quieran solicitar una auditoría para tener cierta confianza en que los modelos de IA que compren funcionarán según lo prometido y no conllevan riesgos ocultos.
Las compañías de seguros también pueden presionar para que se realicen auditorías de IA. Por ejemplo, las aseguradoras que ofrecen seguros de continuidad del negocio a grandes empresas que utilizan modelos de inteligencia artificial para procesos comerciales clave pueden requerir auditorías como condición para la suscripción. La industria de seguros también puede requerir auditorías para diseñar políticas para empresas líderes en inteligencia artificial como OpenAI, Anthropic y Google.
“Sin duda, los seguros están evolucionando rápidamente”, afirmó Brundage. “Tenemos muchas conversaciones con las aseguradoras”. Señaló que una compañía de seguros especializada en IA, AI Underwriting Company, hizo una donación a AVERI porque “ven el valor de una auditoría para verificar el cumplimiento de los estándares que redactan”.
Los inversores también pueden exigir auditorías de seguridad de la IA para garantizar que no están asumiendo riesgos desconocidos, dijo Brundage. Dados los cheques multimillonarios y multimillonarios que las empresas de inversión están emitiendo ahora para financiar empresas de inteligencia artificial, tendría sentido que estos inversores exijan auditorías independientes de la seguridad de los productos que estas nuevas empresas de rápido crecimiento están creando. Si alguno de los laboratorios líderes sale a bolsa (y OpenAI y Anthropic se están preparando para hacerlo en el próximo año o dos), no contratar auditores para evaluar los riesgos de los modelos de IA podría exponer a esas empresas a demandas de los accionistas o a un procesamiento de la SEC si algo sale mal más adelante, provocando que los precios de sus acciones caigan significativamente.
Brundage también dijo que la regulación o los acuerdos internacionales podrían obligar a los laboratorios de inteligencia artificial a contratar auditores independientes. Actualmente no existe una regulación federal para la IA en los EE. UU. y no está claro si se creará una. El presidente Donald Trump firmó una orden ejecutiva destinada a tomar medidas enérgicas contra los estados de EE. UU. que aprueban sus propias regulaciones sobre inteligencia artificial. La administración dijo que esto se debe a que cree que a las empresas les resultará más fácil navegar por un único estándar federal que por múltiples leyes estatales. Pero en sus esfuerzos por castigar a los estados por imponer regulaciones sobre la IA, la administración aún tiene que proponer su propio estándar nacional.
Sin embargo, en otras regiones es posible que ya estén surgiendo las bases para la auditoría. La Ley de Inteligencia Artificial de la UE, que entró recientemente en vigor, no exige explícitamente una auditoría de los procedimientos de evaluación de las empresas de inteligencia artificial. Pero el Código de Prácticas para la Inteligencia Artificial de Propósito General, que es una especie de modelo de cómo los laboratorios de inteligencia artificial avanzada podrían cumplir con la Ley, sí dice que los laboratorios que crean modelos que puedan plantear “riesgos sistémicos” deben brindar acceso gratuito a evaluadores externos para probar los modelos. El propio texto de la ley también establece que cuando las organizaciones utilizan la IA en casos de uso de “alto riesgo”, como la emisión de préstamos, la determinación de la elegibilidad para la asistencia social o la determinación de la cobertura de atención médica, el sistema de IA debe someterse a una “evaluación de idoneidad” externa antes de ser comercializado. Algunos han interpretado que estas secciones de la Ley y el Código requieren auditores esencialmente independientes.
Establecer “niveles de garantía” y encontrar un número suficiente de auditores calificados
Un artículo de investigación publicado coincidiendo con el lanzamiento de AVERI describe una visión integral de cómo debería ser la auditoría de IA de vanguardia. Propone un marco de “Niveles de garantía de IA”, comenzando con el Nivel 1 (que incluye algunas pruebas de terceros, pero con acceso limitado y similar a los tipos de evaluaciones externas para las que las empresas contratan actualmente a los laboratorios de IA), hasta el Nivel 4, que proporcionaría una garantía de “nivel de tratado” suficiente para los acuerdos internacionales de seguridad de la IA.
Crear un equipo de auditores de IA calificados no está exento de desafíos. Una auditoría de IA requiere una combinación de conocimientos técnicos y de gestión que pocos poseen, y quienes los poseen suelen verse atraídos por ofertas lucrativas de las mismas empresas que serán auditadas.
Brundage reconoció el problema pero dijo que era superable. Habló de mezclar personas con diferentes orígenes para crear “equipos de ensueño” que colectivamente tengan el conjunto adecuado de habilidades. “Es posible que tenga personas de una firma de contabilidad existente, más algunas personas de una firma de pruebas de penetración en el departamento de ciberseguridad, más algunas personas de una de las organizaciones sin fines de lucro de seguridad de IA, y tal vez también un científico”, dijo.
En otras industrias, desde la energía nuclear hasta la seguridad alimentaria, a menudo han sido desastres, o al menos situaciones peligrosas, las que han provocado el desarrollo de normas y evaluaciones independientes. Brundage dijo que espera que con la ayuda de la IA se puedan implementar infraestructuras y regulaciones de auditoría antes de que ocurra una crisis.
“El objetivo, desde mi punto de vista, es llegar a un nivel de revisión que sea proporcional al impacto y los riesgos reales de la tecnología de la manera más fluida y rápida posible, sin exagerar”, dijo.
