El director ejecutivo de Anthropic, Dario Amodei, no cree que deba ser él quien tome las decisiones en torno a la inteligencia artificial.
“Creo que me siento muy incómodo con que estas decisiones las tomen unas pocas empresas y unas pocas personas”, dijo Amodei. “Y esa es una de las razones por las que siempre he abogado por una regulación responsable y reflexiva de la tecnología”.
“¿Quién los eligió a usted y a Sam Altman?” – preguntó Cooper.
“Nadie. Sinceramente, nadie”, respondió Amodei.
Añadió que Anthropic ha adoptado una filosofía de transparencia sobre las limitaciones y peligros de la IA a medida que continúa desarrollándose. La semana pasada, la compañía dijo que frustró “el primer caso documentado de un ciberataque a gran escala utilizando inteligencia artificial y llevado a cabo sin intervención humana significativa”.
No existen regulaciones federales que definan restricciones sobre el uso de la IA o la seguridad de esta tecnología. Si bien los 50 estados aprobaron leyes relacionadas con la IA este año y 38 aprobaron o implementaron medidas de transparencia y seguridad, los expertos de la industria tecnológica han pedido a las empresas de IA que adopten un enfoque más urgente en materia de ciberseguridad.
A principios de este año, el experto en ciberseguridad y director ejecutivo de Mandiant, Kevin Mandya, advirtió sobre el primer ataque de ciberseguridad que utilizaría un agente de inteligencia artificial en los próximos 12 a 18 meses. Esto significa que la divulgación por parte de Anthropic del ataque frustrado está meses antes de lo previsto por Mandia.
Amodei describió los riesgos a corto, mediano y largo plazo asociados con la IA sin restricciones: la tecnología inicialmente introducirá sesgos y desinformación, como lo hace ahora. Luego generará información maliciosa utilizando conocimientos avanzados de ciencia y tecnología, antes de presentar finalmente una amenaza existencial al quitarle la agencia humana, volverse potencialmente demasiado autónomo y bloquear a las personas fuera de los sistemas.
Estas preocupaciones reflejan las del “padrino de la IA”, Geoffrey Hinton, quien advirtió que la IA podrá burlar y controlar a los humanos, tal vez dentro de la próxima década.
Mayores controles y salvaguardias para la IA fueron el núcleo de la fundación de Anthropic en 2021. Amodei fue anteriormente vicepresidente de investigación en OpenAI de Sam Attleman. Dejó la empresa debido a desacuerdos sobre cuestiones de seguridad de la IA.
“Había un grupo en OpenAI que, después de crear GPT-2 y GPT-3, creía firmemente en dos cosas”, dijo Amodei a Fortune en 2023. “Una era la idea de que si se ponía más computación en estos modelos, mejorarían cada vez más, y que eso casi no tenía fin… Y la segunda era la idea de que se necesitaba algo además de simplemente escalar los modelos, es decir, alineación o seguridad”.
Los esfuerzos de transparencia de Anthropic
A medida que Anthropic continúa ampliando sus inversiones en centros de datos, con una valoración que aumentó a 183 mil millones de dólares en septiembre, la compañía ha publicado algunos de sus esfuerzos para abordar las deficiencias y amenazas de la IA. En un informe de seguridad de mayo, Anthropic dijo que algunas versiones de su modelo Opus amenazaban con chantajear, como exponer la aventura de un ingeniero, para evitar el cierre. La compañía también dijo que el modelo de inteligencia artificial realizaba consultas peligrosas si proporcionaba consejos dañinos, como cómo planificar un ataque terrorista, que, según dijo, ya han sido corregidos.
La semana pasada, la compañía dijo en una publicación de blog que su chatbot Claude obtuvo una calificación de “imparcialidad política” del 94%, superando o igualando a sus competidores en neutralidad.
Además de los propios esfuerzos de investigación de Anthropic para combatir la corrupción tecnológica, Amodei pidió mayores esfuerzos legislativos para abordar los riesgos que plantea la IA. En un artículo de opinión de junio en el New York Times, criticó la decisión del Senado de incluir una disposición en el proyecto de ley del presidente Donald Trump que habría impuesto una moratoria de 10 años a los estados que regulan la IA.
“La IA avanza demasiado rápido”, afirmó Amodei. “Creo que estos sistemas pueden cambiar fundamentalmente el mundo en dos años; en 10 años, todas las apuestas están canceladas”.
La práctica de Anthropic de señalar sus errores y tratar de corregirlos ha generado críticas. En respuesta a que Anthropic hiciera sonar la alarma sobre un ataque de ciberseguridad de IA, el científico jefe de IA de Meta, Yann LeCun, dijo que la advertencia era una forma de manipular a los legisladores para que restrinjan el uso de modelos de código abierto.
“Usted está siendo engañado por personas que quieren control regulatorio”, dijo LeCun en Post X en respuesta a que el senador de Connecticut Chris Murphy expresara su preocupación por el ataque. “Están asustando a todos con investigaciones cuestionables para que los modelos de código abierto dejen de existir”.
Anthropic no respondió de inmediato a la solicitud de comentarios de Fortune.
Otros dicen que la estrategia de Anthropic es un “teatro de seguridad” que es una buena marca pero no hace promesas sobre la implementación real de salvaguardas tecnológicas. Amodei lo negó y dijo que la empresa tiene la obligación de ser honesta sobre las deficiencias de la IA.
“Dependerá del futuro y no siempre tendremos razón, pero lo llamamos lo mejor que podemos”, le dijo a Cooper. “Se podría terminar en el mundo de las compañías de cigarrillos o de opioides, donde conocían los peligros pero no hablaban de ellos y ciertamente no los prevenían”.
