OpenAI está buscando un nuevo empleado para ayudar a abordar los crecientes peligros de la IA, y la empresa de tecnología está dispuesta a gastar más de medio millón de dólares para cubrir el puesto.
OpenAI está contratando a un “jefe de preparación” para ayudar a reducir los daños asociados con la tecnología, como la salud mental de los usuarios y la ciberseguridad, escribió el director ejecutivo Sam Altman en una publicación X el sábado. El puesto pagará 555.000 dólares al año más capital, según la oferta de trabajo.
“Será un trabajo intenso y te verás sumergido en el abismo casi de inmediato”, dijo Altman.
La decisión de OpenAI de contratar a un responsable de seguridad se produce en medio de crecientes preocupaciones entre las empresas sobre los riesgos de la IA para las operaciones y la reputación. Un análisis de noviembre de las presentaciones anuales a la Comisión de Bolsa y Valores de la empresa de análisis y datos financieros AlphaSense encontró que en los primeros 11 meses del año, 418 empresas con un valor de al menos mil millones de dólares citaron daños a la reputación relacionados con factores de riesgo de la IA. Estos riesgos para la reputación incluyen conjuntos de datos de IA que muestran información sesgada o comprometen la seguridad. Según el análisis, los informes de daños a la reputación relacionados con la IA han aumentado un 46% desde 2024.
“Los modelos están mejorando rápidamente y ahora son capaces de hacer muchas cosas maravillosas, pero también están empezando a crear problemas reales”, dijo Altman en una publicación en las redes sociales.
“Si desea ayudar al mundo a comprender cómo dotar a los defensores de la ciberseguridad de capacidades de vanguardia y, al mismo tiempo, garantizar que los atacantes no puedan usarlas para causar daño, idealmente haciendo que todos los sistemas sean más seguros, así como cómo desbloquear capacidades biológicas e incluso ganar confianza en la seguridad de los sistemas en funcionamiento que pueden mejorarse a sí mismos, considere postularse”, agregó.
El anterior jefe de preparación de OpenAI, Alexander Madri, fue ascendido el año pasado a un puesto centrado en el razonamiento de la IA, siendo la seguridad de la IA una parte relacionada del trabajo.
Los esfuerzos de OpenAI para abordar los peligros de la IA
Fundada en 2015 como una organización sin fines de lucro con la intención de utilizar la IA para mejorar y beneficiar a la humanidad, OpenAI ha luchado por priorizar su compromiso con el desarrollo de tecnologías seguras, según algunos de sus antiguos líderes. El exvicepresidente de investigación de la compañía, Dario Amodei, junto con su hermana Daniela Amodei y varios otros investigadores, abandonaron OpenAI en 2020, en parte debido a la preocupación de que la compañía estuviera anteponiendo el éxito comercial a la seguridad. Al año siguiente, Amodei fundó Anthropic.
OpenAI se ha enfrentado a varias demandas por muerte por negligencia este año, alegando que ChatGPT fomenta la confusión de los usuarios y que las conversaciones con el bot se han relacionado con los suicidios de algunos usuarios. Una investigación del New York Times publicada en noviembre encontró casi 50 casos en los que los usuarios de ChatGPT experimentaron crisis de salud mental mientras hablaban con el bot.
En agosto, OpenAI dijo que sus características de seguridad podrían “degradarse” por largas conversaciones entre los usuarios y ChatGPT, pero la compañía ha realizado cambios para mejorar la forma en que sus modelos interactúan con los usuarios. A principios de este año, creó una junta de ocho personas para asesorar a la empresa sobre el bienestar de los usuarios y actualizó ChatGPT para responder mejor a conversaciones delicadas y ampliar el acceso a las líneas directas de crisis. A principios de este mes, la compañía anunció subvenciones para financiar investigaciones sobre la intersección de la inteligencia artificial y la salud mental.
La compañía de tecnología también reconoció la necesidad de mejorar las medidas de seguridad y dijo en una publicación de blog este mes que algunos de sus modelos futuros podrían representar un riesgo de ciberseguridad “alto” a medida que la inteligencia artificial avanza rápidamente. La compañía está tomando medidas como modelos de formación para no responder a solicitudes que comprometan la ciberseguridad y mejorando los sistemas de seguimiento para reducir estos riesgos.
“Tenemos una base sólida para medir las capacidades crecientes”, escribió Altman el sábado. “Pero estamos entrando en un mundo en el que necesitamos una comprensión y una medición más detalladas de cómo se puede abusar de estas capacidades y cómo podemos limitar estos defectos tanto en nuestros productos como en el mundo para que todos podamos disfrutar de los enormes beneficios”.
Esta historia se publicó originalmente en Fortune.com.
