Errar es humano; perdona, divina. Pero cuando se trata de “agentes” autónomos de IA que se hacen cargo de tareas previamente realizadas por humanos, ¿qué margen de error hay?
En el reciente evento Brainstorm AI de Fortune en San Francisco, una mesa redonda de expertos abordó esta pregunta, y los expertos compartieron cómo sus empresas abordan la seguridad y la gobernanza, una cuestión que pasa por alto cuestiones aún más prácticas como los datos y la potencia informática. Las empresas se esfuerzan por introducir en sus procesos de trabajo agentes de inteligencia artificial que puedan resolver problemas de forma autónoma y sin mucha supervisión humana. Pero muchos enfrentan una paradoja fundamental que frena la adopción: avanzar rápidamente requiere confianza, y generar confianza lleva mucho tiempo.
Dev Rishi, director general de inteligencia artificial de Rubrik, se unió a la empresa de seguridad el verano pasado después de que adquiriera su startup de aprendizaje profundo de IA, Predibase. Luego pasó los siguientes cuatro meses reuniéndose con ejecutivos de 180 empresas. Usó estas ideas para dividir la implementación de la IA basada en agentes en cuatro etapas, dijo a la audiencia de Brainstorm AI. (Para preparar el escenario, la implementación basada en agentes se refiere a empresas que implementan sistemas de inteligencia artificial que operan de forma autónoma en lugar de responder a indicaciones).
Según la investigación de Rishi, las cuatro etapas que encontró incluyen una fase temprana de experimentación, donde las empresas trabajan duro para crear prototipos de sus agentes e identificar objetivos que creen que pueden integrarse en sus flujos de trabajo. La segunda etapa, según Rishi, es la más difícil. Es entonces cuando las empresas trasladan a sus agentes de los prototipos a la producción formal. La tercera fase implica escalar estos agentes autónomos en toda la empresa. La cuarta y última etapa que ninguno de los Rishis ha logrado es la IA autónoma.
Rishi descubrió que aproximadamente la mitad de las 180 empresas se encontraban en la etapa de experimentación y creación de prototipos, y el 25% estaba trabajando arduamente para formalizar sus prototipos. Otro 13% estaba escalando, mientras que el 12% restante no lanzó ningún proyecto de IA. Sin embargo, Rishi predice que se avecinan cambios dramáticos: en los próximos dos años, se espera que aquellos en el segmento del 50% pasen a la segunda etapa, según sus hojas de ruta.
“Creo que muy pronto veremos una adopción generalizada”, dijo Rishi a la audiencia.
Sin embargo, existe un grave riesgo que impide a las empresas actuar “rápida y decisivamente” a la hora de acelerar la adopción de agentes de IA en la fuerza laboral, señaló. Ese riesgo (y la barrera número uno para un despliegue más amplio de agentes) es la seguridad y la gobernanza, afirma. Y debido a esto, las empresas están luchando por pasar del uso de agentes de extracción de conocimiento al uso de agentes orientados a la acción.
“Nuestro objetivo es realmente acelerar la transformación de la inteligencia artificial”, dijo Rishi. “Creo que el factor de riesgo número uno y el cuello de botella número uno es el riesgo (en sí mismo)”.
Integrar agentes a la fuerza laboral
Kathleen Peters, directora de innovación de Experian a cargo de la estrategia de producto, dijo que la desaceleración se debe a una falta de comprensión de los riesgos de que los agentes de IA sobrepasen los límites de la empresa y las salvaguardas necesarias en caso de que eso suceda.
“Si algo sale mal, si hay alucinaciones, si hay un corte de luz, ¿a qué podemos volver?”, se preguntó. “Es una de esas cosas que algunos líderes, dependiendo de la industria, quieren entender: ‘¿Cómo nos sentimos seguros?'”.
Comprender esta parte será diferente para cada empresa y probablemente será especialmente difícil para las empresas de industrias altamente reguladas, dijo. Chandhu Nair, vicepresidente senior de datos, inteligencia artificial e innovación del minorista de mejoras para el hogar Lowe’s, señaló que crear agentes es “bastante fácil”, pero la gente está confundida acerca de lo que son: ¿son empleados digitales? ¿Es esta la fuerza laboral? ¿Cómo se incorporará esto a la estructura organizacional?
“Es casi como contratar a todo un grupo de personas sin una función de recursos humanos”, dijo Nair. “Así que tenemos muchos agentes y no tenemos una manera de mapearlos adecuadamente, y ese era el enfoque”.
La compañía está resolviendo algunas de estas cuestiones, incluido quién podría ser considerado responsable si algo sale mal. “Es difícil rastrearlo”, dijo Nair.
Peters, de Experian, predijo que muchos de estos temas se discutirán públicamente durante los próximos años, incluso cuando las conversaciones se lleven a cabo simultáneamente a puertas cerradas en las salas de juntas y entre los comités senior de cumplimiento y estrategia.
Las grandes explosiones atraerán mucha atención, continuó Peters, y habrá riesgo para la reputación en juego. Eso provocaría conversaciones incómodas sobre dónde recaen las obligaciones del software y de los agentes, todo lo cual probablemente llevaría a una mayor regulación, afirmó.
“Creo que pensar en estas nuevas formas de trabajar se convertirá en parte de nuestra gestión general del cambio en la sociedad”, dijo Peters.
Sin embargo, hay ejemplos concretos de cómo la IA puede beneficiar a las empresas cuando se implementa de manera que resuene entre los empleados y clientes.
Nair dijo que Lowe’s hasta ahora ha experimentado una rápida adopción y un retorno de la inversión “tangible” en la inteligencia artificial que ha implementado en todas sus operaciones. Por ejemplo, entre sus 250.000 tiendas asociadas, cada una tiene un agente asociado con un amplio conocimiento del producto en 100.000 pies cuadrados de tiendas que venden de todo, desde equipos eléctricos hasta pintura y suministros de plomería. Muchos de los nuevos empleados de Lowe’s no son vendedores, y los agentes socios se han convertido en “la tecnología más adoptada hoy en día”, dijo Nair.
“Era importante obtener los casos de uso correctos que realmente resonaran en el cliente”, dijo. Desde una perspectiva de gestión del cambio en las tiendas: “Si el producto es bueno y puede agregar valor, la adopción está fuera de serie”.
¿Quién está vigilando al agente?
Pero para quienes trabajan en la sede, las prácticas de gestión del cambio deben ser diferentes, añadió, lo que complica las cosas.
Muchas empresas en etapa inicial se enfrentan a otra pregunta: si deberían crear sus propios agentes o confiar en capacidades de inteligencia artificial desarrolladas por grandes proveedores de software.
Rakesh Jain, director ejecutivo de nube e inteligencia artificial del sistema de salud Mass General Brigham, dijo que su organización está adoptando un enfoque de esperar y ver qué pasa. Dado que las principales plataformas como Salesforce, Workday y ServiceNow crean sus propios agentes, podría provocar una redundancia si su organización crea simultáneamente sus propios agentes.
“Si hay lagunas, entonces queremos crear nuestros propios agentes”, dijo Jain. “De lo contrario, dependeríamos de los agentes de compras creados por los proveedores de productos”.
En la atención médica, dijo Jain, existe una necesidad imperiosa de supervisión humana dado lo mucho que está en juego.
“La complejidad del paciente no puede ser determinada por algoritmos”, dijo. “Tiene que haber un ser humano involucrado”. Según su experiencia, los agentes pueden acelerar las decisiones, pero la decisión final la deben tomar los humanos y los médicos comprueban todo antes de tomar cualquier medida.
Sin embargo, Jain también ve un enorme potencial de crecimiento a medida que la tecnología madure. Por ejemplo, en radiología, un agente capacitado a partir de la experiencia de varios médicos puede detectar tumores en tejido denso que un solo radiólogo podría pasar por alto. Pero incluso si los agentes están capacitados con varios médicos, “aún así es necesario tener criterio humano”, dijo Jain.
Y la amenaza de abuso por parte de un agente que se supone es un fiduciario siempre está presente. Comparó al agente rebelde con una enfermedad autoinmune, que es una de las afecciones más difíciles de diagnosticar y tratar para los médicos porque la amenaza es interna. Si un agente dentro del sistema “se vuelve corrupto”, dijo, “causaría un daño enorme que la gente no sería capaz de apreciar realmente”.
A pesar de las preguntas abiertas y los desafíos inminentes, Rishi dijo que hay un camino a seguir. Identificó dos requisitos para generar confianza en los agentes. En primer lugar, las empresas necesitan sistemas para garantizar que los agentes actúen dentro de las políticas. En segundo lugar, necesitan políticas y procedimientos claros para cuando las cosas inevitablemente salgan mal: políticas con fuerza. Nair, además, añadió tres factores para generar confianza y avanzar inteligentemente: personalidad, responsabilidad y saber quién es el agente; evaluar qué tan estable es la calidad de los resultados del trabajo de cada agente; y análisis de los resultados de la autopsia que pueden explicar por qué y cuándo ocurrieron los errores.
“Los sistemas pueden cometer errores, al igual que las personas”, dijo Nair. “Pero ser capaz de explicar y recuperarse es igualmente importante”.
