Nvidia ha construido su imperio de inteligencia artificial sobre GPU. Pero la apuesta de Groq de 20 mil millones de dólares sugiere que la compañía no está convencida de que las GPU por sí solas dominen la etapa más importante del desarrollo de la inteligencia artificial: ejecutar modelos a una escala conocida como inferencia.
La batalla para ganar la inferencia de la IA se libra, por supuesto, en torno a su economía. Una vez que se entrena un modelo, todas sus acciones útiles (responder una consulta, generar código, recomendar un producto, resumir un documento, habilitar un chatbot o analizar una imagen) ocurren durante la inferencia. Este es el punto en el que la IA pasa de un costo irrecuperable a un servicio que genera ingresos, con toda la presión que lo acompaña para reducir costos, reducir la latencia (cuánto tiempo hay que esperar para que la IA responda) y mejorar la eficiencia.
Esa presión es la razón por la que la inferencia se ha convertido en el próximo campo de batalla de la industria para obtener ganancias potenciales, y por la que Nvidia, en un acuerdo anunciado justo antes de las vacaciones de Navidad, obtuvo la licencia de tecnología de Groq, una startup que fabrica chips diseñados específicamente para una inferencia artificial rápida y de baja latencia, y contrató a la mayor parte de su equipo, incluido el CEO y fundador Jonathan Ross.
Conclusión: así es la “revolución industrial” de la IA
El director ejecutivo de Nvidia, Jensen Huang, ha expresado su opinión sobre el tema del retiro. Si bien dice que Nvidia es “excelente en cada etapa de la IA”, dijo a los analistas en la conferencia telefónica sobre las ganancias del tercer trimestre de la compañía en noviembre que sacar conclusiones es “realmente difícil”. Esto está lejos de ser un simple caso de una invitación recibida y una respuesta recibida. La inferencia moderna debe respaldar un razonamiento persistente, millones de usuarios simultáneos, una baja latencia garantizada y estrictas restricciones de costos. Y los agentes de IA que tienen que realizar múltiples pasos aumentarán drásticamente la necesidad y la complejidad de las inferencias, y aumentarán la probabilidad de que cometan errores.
“La gente piensa que la retirada es un paso y, por tanto, es fácil. Cualquiera puede acercarse al mercado de esta manera”, afirmó Huang. “Pero esto resulta ser lo más difícil, porque resulta que pensar es bastante difícil”.
El apoyo de Nvidia a Groq subraya esa creencia y señala que incluso la empresa que domina el entrenamiento de IA teme cómo eventualmente colapsará la economía de inferencia.
Huang también afirmó con franqueza que los hallazgos serán fundamentales para el crecimiento de la IA. En una conversación reciente en el podcast BG2, Huang dijo que la inferencia ya representa más del 40% de los ingresos relacionados con la IA y predijo que “crecerá mil millones de veces”.
“Ésta es la parte que la mayoría de la gente no ha comprendido del todo”, afirmó Huang. “Ésta es la industria de la que estábamos hablando. Ésta es la revolución industrial”.
La confianza del CEO ayuda a explicar por qué Nvidia está dispuesta a protegerse agresivamente contra cómo se llegan a las conclusiones, incluso cuando los aspectos económicos subyacentes siguen sin resolverse.
Nvidia quiere monopolizar el mercado de inferencia
Nvidia está cubriendo sus apuestas para asegurarse de controlar todas las partes del mercado, dijo Karl Freund, fundador y analista jefe de Cambrian-AI Research. “Es un poco como si Meta adquiriera Instagram”, explicó. “No pensaban que Facebook fuera malo, simplemente sabían que había una alternativa y querían asegurarse de que no compitiera con ellos”.
Esto a pesar de que Huang hizo fuertes afirmaciones sobre la economía de la plataforma de inferencia existente de Nvidia. “Sospecho que descubrieron que no resonó tan bien entre los clientes como esperaban, o tal vez vieron algo en el enfoque de memoria del chip que Groq y otra compañía llamaron D-Matrix”, dijo Freund, refiriéndose a otra startup de chips de IA de baja latencia respaldada por Microsoft que recientemente recaudó 275 millones de dólares con una valoración de 2 mil millones de dólares.
Freund dijo que el paso de Nvidia a Groq podría impulsar toda la categoría. “Estoy seguro de que D-Matrix es una startup bastante feliz en este momento porque sospecho que su próxima ronda tendrá una valoración mucho más alta gracias (al acuerdo entre Nvidia y Groq)”, dijo.
Otros ejecutivos de la industria dicen que la economía de la inferencia de la IA está cambiando a medida que la IA va más allá de los chatbots y se adentra en sistemas en tiempo real como robots, drones y herramientas de seguridad. Estos sistemas no pueden permitirse los retrasos asociados con el envío y recepción de datos a la nube, o el riesgo de que la potencia informática no siempre esté disponible. En cambio, prefieren chips dedicados como Groq, grupos centralizados de GPU.
Behnam Bastani, director ejecutivo y fundador de OpenInfer, que se especializa en ejecutar inferencias de inteligencia artificial cerca de donde se generan los datos (en dispositivos, sensores o servidores locales, por ejemplo, en lugar de en centros de datos remotos en la nube), dijo que su startup apunta a este tipo de aplicaciones en el “borde”.
El mercado de inferencias, subrayó, está todavía en su infancia. Y Nvidia pretende acaparar ese mercado con su acuerdo con Groq. Con la economía de la inferencia aún sin resolver, dijo que Nvidia está tratando de posicionarse como una empresa que abarca toda la pila de hardware de inferencia en lugar de centrarse en una sola arquitectura.
“Esto posiciona a Nvidia como una empresa más grande”, dijo.
Esta historia se publicó originalmente en Fortune.com.
