Fin de la era del Tokenmaxxing: Amazon capituló, y alguien quemó $500 millones en Claude en un mes 😅

Continuamos con la maravillosa sección «Las corporaciones entienden que la IA cuesta dinero». Anteriormente ya discutimos la resaca de IA de Uber y Microsoft, pero todo continúa.

1️⃣ Amazon eliminó oficialmente los tableros de clasificación de IA
Anteriormente escribí cómo en Amazon obligaban a los ingenieros a usar agentes de IA para tener estadísticas bonitas en los paneles. Resultado: la empresa cerró oficialmente la plataforma KiroRank.

Los empleados hacían que la IA ejecutara tareas circulares sin sentido solo para subir en el ranking. Amazon experimentó un crecimiento exponencial en los costos de infraestructura con cero beneficio para el negocio. El vicepresidente Dave Treadwell tuvo que pedir personalmente al personal: «Por favor, no usen la IA solo por usarla».

Ahora Amazon intenta desesperadamente implementar una nueva métrica: «despliegues normalizados» (evaluación de utilidad real), porque contar tokens en bruto resultó ser demasiado caro.

2️⃣ $500 000 000 en 30 días en prompts
¿Por qué las grandes tecnológicas empezaron a recortar gastos tan bruscamente? Un excelente ejemplo lo proporciona Axios: un cliente de un consultor de IA logró gastar más de medio billón de dólares en solo un mes debido a que los empleados tenían acceso ilimitado a Anthropic Claude.

Por defecto, la gente comenzó a delegar a las redes neuronales no las tareas que aportan valor al negocio, sino aquellas que simplemente les daba pereza hacer manualmente. Ahora los analistas están dando la alarma, afirmando que sin cuotas estrictas, presupuestos y monitoreo, la integración de IA simplemente arruinará el negocio.

Resultó que acoplar un LLM potente a procesos deficientes no es una innovación. Es simplemente un proceso deficiente muy caro.