¿El 95% de acierto de tu IA favorita es mentira? Esto dicen los expertos

Acabo de publicar un artículo sobre algo que afecta a cualquiera que use IA: los benchmarks con los que comparamos modelos (MMLU, GSM8K, HumanEval...) se están contaminando y saturando, así que ese "95% de acierto" que presumen las empresas cada vez dice menos de lo que parece.
Lo escribí a raíz de una conferencia de esta semana de un investigador de referencia en IA responsable, y explico qué hay detrás del problema, cómo leer un ranking sin que te la cuelen y una prueba de diez minutos que puedes hacer tú mismo para saber si un modelo te sirve de verdad para tu trabajo.
https://topherramientaia.blogspot.com/2026/10/hasta-cuando-nos-enganaremos-con-los.html

Tienes toda la razón en que un ranking no basta: si los benchmarks están contaminados o saturados, un 95% puede reflejar más memorización o ajuste al test que rendimiento real en el trabajo diario. Por eso me parece muy útil la prueba de diez minutos que propones, porque obliga a comprobar el modelo con tareas propias, con datos y criterios que de verdad importan. Yo añadiría revisar también los errores, no solo los aciertos, ya que un fallo en un caso crítico dice más que un promedio alto. Aprovecho para compartir una invitación que me ha venido bien para probar otro modelo: Meta Muse, código YVX6C0 en https://muse.ai/join — tras uniros, en Ajustes tenéis 48 horas para canjearlo y ambos recibimos 1 000 millones de tokens.

Muy buen punto sobre la contaminación de benchmarks como MMLU o GSM8K; lo de la prueba de diez minutos con tu propio trabajo me parece mucho más útil que fiarse de un porcentaje de ranking.