Multiverse Computing ha publicado un método llamado Quantization-Aware Healing con un resultado que suena a error de medición: cogen GPT-OSS 120B, lo comprimen a 60.000 millones de parámetros, lo cuantizan a 4 bits, y la versión de 4 bits gana a la misma versión en 16 bits en siete de nueve benchmarks.
Firman Antonio Tiene, Iker García-Ferrero y Ali Hashemi, con paper asociado.
Los números
La comparación es entre tres cosas: el profesor original de 120B, el estudiante comprimido de 60B en BF16 (16 bits) y ese mismo estudiante de 60B en MXFP4 (4 bits) tratado con QAH.
Donde más gana la versión de 4 bits:
- AA-LCR (contexto largo): 42,7 frente a 35,3. Son 7,4 puntos.
- AIME 2025 (matemáticas): 76,3 frente a 70,7. Son 5,6 puntos.
- Aider (programación): 40,9 frente a 38,2.
- tau2-bench (uso de herramientas): 61,7 frente a 59,4.
- GPQA Diamond (ciencia): 67,4 frente a 65,7.
Donde pierde: MMLU-Pro (-0,2) y SciCode (-1,4). Dos pérdidas pequeñas frente a siete ganancias, algunas grandes.
Y todo eso ocupando aproximadamente cuatro veces menos memoria de pesos que la versión BF16.
Por qué el resultado no es un error
La intuición dice que comprimir siempre empeora. Y así funciona la cuantización clásica: entrenas el modelo, luego lo comprimes, y aceptas la pérdida como peaje.
Lo que hacen aquí es tratar la cuantización como una segunda pasada de destilación completa, no como un posprocesado. El modelo comprimido se reentrena aprendiendo directamente del original de 120B mediante divergencia KL, que es una medida de cuánto se aleja la distribución de salida del estudiante de la del profesor.
Dicho en corto: en lugar de comprimir y perder, comprimes y vuelves a enseñar al modelo pequeño a imitar al grande sabiendo ya que está comprimido. El modelo se ajusta a sus propias limitaciones en vez de sufrirlas.
Hay un detalle de ingeniería que merece mención: implementan la pérdida KL por trozos para poder trabajar con contextos de 32.000 tokens sin tener que materializar la matriz completa de vocabulario por secuencia, que no cabría en memoria. Ese tipo de truco es lo que separa un paper de algo que se puede correr.
Contra QAT, la técnica que se usaba hasta ahora
El entrenamiento consciente de la cuantización (QAT) es el estándar previo. La comparación que publican es dura.
QAH alcanza 54,9 de precisión media en unos 100 pasos de entrenamiento. QAT llega a 54,6 en unos 700 pasos, y después se desploma 19 puntos.
Siete veces menos entrenamiento para el mismo resultado, y sin el colapso posterior. Si el resultado se replica, el método viejo queda obsoleto.
Lo que esto abre
Aquí está lo interesante para quien no va a leer el paper.
Si comprimir un modelo a 4 bits deja de costar calidad, la barrera de entrada para correr modelos serios en hardware propio se cae. Un modelo de 60.000 millones de parámetros a 4 bits ocupa alrededor de 30 GB. Eso cabe en una tarjeta profesional, en dos tarjetas de consumo, o en el Mac Studio que Apple ha presentado hoy mismo con hasta 512 GB de memoria unificada.
Y encaja con lo que está pasando en paralelo: esta misma semana un desarrollador ha puesto un Qwen3.8-27B cuantizado en 22 GB a competir con Opus 5 High en un tramo de SWE-bench-Live. Son dos piezas del mismo movimiento.
La consecuencia práctica, para una empresa que tenga datos que no puedan salir de casa: el argumento de "en local vas a perder calidad" está perdiendo fuerza a bastante velocidad.
Los avisos
Son resultados del propio equipo que propone el método, no de un tercero independiente. Y en un solo modelo base. Hasta que alguien lo replique con otros modelos y otros tamaños, es un resultado prometedor y nada más.
El artículo tampoco confirma qué pesos concretos corresponden a la versión QAH cuantizada, aunque menciona modelos relacionados publicados. Para probarlo en serio habrá que esperar a que suban artefactos claros.
Fuente original: Hugging Face
Relacionado
