Cuantización HQQ sin datos de calibración
Half-Quadratic Quantization para LLMs sin necesidad de datos de calibración, permitiendo cuantizar modelos a 4, 3 o 2 bits en flujos rápidos y desplegarlos con…
Half-Quadratic Quantization para LLMs sin necesidad de datos de calibración, permitiendo cuantizar modelos a 4, 3 o 2 bits en flujos rápidos y desplegarlos con…