Cuantización con bitsandbytes
Cuantiza LLMs a 8 o 4 bits para reducir la memoria un 50-75% con mínima pérdida de precisión: formatos INT8, NF4 y FP4, entrenamiento QLoRA y optimizadores de…
Cuantiza LLMs a 8 o 4 bits para reducir la memoria un 50-75% con mínima pérdida de precisión: formatos INT8, NF4 y FP4, entrenamiento QLoRA y optimizadores de…