AlpinDale 071269e406 feat: FP8 E4M3 KV Cache (#405) 9 месяцев назад
..
aqlm 705821a7fe feat: AQLM quantization support (#293) 10 месяцев назад
awq 41beab5dc1 add exllamav2 tensor paralell, fused MoE for GPTQ/AWQ 9 месяцев назад
bitsandbytes a98babfb74 fix: bnb on Turing GPUs (#299) 10 месяцев назад
exl2 41beab5dc1 add exllamav2 tensor paralell, fused MoE for GPTQ/AWQ 9 месяцев назад
fp8 071269e406 feat: FP8 E4M3 KV Cache (#405) 9 месяцев назад
fp8_e5m2_kvcache 8e1cd54497 fix: do not include fp8 for rocm (#271) 10 месяцев назад
gguf 89c32b40ec chore: add new imatrix quants (#320) 10 месяцев назад
gptq 41beab5dc1 add exllamav2 tensor paralell, fused MoE for GPTQ/AWQ 9 месяцев назад
int8_kvcache 9810daa699 feat: INT8 KV Cache (#298) 10 месяцев назад
marlin 41beab5dc1 add exllamav2 tensor paralell, fused MoE for GPTQ/AWQ 9 месяцев назад
quip aebd68c632 feat: backport kernels (#235) 11 месяцев назад
squeezellm 8fa608aeb7 feat: replace Ray with NCCL for control plane comms (#221) 11 месяцев назад