 sgsdxzy
|
214151b04c
fix: max_num_batched_tokens for chunked_prefill (#412)
|
9 місяців тому |
|
sgsdxzy
|
6a0a6360f1
fix: Allow setting config-path when converting ggufs. (#410)
|
9 місяців тому |
|
sgsdxzy
|
fcfb72af24
Support arbitrary model in GGUF. (#381)
|
10 місяців тому |
 AlpinDale
|
e42a78381a
feat: switch from pylint to ruff (#322)
|
11 місяців тому |
|
sgsdxzy
|
fe7844f2ef
feat: sharding and safetensors support for gguf conversion (#256)
|
1 рік тому |
|
AlpinDale
|
c3a221eb02
feat: GGUF, QuIP#, and Marlin support (#228)
|
1 рік тому |
