 AlpinDale
|
d8c4193704
feat: Speculative Decoding using a draft model (#432)
|
před 9 měsíci |
 AlpinDale
|
309339ffd3
separate api server args into another file
|
před 10 měsíci |
 sgsdxzy
|
214151b04c
fix: max_num_batched_tokens for chunked_prefill (#412)
|
před 10 měsíci |
|
AlpinDale
|
e0c35bb353
feat: bitsandbytes and `--load-in{4,8}bit` support (#294)
|
před 11 měsíci |
|
AlpinDale
|
ac82b67f75
feat: naive context shift and various QoL changes (#289)
|
před 11 měsíci |
|
AlpinDale
|
72229a94da
feat: better marlin kernels (#285)
|
před 11 měsíci |
|
AlpinDale
|
c3a221eb02
feat: GGUF, QuIP#, and Marlin support (#228)
|
před 1 rokem |
|
AlpinDale
|
31c95011a6
feat: FP8 E5M2 KV Cache (#226)
|
před 1 rokem |
|
AlpinDale
|
641bb0f6e9
feat: add custom allreduce kernels (#224)
|
před 1 rokem |
|
AlpinDale
|
e1f3fd1e02
fix: test units (#201)
|
před 1 rokem |
