 AlpinDale
|
31c95011a6
feat: FP8 E5M2 KV Cache (#226)
|
hai 1 ano |
|
AlpinDale
|
641bb0f6e9
feat: add custom allreduce kernels (#224)
|
hai 1 ano |
|
AlpinDale
|
c0aac15421
feat: S-LoRA support (#222)
|
hai 1 ano |
|
AlpinDale
|
8fa608aeb7
feat: replace Ray with NCCL for control plane comms (#221)
|
hai 1 ano |
|
AlpinDale
|
15a0454172
feat: FP8 KV Cache (#185)
|
hai 1 ano |
|
AlpinDale
|
b9b295d74e
chore: backlogs 1 (#191)
|
hai 1 ano |
 AlpinDale
|
17cdc5ac23
yapf
|
hai 1 ano |
 KaraKaraWitch
|
9a0b5a197d
fix: set CPU Affinity (#187)
|
hai 1 ano |
|
AlpinDale
|
7d91e9e0f2
feat: CUDA graphs (#172)
|
hai 1 ano |
|
AlpinDale
|
6c50f5b067
chore: include stop strings in output (#168)
|
hai 1 ano |
|
AlpinDale
|
980673ffb7
fix: fractional gpus (#157)
|
hai 1 ano |
|
AlpinDale
|
81e7981dce
feat: add prometheus production metrics (#154)
|
hai 1 ano |
|
AlpinDale
|
653da510d1
chore: rewrite InputMetadata (#143)
|
hai 1 ano |
|
AlpinDale
|
6c914ea0e4
fix: `SequenceOutputs` -> `SequenceOutput` (#133)
|
hai 1 ano |
|
AlpinDale
|
1aab8a7d6f
feat: speedup compilation times by 3x (#130)
|
hai 1 ano |
|
AlpinDale
|
237d2ec28d
fix: CPU OOM for large models (#128)
|
hai 1 ano |
|
AlpinDale
|
f49cb1ffe1
fix: duplication in engine step (#120)
|
hai 1 ano |
|
AlpinDale
|
8834ecf9de
chore: clean up refactor endpoints (#98)
|
hai 1 ano |
|
AlpinDale
|
e113f3e9bf
feat: spaces between special tokens (#94)
|
hai 1 ano |
 50h100a
|
fa0ae5a2c9
feat: new mirostatv2 implementation (#96)
|
hai 1 ano |
|
AlpinDale
|
efc6f7fbec
chore: reformats (#90)
|
hai 1 ano |
|
AlpinDale
|
e6be0118c9
feat: prompt logprobs and batched samplers (#77)
|
hai 1 ano |
|
AlpinDale
|
69a4c32b01
fix: openai server (#19)
|
hai 1 ano |
|
AlpinDale
|
cbeeabeb9a
feat: mistral support (#20)
|
hai 1 ano |
|
AlpinDale
|
75c27d3e65
massive overhaul
|
hai 1 ano |
|
AlpinDale
|
d9c1d4f6e5
add awq support
|
hai 1 ano |
|
AlpinDale
|
39beed0b87
Revert "Refactor AWQ support."
|
hai 1 ano |
|
AlpinDale
|
d09e27f5d4
Refactor AWQ support.
|
hai 1 ano |
|
AlpinDale
|
6b9561ef07
adapt TGI incremental detokenization
|
hai 1 ano |
|
AlpinDale
|
d71a84b780
fix: ModuleNotFoundError for remote code models
|
hai 1 ano |
