 AlpinDale
|
237fa59aea
feat: support CPU/GPU swapping in BlockManagerV2
|
преди 7 месеца |
|
AlpinDale
|
5b0c11d190
support pipeline parallel pynccl groups
|
преди 7 месеца |
|
AlpinDale
|
b7667151e5
fix scheduler being off by one for lora support
|
преди 7 месеца |
|
AlpinDale
|
9e73559eba
make use of batched rotary embedding kernels to support long context lora
|
преди 7 месеца |
|
AlpinDale
|
eaa06fdd14
fix some f-strings
|
преди 7 месеца |
|
AlpinDale
|
342346afda
improve hashing function
|
преди 7 месеца |
|
AlpinDale
|
fd0a5c0ea4
raise a warning during preemption and swapping
|
преди 7 месеца |
|
AlpinDale
|
be8154a8a0
feat: proper embeddings API with e5-mistral-7b support
|
преди 7 месеца |
|
AlpinDale
|
8b56dc4347
dict -> torch.Tensor for blocks_to_swap
|
преди 7 месеца |
|
AlpinDale
|
148aca8ff1
cow => dict[int, list] -> list
|
преди 7 месеца |
|
AlpinDale
|
21ce19b3ea
blocks_to_copy dict -> torch.Tensor
|
преди 7 месеца |
|
AlpinDale
|
ef733aee43
implement ExecuteModelData to reduce executor complexity
|
преди 7 месеца |
|
AlpinDale
|
25c2b6feca
ignore infeasible swap requests
|
преди 7 месеца |
|
AlpinDale
|
5529304d1f
fix sampling with n>1
|
преди 8 месеца |
 AlpinDale
|
aed64884c6
feat: prompt logprobs with chunked prefill (#539)
|
преди 8 месеца |
|
AlpinDale
|
fca911ee0a
vLLM Upstream Sync (#526)
|
преди 8 месеца |
|
AlpinDale
|
9d81716bfd
[v0.5.3] Release Candidate (#388)
|
преди 10 месеца |
|
AlpinDale
|
78d66f16d1
Chunked Prefill Part 1 (#384)
|
преди 11 месеца |
|
AlpinDale
|
f8dfac6372
chore: attention refactor and upstream sync apr01 (#365)
|
преди 11 месеца |
|
AlpinDale
|
e42a78381a
feat: switch from pylint to ruff (#322)
|
преди 1 година |
|
AlpinDale
|
c2d77b1822
chore: logging refactor (#302)
|
преди 1 година |
|
AlpinDale
|
ac82b67f75
feat: naive context shift and various QoL changes (#289)
|
преди 1 година |
|
AlpinDale
|
4d04ade9ef
feat: fine-grained seeds (#279)
|
преди 1 година |
|
AlpinDale
|
c0aac15421
feat: S-LoRA support (#222)
|
преди 1 година |
|
AlpinDale
|
8fa608aeb7
feat: replace Ray with NCCL for control plane comms (#221)
|
преди 1 година |
|
AlpinDale
|
b9b295d74e
chore: backlogs 1 (#191)
|
преди 1 година |
 g4rg
|
2aab3da9bd
chore: fix Python 3.8+ compatibility (#170)
|
преди 1 година |
|
AlpinDale
|
9ec4e08ade
fix: cpu sync delay fix (#127)
|
преди 1 година |
|
AlpinDale
|
13901af940
fix: scheduler hang with long prompts (#126)
|
преди 1 година |
 50h100a
|
fa0ae5a2c9
feat: new mirostatv2 implementation (#96)
|
преди 1 година |
