 AlpinDale
|
e8af0d4a3b
fix: type annotation in worker
|
5 månader sedan |
 AlpinDale
|
5289c14b24
feat: Asymmetric Tensor Parallel (#594)
|
5 månader sedan |
|
AlpinDale
|
d9f4c36edd
feat: Medusa speculative decoding support (#590)
|
5 månader sedan |
|
AlpinDale
|
99680b2d23
feat: soft prompts (#589)
|
5 månader sedan |
|
AlpinDale
|
1ff6d4c3d7
feat: support pipeline parallel on indivisible GPU count (#587)
|
5 månader sedan |
|
AlpinDale
|
4f7d212b70
feat: remove vision language config
|
5 månader sedan |
|
AlpinDale
|
cda0e93a10
abstract away the platform for device capability
|
5 månader sedan |
|
AlpinDale
|
ae04f57ec1
feat: Pipeline Parallel support (#581)
|
5 månader sedan |
|
AlpinDale
|
7d79c0e726
chore: use nvml query to avoid accidental cuda initialization
|
5 månader sedan |
|
AlpinDale
|
cdff8e89f9
feat: introduce `DraftModelRunner`
|
5 månader sedan |
|
AlpinDale
|
405bb74612
Control plane comms refactor (#573)
|
5 månader sedan |
|
AlpinDale
|
25feb1d592
chore: add support for pinning lora adapters in the lru cache
|
5 månader sedan |
|
AlpinDale
|
af43576da0
feat: add MLPSpeculator speculative decoding support (#572)
|
5 månader sedan |
|
AlpinDale
|
6a57861fca
feat: initial XPU support via intel_extension_for_pytorch (#571)
|
6 månader sedan |
|
AlpinDale
|
d0cca80b8b
feat: support sharded tensorizer models
|
6 månader sedan |
|
AlpinDale
|
eb2c5c77df
feat: enforce the max possible seqlen
|
6 månader sedan |
|
AlpinDale
|
de62ceb18c
refactor: eliminate parallel worker per-step task scheduling overhead
|
6 månader sedan |
|
AlpinDale
|
236be273e5
feat: tensor parallel speculative decoding (#554)
|
6 månader sedan |
|
AlpinDale
|
7bcff4ac03
implement sharded state dict
|
6 månader sedan |
|
AlpinDale
|
b984fe4a91
refactor custom allreduce to support multiple tp groups
|
6 månader sedan |
|
AlpinDale
|
be8154a8a0
feat: proper embeddings API with e5-mistral-7b support
|
6 månader sedan |
|
AlpinDale
|
8ae2cce237
refactor pynccl
|
6 månader sedan |
|
AlpinDale
|
0e062e66d3
set block size at init
|
6 månader sedan |
|
AlpinDale
|
8b56dc4347
dict -> torch.Tensor for blocks_to_swap
|
6 månader sedan |
|
AlpinDale
|
21ce19b3ea
blocks_to_copy dict -> torch.Tensor
|
6 månader sedan |
|
AlpinDale
|
ef733aee43
implement ExecuteModelData to reduce executor complexity
|
6 månader sedan |
|
AlpinDale
|
1879e32510
enable all-reduce for multiple tp groups
|
6 månader sedan |
|
AlpinDale
|
46159b107a
formatting: pt1
|
7 månader sedan |
|
AlpinDale
|
4c746d8baa
chore: init nccl using the gloo backend
|
7 månader sedan |
|
AlpinDale
|
fca911ee0a
vLLM Upstream Sync (#526)
|
7 månader sedan |
