 AlpinDale
|
a4cbcfe59f
feat: disable logprob serialization to CPU for spec decode
|
hace 5 meses |
|
AlpinDale
|
fa15bad2ea
chore: minor AMD fixes
|
hace 5 meses |
|
AlpinDale
|
8ee8483fcf
`enable_gpu_advance_step` -> `allo_gpu_advance_step`
|
hace 5 meses |
 AlpinDale
|
dd18c5042c
move prepare_inputs to the GPU (#596)
|
hace 5 meses |
|
AlpinDale
|
5289c14b24
feat: Asymmetric Tensor Parallel (#594)
|
hace 5 meses |
|
AlpinDale
|
99680b2d23
feat: soft prompts (#589)
|
hace 5 meses |
|
AlpinDale
|
4f7d212b70
feat: remove vision language config
|
hace 5 meses |
|
AlpinDale
|
5be90c3859
Mamba infrastrucuture support (#586)
|
hace 5 meses |
|
AlpinDale
|
ae04f57ec1
feat: Pipeline Parallel support (#581)
|
hace 5 meses |
|
AlpinDale
|
cdff8e89f9
feat: introduce `DraftModelRunner`
|
hace 5 meses |
