.. |
backends
|
d9d287a288
rocm: enable multi-step scheduling for rocm (#1071)
|
hace 5 días |
ops
|
e200775863
feat: enable using fp8 kv and prefix caching with chunked prefill (#668)
|
hace 4 meses |
__init__.py
|
1405051912
attention: add `AttentionState` abstraction (#863)
|
hace 1 mes |
layer.py
|
bf88c8567e
feat: mamba model support (#674)
|
hace 4 meses |
selector.py
|
4ddc14d653
core: use flashinfer for FP8 KV when available (#944)
|
hace 2 semanas |