| .. |
|
__init__.py
|
9d81716bfd
[v0.5.3] Release Candidate (#388)
|
8 місяців тому |
|
abstract.py
|
22305c91e9
refactor _prepare_model_input_tensor and attn metadata builder for most backends
|
5 місяців тому |
|
blocksparse_attn.py
|
22305c91e9
refactor _prepare_model_input_tensor and attn metadata builder for most backends
|
5 місяців тому |
|
flash_attn.py
|
22305c91e9
refactor _prepare_model_input_tensor and attn metadata builder for most backends
|
5 місяців тому |
|
flashinfer.py
|
8adc496a2a
fix: use paged attention for bloc swapping/copying in flashinfer
|
5 місяців тому |
|
ipex_attn.py
|
22305c91e9
refactor _prepare_model_input_tensor and attn metadata builder for most backends
|
5 місяців тому |
|
openvino.py
|
0886c361f4
feat: OpenVINO CPU backend (#576)
|
5 місяців тому |
|
pallas.py
|
9d7beaa5b9
chore: separate kv_scale into k_scale and v_scale
|
5 місяців тому |
|
rocm_flash_attn.py
|
fa15bad2ea
chore: minor AMD fixes
|
5 місяців тому |
|
torch_sdpa.py
|
22305c91e9
refactor _prepare_model_input_tensor and attn metadata builder for most backends
|
5 місяців тому |
|
utils.py
|
22305c91e9
refactor _prepare_model_input_tensor and attn metadata builder for most backends
|
5 місяців тому |
|
xformers.py
|
22305c91e9
refactor _prepare_model_input_tensor and attn metadata builder for most backends
|
5 місяців тому |
AlpinDale
fa15bad2ea
chore: minor AMD fixes