Historie revizí

Autor SHA1 Zpráva Datum
  AlpinDale 6c1eab6a6c feat: non-blocking transfer in prepare_input před 4 měsíci
  AlpinDale 212b9d8a03 refactor: add has_prefix_cache_hit flag to FlashAttentionMetadataBuilder před 4 měsíci
  AlpinDale 614ca6b0bf feat: support logits soft capping with flash attention backend před 4 měsíci
  AlpinDale b15e6376f8 bump to torch 2.4.0, add aphrodite_flash_attn (#614) před 4 měsíci
  AlpinDale 705e50f4bd fix: broadcasting logic for multi_modal_kwargs před 4 měsíci
  AlpinDale 98ad5a6cba fix: decode tokens w/ CUDA graphs and graps with flashinfer před 4 měsíci
  AlpinDale 32bdbd1ee4 chore: add fp8 support to `reshape_and_cache_flash` před 4 měsíci
  AlpinDale 84a9cd25c9 fix: some naming issues před 5 měsíci
  AlpinDale 51ea8ad376 chore: modularize prepare input and attn metadata builder před 5 měsíci
  AlpinDale 22305c91e9 refactor _prepare_model_input_tensor and attn metadata builder for most backends před 5 měsíci
  AlpinDale 9d7beaa5b9 chore: separate kv_scale into k_scale and v_scale před 5 měsíci
  AlpinDale 2105e4fd6b feat: correctly invoke prefill & decode kernels for cross-attention před 5 měsíci
  AlpinDale 405bb74612 Control plane comms refactor (#573) před 5 měsíci
  AlpinDale ab7f4ed6e5 chore: revert commit for removing unnecessary copies in flash attn backend před 5 měsíci
  AlpinDale 156f577f79 feat: switch from `PYBIND11_MODULE` to `TORCH_LIBRARY` (#569) před 5 měsíci
  AlpinDale 75f97bc25d bump flash-attn to remove unnecessary copies in the backend před 5 měsíci
  AlpinDale 696f2cd59c add phi3_small support with blocksparse attention před 5 měsíci
  AlpinDale b8b63eb5ca fix head_size check for flash attention backend před 6 měsíci
  AlpinDale 93cffaf446 add flash_attn back před 6 měsíci
  AlpinDale 0c15965621 fix fp8 kv před 6 měsíci
  AlpinDale a94de94c44 refactor: combine the prefill and decode into a single API (#553) před 6 měsíci
  AlpinDale 01190e5049 use flash attention for the decoding phase před 6 měsíci
  AlpinDale 50b7c13db0 refactor: attention selector (#552) před 6 měsíci
  AlpinDale d11d68f4e6 switch to vllm-flash-attn před 6 měsíci
  AlpinDale 8b56dc4347 dict -> torch.Tensor for blocks_to_swap před 6 měsíci
  AlpinDale 3a0d1c7705 add get_name method to attention backends před 6 měsíci
  AlpinDale 21ce19b3ea blocks_to_copy dict -> torch.Tensor před 6 měsíci
  AlpinDale 35ae01d7ba refactor: attention metadata term před 6 měsíci
  AlpinDale aa15d3dc0f sliding window in prefix prefill kernel před 6 měsíci
  AlpinDale fca911ee0a vLLM Upstream Sync (#526) před 6 měsíci