Historial de Commits

Autor SHA1 Mensaje Fecha
  AlpinDale 696f2cd59c add phi3_small support with blocksparse attention hace 6 meses
  AlpinDale b8b63eb5ca fix head_size check for flash attention backend hace 6 meses
  AlpinDale 93cffaf446 add flash_attn back hace 6 meses
  AlpinDale 0c15965621 fix fp8 kv hace 6 meses
  AlpinDale a94de94c44 refactor: combine the prefill and decode into a single API (#553) hace 6 meses
  AlpinDale 01190e5049 use flash attention for the decoding phase hace 6 meses
  AlpinDale 50b7c13db0 refactor: attention selector (#552) hace 6 meses
  AlpinDale d11d68f4e6 switch to vllm-flash-attn hace 6 meses
  AlpinDale 8b56dc4347 dict -> torch.Tensor for blocks_to_swap hace 6 meses
  AlpinDale 3a0d1c7705 add get_name method to attention backends hace 6 meses
  AlpinDale 21ce19b3ea blocks_to_copy dict -> torch.Tensor hace 6 meses
  AlpinDale 35ae01d7ba refactor: attention metadata term hace 6 meses
  AlpinDale aa15d3dc0f sliding window in prefix prefill kernel hace 6 meses
  AlpinDale fca911ee0a vLLM Upstream Sync (#526) hace 7 meses
  AlpinDale 66b7bc4415 sliding window in prefix kernel hace 8 meses
  AlpinDale 9d81716bfd [v0.5.3] Release Candidate (#388) hace 9 meses