Historial de Commits

Autor SHA1 Mensaje Fecha
  AlpinDale 4d4e767838 ci: take one of fixing lint issues hace 4 meses
  AlpinDale 614ca6b0bf feat: support logits soft capping with flash attention backend hace 4 meses
  AlpinDale 51ea8ad376 chore: modularize prepare input and attn metadata builder hace 4 meses
  AlpinDale 22305c91e9 refactor _prepare_model_input_tensor and attn metadata builder for most backends hace 4 meses
  AlpinDale 9d7beaa5b9 chore: separate kv_scale into k_scale and v_scale hace 4 meses
  AlpinDale 2105e4fd6b feat: correctly invoke prefill & decode kernels for cross-attention hace 4 meses
  AlpinDale 405bb74612 Control plane comms refactor (#573) hace 5 meses
  AlpinDale 696f2cd59c add phi3_small support with blocksparse attention hace 5 meses
  AlpinDale a94de94c44 refactor: combine the prefill and decode into a single API (#553) hace 5 meses
  AlpinDale 50b7c13db0 refactor: attention selector (#552) hace 5 meses
  AlpinDale 8b56dc4347 dict -> torch.Tensor for blocks_to_swap hace 5 meses
  AlpinDale 3a0d1c7705 add get_name method to attention backends hace 5 meses
  AlpinDale 21ce19b3ea blocks_to_copy dict -> torch.Tensor hace 5 meses
  AlpinDale 2351a0e2cd feat: FlashInfer backend for decoding phase (#548) hace 5 meses
  AlpinDale fca911ee0a vLLM Upstream Sync (#526) hace 6 meses
  AlpinDale 9d81716bfd [v0.5.3] Release Candidate (#388) hace 8 meses