AlpinDale 3e6addcc2c LLM: enable batched inference for llm.chat() API (#1120) hace 5 días
..
audio 8eb4a3cfd3 vlm: support multiple audios per prompt for Ultravox (#990) hace 1 mes
chat_templates 485d1de42e fix: hermes tool call chat template (#999) hace 1 mes
fp8 f1d0b77c92 [0.6.0] Release Candidate (#481) hace 5 meses
marlin 8a71788372 Add OLMoE (#772) hace 4 meses
monitoring b26a014b12 fix: prometheus.yaml path in monitoring example (#969) hace 1 mes
offline_inference 3e6addcc2c LLM: enable batched inference for llm.chat() API (#1120) hace 5 días
openai_api 313e198557 api: implement OpenAI-compatible tools API for Hermes/Mistral models (#993) hace 1 mes
vision a5bfc2bc3d VLM: add support for LLaVA-Onevision model (#1100) hace 2 semanas
aphrodite_engine_example.py f1d0b77c92 [0.6.0] Release Candidate (#481) hace 5 meses
api_client.py f32d57ed04 add inference examples hace 1 año
gguf_to_torch.py 9d81716bfd [v0.5.3] Release Candidate (#388) hace 9 meses
gradio_server.py e42a78381a feat: switch from pylint to ruff (#322) hace 11 meses
run_cluster.sh f1d0b77c92 [0.6.0] Release Candidate (#481) hace 5 meses
save_sharded_state.py f1d0b77c92 [0.6.0] Release Candidate (#481) hace 5 meses
tensorize_aphrodite_model.py 22a4cd4595 core: fix spec decode metrics and envs circular import (#889) hace 1 mes
xqa_attn.py 949f974c59 (1/N) XQA: integrate the XQA CUDA kernels within Aphrodite (#1115) hace 1 semana