.. |
async_aphrodite
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
basic_correctness
|
f7f3fed265
feat: add async postprocessor (#925)
|
2 місяців тому |
benchmarks
|
fe01e2ded8
chore: move `device` keys to a constant (#1020)
|
2 місяців тому |
compile
|
0e5cf7f840
tpu: avoid dynamo guard eval overhead (#949)
|
2 місяців тому |
core
|
f7f3fed265
feat: add async postprocessor (#925)
|
2 місяців тому |
distributed
|
4d14bd1fe5
vlm: add multi-input support for LLaVA and InternVL models (#1002)
|
2 місяців тому |
endpoints
|
f644e10449
vlm: enable multimodal inputs for the LLM class (#992)
|
2 місяців тому |
engine
|
3bb0f07461
chore: rename `task_handler` to `worker` (#985)
|
2 місяців тому |
kernels
|
a113309876
kernel: add meta functions for ops to prevent graph breaks (#1019)
|
2 місяців тому |
lora
|
3bb0f07461
chore: rename `task_handler` to `worker` (#985)
|
2 місяців тому |
metrics
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
modeling
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
models
|
be59e30139
vlm: add support for video modality + llava next video (#1014)
|
2 місяців тому |
multi_step
|
0dfa6b60ec
core: support logprobs with multi-step scheduling (#963)
|
2 місяців тому |
multimodal
|
2aabf8fcf7
vlm: fix errors on ragged NestedTensors (#953)
|
2 місяців тому |
plugins
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
prefix_caching
|
3d83e64f8e
feat: add metrics for prefix cache hit rate (#829)
|
3 місяців тому |
prompt_adapter
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
prompts
|
e1f3fd1e02
fix: test units (#201)
|
1 рік тому |
quantization
|
6bdff60aab
quant: support pre-quanted bitsandbytes checkpoints (#961)
|
2 місяців тому |
samplers
|
2150bb5019
sampler: add range parameter for DRY (#855)
|
3 місяців тому |
spec_decode
|
0859dc3bc0
tests: refactor speculative decoding tests to remove the async engine (#1021)
|
2 місяців тому |
tensorizer_loader
|
673621a3d2
xpu: refactor the model runner for tensor parallelism (#910)
|
2 місяців тому |
tokenization
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
tool_use
|
0191c5efd1
tools: fix tool calls to more strictly follow OpenAI format (#1003)
|
2 місяців тому |
tpu
|
ea59784f59
tpu: remove torch._dynamo.reset() (#952)
|
2 місяців тому |
weight_loading
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
worker
|
3bb0f07461
chore: rename `task_handler` to `worker` (#985)
|
2 місяців тому |
__init__.py
|
2755a48d51
merge dev branch into main (#153)
|
1 рік тому |
conftest.py
|
be59e30139
vlm: add support for video modality + llava next video (#1014)
|
2 місяців тому |
test_cache_block_hashing.py
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
test_config.py
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
test_embedded_commit.py
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
test_inputs.py
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
test_logits_processor.py
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
test_regression.py
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
test_sampling_params.py
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
test_scalartype.py
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
test_sequence.py
|
0dfa6b60ec
core: support logprobs with multi-step scheduling (#963)
|
2 місяців тому |
test_sharded_state_loader.py
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
test_utils.py
|
c6c91edab7
ci: update & overhaul test units (#769)
|
3 місяців тому |
utils.py
|
313e198557
api: implement OpenAI-compatible tools API for Hermes/Mistral models (#993)
|
2 місяців тому |