| .. |
|
attention
|
0d3562a7f9
MQA in triton FA
|
8 månader sedan |
|
common
|
f22b700ee4
feat: marlin kernels for GPTQ (#547)
|
7 månader sedan |
|
distributed
|
ac5b4b6aa7
broadcast metadata through cpu
|
7 månader sedan |
|
endpoints
|
46159b107a
formatting: pt1
|
8 månader sedan |
|
engine
|
b1555eb208
add new grafana metrics
|
7 månader sedan |
|
executor
|
fb982981ce
num_lookahead_slots in neuron and ray executors
|
7 månader sedan |
|
kv_quant
|
e42a78381a
feat: switch from pylint to ruff (#322)
|
1 år sedan |
|
lora
|
e87c32bed3
feat: full tensor parallel for LoRA layers (#545)
|
7 månader sedan |
|
modeling
|
639e48e47d
fix: mistral nemo
|
7 månader sedan |
|
processing
|
aed64884c6
feat: prompt logprobs with chunked prefill (#539)
|
8 månader sedan |
|
quantization
|
ac5b4b6aa7
broadcast metadata through cpu
|
7 månader sedan |
|
spec_decode
|
9d81716bfd
[v0.5.3] Release Candidate (#388)
|
10 månader sedan |
|
task_handler
|
aed64884c6
feat: prompt logprobs with chunked prefill (#539)
|
8 månader sedan |
|
transformers_utils
|
3bbfd65549
feat: support hub model ID when offline
|
7 månader sedan |
|
__init__.py
|
199e776722
chore: move ray utils to executor dir
|
8 månader sedan |
|
py.typed
|
1c988a48b2
fix logging and add py.typed
|
1 år sedan |
AlpinDale
639e48e47d
fix: mistral nemo