 AlpinDale
|
92cee435e2
rocm: add more quants, fix _scaled_mm call (#1062)
|
1 тиждень тому |
|
AlpinDale
|
b3f9ab3b72
quant: add tensor parallel support for bitsandbytes (#1052)
|
1 тиждень тому |
|
AlpinDale
|
a985143768
core: add cuda graph support for encoder-decoder models (#1051)
|
1 тиждень тому |
|
AlpinDale
|
4b1b658855
tpu: implement multi-step scheduling (#1046)
|
1 тиждень тому |
|
AlpinDale
|
ddaefd8d38
chore: remove engine_use_ray (#1024)
|
1 тиждень тому |
|
AlpinDale
|
f2b6dc3872
cpu: add support for W8A8 quantization via compressed-tensor (#1017)
|
2 тижнів тому |
|
AlpinDale
|
411ac4f405
vlm: add support for Qwen2-VL model (#1015)
|
2 тижнів тому |
|
AlpinDale
|
dcb36de9c4
quants: add support for NVIDIA's ModelOpt checkpoints (#1013)
|
2 тижнів тому |
|
AlpinDale
|
30d02d0747
chore: remove peft as a requirement (#1006)
|
2 тижнів тому |
|
AlpinDale
|
145e554a4d
neuron: add 8bit quantization for Neuron (#994)
|
2 тижнів тому |
|
AlpinDale
|
b3f6eeb1d2
vlm: increase the default `max_num_batched_tokens` for multimodal models (#973)
|
2 тижнів тому |
|
AlpinDale
|
5bec8fbb1b
tpu: add support for async postprocessing (#968)
|
2 тижнів тому |
|
AlpinDale
|
a8bdd488b9
distributed: support pipeline parallelism for internvl and internlm2 (#965)
|
2 тижнів тому |
|
AlpinDale
|
fcfcfc65e1
quants: add triton kernels for AWQ (#946)
|
2 тижнів тому |
|
AlpinDale
|
8d9f1fd4e6
feat: add single user mode (#927)
|
2 тижнів тому |
|
AlpinDale
|
f7f3fed265
feat: add async postprocessor (#925)
|
2 тижнів тому |
|
AlpinDale
|
132aa2abe4
spec decode: add support for EAGLE (#899)
|
3 тижнів тому |
|
AlpinDale
|
908ff753a1
fix: phi_3.5_v loading (#896)
|
3 тижнів тому |
|
AlpinDale
|
22a4cd4595
core: fix spec decode metrics and envs circular import (#889)
|
3 тижнів тому |
|
AlpinDale
|
901900854e
chore: consolidate environment variables within one file (#882)
|
4 тижнів тому |
|
AlpinDale
|
9288a98084
spec decoding: set the draft model ctxlen to target model (#874)
|
1 місяць тому |
|
AlpinDale
|
483c9e6e59
fix: disable awq_marlin override for awq models (#843)
|
1 місяць тому |
|
AlpinDale
|
2f61644f6e
SPMD optimizations (#824)
|
1 місяць тому |
|
AlpinDale
|
0a369f9171
feat: support chunked prefill with LoRA (#823)
|
1 місяць тому |
|
AlpinDale
|
c6c91edab7
ci: update & overhaul test units (#769)
|
1 місяць тому |
|
AlpinDale
|
0256ed236b
feat: windows support (#790)
|
2 місяців тому |
|
AlpinDale
|
7222b84582
feat: ministral support (#776)
|
2 місяців тому |
|
AlpinDale
|
73177656ed
feat: quant_llm support (#755)
|
3 місяців тому |
|
AlpinDale
|
89a2c6dee1
chore: refactor `MultiModalConfig` initialization and profiling (#745)
|
3 місяців тому |
|
AlpinDale
|
d34e083c48
feat: add experts_int8 support (#730)
|
3 місяців тому |
