AlpinDale 172dee2573 (2/N) Triton Backend: integrate Triton activation kernels (#1126) hace 3 días
..
fused_moe fa84f8102e kernels: split marlin kernels for faster compile, fix MoE, temporarily remove HQQ (#1119) hace 5 días
mamba 9bdf8d5bfa mamba: enable continuous batching for mamba kernels (#1055) hace 1 mes
ops 172dee2573 (2/N) Triton Backend: integrate Triton activation kernels (#1126) hace 3 días
__init__.py 07aa2a492f upstream: add option to specify tokenizer hace 1 año
activation.py 172dee2573 (2/N) Triton Backend: integrate Triton activation kernels (#1126) hace 3 días
layernorm.py 0c17153073 (1/N) Triton Backend: integrate Triton layernorm kernels (#1125) hace 5 días
linear.py b3f9ab3b72 quant: add tensor parallel support for bitsandbytes (#1052) hace 1 mes
logits_processor.py 0e558e9b2f fix: loading chameleon model with TP>1 (#695) hace 5 meses
pooler.py f1d0b77c92 [0.6.0] Release Candidate (#481) hace 5 meses
rejection_sampler.py a0f0160b79 spec decode: remove dead code from draft bonus tokens (#1101) hace 2 semanas
resampler.py 548e864404 models: add support for QwenVL (#995) hace 1 mes
rotary_embedding.py 0c17153073 (1/N) Triton Backend: integrate Triton layernorm kernels (#1125) hace 5 días
sampler.py f20f5c3491 samplers: improved DRY performance (#1108) hace 2 semanas
spec_decode_base_sampler.py a0f0160b79 spec decode: remove dead code from draft bonus tokens (#1101) hace 2 semanas
typical_acceptance_sampler.py eb1ffacf74 Spec Decoding: fix typical acceptance sampler with correct recovered tok IDs (#1106) hace 2 semanas
vocab_parallel_embedding.py 83af2524f3 quants: add GPTQ and FBGEMM to AphroditeParameters (#987) hace 1 mes