 AlpinDale
|
a07fc83bc8
chore: proper util for aphrodite version
|
hace 7 meses |
 AlpinDale
|
fe21123a1c
feat: TPU support (#570)
|
hace 7 meses |
|
AlpinDale
|
156f577f79
feat: switch from `PYBIND11_MODULE` to `TORCH_LIBRARY` (#569)
|
hace 7 meses |
|
AlpinDale
|
00acf371f9
rocm: fused topk softmax
|
hace 7 meses |
|
AlpinDale
|
54f4f1e7f3
allow the cutlass kernels to take scales that reside on the GPU
|
hace 7 meses |
|
AlpinDale
|
52474b8fa9
build: parallelize all build extensions
|
hace 7 meses |
|
AlpinDale
|
7194047318
remove vllm-nccl
|
hace 7 meses |
|
AlpinDale
|
f6250c5516
move dockerfiles to root; fix cpu build
|
hace 7 meses |
|
AlpinDale
|
c6a501f682
add multiprocessing executor; make ray optional
|
hace 7 meses |
|
AlpinDale
|
0cea453d36
automatically detect tensorized models
|
hace 7 meses |
|
AlpinDale
|
e3f2ea4850
make punica kernels work with rocm
|
hace 8 meses |
|
AlpinDale
|
d11d68f4e6
switch to vllm-flash-attn
|
hace 8 meses |
|
AlpinDale
|
c4a9784795
properly exclude tests
|
hace 8 meses |
|
AlpinDale
|
69f37f5806
skip compilation properly
|
hace 8 meses |
|
AlpinDale
|
1b6bc0f379
upgrade tensorizer
|
hace 8 meses |
|
AlpinDale
|
e87c32bed3
feat: full tensor parallel for LoRA layers (#545)
|
hace 8 meses |
 Naomiusearch
|
893158a4ed
fix: quants installation on ROCm (#469)
|
hace 10 meses |
|
AlpinDale
|
9d81716bfd
[v0.5.3] Release Candidate (#388)
|
hace 10 meses |
|
AlpinDale
|
9534fcfb7b
fix: build error
|
hace 11 meses |
|
AlpinDale
|
29c241c115
fix: explicitly disallow installation on non-linux platforms (#373)
|
hace 11 meses |
|
AlpinDale
|
3d6695cfbb
feat: add approximate gelu activation kernels (#370)
|
hace 11 meses |
|
AlpinDale
|
f8dfac6372
chore: attention refactor and upstream sync apr01 (#365)
|
hace 11 meses |
|
AlpinDale
|
e120404436
Revert "feat: CMake Build System Generator (#332)"
|
hace 1 año |
|
AlpinDale
|
ad6802690f
feat: CMake Build System Generator (#332)
|
hace 1 año |
|
AlpinDale
|
e42a78381a
feat: switch from pylint to ruff (#322)
|
hace 1 año |
|
AlpinDale
|
c41462cfcd
feat: exllamav2 quantization (#305)
|
hace 1 año |
 sgsdxzy
|
94c1543cae
fix: typo in marlin kernel path (#295)
|
hace 1 año |
|
AlpinDale
|
e0c35bb353
feat: bitsandbytes and `--load-in{4,8}bit` support (#294)
|
hace 1 año |
|
AlpinDale
|
705821a7fe
feat: AQLM quantization support (#293)
|
hace 1 año |
|
AlpinDale
|
13d850334e
fix: navi support (#283)
|
hace 1 año |
