 AlpinDale
|
ddb28a80a3
fix: bump torch for rocm, unify CUDA_VISIBLE_DEVICES for cuda and rocm
|
6 månader sedan |
|
AlpinDale
|
ad24e74a99
feat: FP8 weight-only quantization support for Ampere GPUs
|
6 månader sedan |
 AlpinDale
|
5be90c3859
Mamba infrastrucuture support (#586)
|
6 månader sedan |
|
AlpinDale
|
5b464d36ea
feat: bias epilogue support for cutlass kernels
|
7 månader sedan |
|
AlpinDale
|
2c321ce1f2
chore: upgrade to rocm 6.1, update docker
|
7 månader sedan |
|
AlpinDale
|
7e54c3916d
chore: factor out epilogues from cutlass kernels
|
7 månader sedan |
|
AlpinDale
|
156f577f79
feat: switch from `PYBIND11_MODULE` to `TORCH_LIBRARY` (#569)
|
7 månader sedan |
|
AlpinDale
|
00acf371f9
rocm: fused topk softmax
|
7 månader sedan |
|
AlpinDale
|
0307da9e15
refactor: bitsandbytes -> autoquant
|
7 månader sedan |
|
AlpinDale
|
4ab4c5c87c
oops
|
7 månader sedan |
|
AlpinDale
|
d45c846c8c
do not build sm_90a for cuda 11
|
7 månader sedan |
|
AlpinDale
|
f4ea11b982
feat: initial support for activation quantization
|
7 månader sedan |
|
AlpinDale
|
2313c97e3d
add cutlass w8a8 kernels (#556)
|
7 månader sedan |
|
AlpinDale
|
c66b1b57b1
Marlin 2:4 sparsity (#555)
|
7 månader sedan |
|
AlpinDale
|
251568470e
initial nvidia fp8 e4m3 for kv cache
|
7 månader sedan |
|
AlpinDale
|
e3f2ea4850
make punica kernels work with rocm
|
7 månader sedan |
|
AlpinDale
|
f22b700ee4
feat: marlin kernels for GPTQ (#547)
|
7 månader sedan |
|
AlpinDale
|
fca911ee0a
vLLM Upstream Sync (#526)
|
8 månader sedan |
|
AlpinDale
|
9d81716bfd
[v0.5.3] Release Candidate (#388)
|
10 månader sedan |
|
AlpinDale
|
e120404436
Revert "feat: CMake Build System Generator (#332)"
|
1 år sedan |
|
AlpinDale
|
ad6802690f
feat: CMake Build System Generator (#332)
|
1 år sedan |
