| .. |
|
attention
|
b7918ad45f
fix: attention kernel attribute (#52)
|
1 рік тому |
|
quantization
|
9f7a0e3ecb
feat: AWQ support for Turing GPUs (#53)
|
1 рік тому |
|
activation.cpp
|
32844c1522
add GELU kernels and remove compile bloat
|
1 рік тому |
|
activation_kernels.cu
|
32844c1522
add GELU kernels and remove compile bloat
|
1 рік тому |
|
attention.cpp
|
24c78e7306
optimization: multi-query attention kernel
|
1 рік тому |
|
cache.cpp
|
081545bde6
fix: various CUDA kernel tweaks
|
1 рік тому |
|
cache_kernels.cu
|
32844c1522
add GELU kernels and remove compile bloat
|
1 рік тому |
|
cuda_utils.cpp
|
75c27d3e65
massive overhaul
|
1 рік тому |
|
cuda_utils_kernels.cu
|
75c27d3e65
massive overhaul
|
1 рік тому |
|
dispatch_utils.h
|
32844c1522
add GELU kernels and remove compile bloat
|
1 рік тому |
|
layernorm.cpp
|
081545bde6
fix: various CUDA kernel tweaks
|
1 рік тому |
|
layernorm_kernels.cu
|
32844c1522
add GELU kernels and remove compile bloat
|
1 рік тому |
|
pos_encoding.cpp
|
45f6d9f923
initial refactor commit
|
1 рік тому |
|
pos_encoding_kernels.cu
|
45f6d9f923
initial refactor commit
|
1 рік тому |
|
quantization.cpp
|
0495c50a3e
GPTQ+exllama support (#21)
|
1 рік тому |
|
reduction.cuh
|
081545bde6
fix: various CUDA kernel tweaks
|
1 рік тому |
AlpinDale
9f7a0e3ecb
feat: AWQ support for Turing GPUs (#53)