| .. |
|
compressed_tensors
|
e8b7f53321
allow prompt token IDs in the logits processor api
|
7 månader sedan |
|
gguf_utils
|
9d81716bfd
[v0.5.3] Release Candidate (#388)
|
10 månader sedan |
|
__init__.py
|
f4ea11b982
feat: initial support for activation quantization
|
7 månader sedan |
|
aqlm.py
|
c66b1b57b1
Marlin 2:4 sparsity (#555)
|
7 månader sedan |
|
awq.py
|
c66b1b57b1
Marlin 2:4 sparsity (#555)
|
7 månader sedan |
|
base_config.py
|
c66b1b57b1
Marlin 2:4 sparsity (#555)
|
7 månader sedan |
|
bitsandbytes.py
|
c66b1b57b1
Marlin 2:4 sparsity (#555)
|
7 månader sedan |
|
deepspeedfp.py
|
4acf34417a
feat: add DeepSpeedFP quantization for all models
|
7 månader sedan |
|
eetq.py
|
b178ae4b4a
chore: generalize linear_method to be quant_method (#540)
|
8 månader sedan |
|
exl2.py
|
b178ae4b4a
chore: generalize linear_method to be quant_method (#540)
|
8 månader sedan |
|
fp8.py
|
656459fd84
make fp8_e4m3 work on nvidia
|
7 månader sedan |
|
gguf.py
|
b178ae4b4a
chore: generalize linear_method to be quant_method (#540)
|
8 månader sedan |
|
gptq.py
|
c66b1b57b1
Marlin 2:4 sparsity (#555)
|
7 månader sedan |
|
gptq_marlin.py
|
5b0c11d190
support pipeline parallel pynccl groups
|
7 månader sedan |
|
gptq_marlin_24.py
|
f6250c5516
move dockerfiles to root; fix cpu build
|
7 månader sedan |
|
hadamard.safetensors
|
9d81716bfd
[v0.5.3] Release Candidate (#388)
|
10 månader sedan |
|
marlin.py
|
c66b1b57b1
Marlin 2:4 sparsity (#555)
|
7 månader sedan |
|
quip.py
|
c66b1b57b1
Marlin 2:4 sparsity (#555)
|
7 månader sedan |
|
quip_utils.py
|
9d81716bfd
[v0.5.3] Release Candidate (#388)
|
10 månader sedan |
|
schema.py
|
9d81716bfd
[v0.5.3] Release Candidate (#388)
|
10 månader sedan |
|
squeezellm.py
|
f6250c5516
move dockerfiles to root; fix cpu build
|
7 månader sedan |
AlpinDale
e8b7f53321
allow prompt token IDs in the logits processor api