 AlpinDale
|
224b87b484
feat: add fused mixtral moe support (#238)
|
1 an în urmă |
 Thomas Xin
|
43cf0e98a0
fix: worker initialization on WSL (#260)
|
1 an în urmă |
 swadical
|
0527131e93
fix: grammar logits processor (#268)
|
1 an în urmă |
|
AlpinDale
|
2370dbcfd8
feat: OPT model support (#266)
|
1 an în urmă |
 AlpinDale
|
4360684667
fix: cuda version in wheel
|
1 an în urmă |
 TearGosling
|
80e8a14949
feat: add pygchat Jinja template (#218)
|
1 an în urmă |
 sgsdxzy
|
fe7844f2ef
feat: sharding and safetensors support for gguf conversion (#256)
|
1 an în urmă |
|
AlpinDale
|
8635901c76
fix: s-lora vocab embeddings
|
1 an în urmă |
|
AlpinDale
|
c76b611021
docker: update the Dockerfile and push the latest image (#254)
|
1 an în urmă |
 anon998
|
35b9033782
fix: crash in quadratic sampling when batch > 1 (#253)
|
1 an în urmă |
|
AlpinDale
|
842912d022
feat: on-the-fly gguf conversion (#250)
|
1 an în urmă |
|
AlpinDale
|
faca8745d6
fix: linting issue (#249)
|
1 an în urmă |
|
AlpinDale
|
3163839c88
bump version to 0.4.9
|
1 an în urmă |
|
AlpinDale
|
f99eb2c874
fix: hadamard tensors not included in wheel
|
1 an în urmă |
|
AlpinDale
|
8b6790d504
fix: gguf config not recognized
|
1 an în urmă |
|
AlpinDale
|
a1836a40e2
bump version to v0.4.8
|
1 an în urmă |
|
AlpinDale
|
2bd6c92f73
fix: lora inclusion in wheels
|
1 an în urmă |
|
AlpinDale
|
8da2be03ce
feat: bump version to v0.4.7 (#248)
|
1 an în urmă |
|
AlpinDale
|
ea0f57b233
feat: allow further support for non-cuda devices (#247)
|
1 an în urmă |
|
AlpinDale
|
4faf78ba29
fix: grab correct quant config from revisions (#246)
|
1 an în urmă |
|
AlpinDale
|
7760913873
fix: garbage output from GPTQ (#245)
|
1 an în urmă |
 50h100a
|
f619c96c79
fix: zero token output due to temperature bias (#243)
|
1 an în urmă |
|
50h100a
|
53a9c60442
fix: logit processor declarations and application (#242)
|
1 an în urmă |
 50h100a
|
2e3318c1fa
yapf considers this space to be CRITICAL
|
1 an în urmă |
|
AlpinDale
|
9ed45fec7c
fix: incorrect prometheus url
|
1 an în urmă |
|
50h100a
|
25acebe33d
better variable naming
|
1 an în urmă |
|
AlpinDale
|
d2db4143fa
feat: add grafana for metrics (#240)
|
1 an în urmă |
|
AlpinDale
|
1a94ccf3cf
fix: prefix cache fail with lora (#239)
|
1 an în urmă |
|
50h100a
|
7b3bb995c1
topk as linear write
|
1 an în urmă |
|
AlpinDale
|
85c92acfb3
fix: do not initialize all-reduce at world_size=1
|
1 an în urmă |
