 AlpinDale
|
efc6f7fbec
chore: reformats (#90)
|
hai 1 ano |
|
AlpinDale
|
3d72f05c7b
feat: flattened 1D tensor -> 2D tensor (#85)
|
hai 1 ano |
 AlpinDale
|
0dcc924088
readme: add benchmarks
|
hai 1 ano |
|
AlpinDale
|
eafcd75a69
fix tests and tweak throughput benchmark
|
hai 1 ano |
|
AlpinDale
|
2460d17e54
fix positional encoding tests
|
hai 1 ano |
|
AlpinDale
|
b047197513
tests: increase tolerance for layernorm
|
hai 1 ano |
|
AlpinDale
|
9b317aa26a
feat: finish up tests and workflows (#87)
|
hai 1 ano |
|
AlpinDale
|
f73f2dd3c2
feat: add mistral support for GPTQ (#86)
|
hai 1 ano |
|
AlpinDale
|
e6be0118c9
feat: prompt logprobs and batched samplers (#77)
|
hai 1 ano |
 city-unit
|
12e296b556
fix: update Dockerfile (#82)
|
hai 1 ano |
|
city-unit
|
27af10fd0b
chore: make entrypoint executable (#83)
|
hai 1 ano |
|
AlpinDale
|
977e8d3507
update readme with new sampling params
|
hai 1 ano |
|
AlpinDale
|
ab1ac578ba
bump version to 0.3.7-dev
|
hai 1 ano |
 Stefan Gligorijevic
|
34c1c8c83a
feat: Enable banning tokens (#80)
|
hai 1 ano |
|
AlpinDale
|
4e71bd1d12
feat: add PagedAttention V2 kernels (#76)
|
hai 1 ano |
 50h100a
|
d0eadd4dbd
Added `min_tokens` and reimplemented `ignore_eos` using a new logit processor (#70)
|
hai 1 ano |
|
AlpinDale
|
04a27c6aeb
fix: revert mirostat v2 (#79)
|
hai 1 ano |
|
AlpinDale
|
9c353a0e02
fix: unnecessary import
|
hai 1 ano |
|
AlpinDale
|
ce5e2332ea
fix: launch AWQ kernels on the current CUDAStream (#75)
|
hai 1 ano |
|
AlpinDale
|
561773dec8
fix: hopefully fixes github actions
|
hai 1 ano |
|
AlpinDale
|
2c1d6a8cf2
fix: fast tokenizer latency reduction
|
hai 1 ano |
|
AlpinDale
|
28db67fd78
fix: mistral support
|
hai 1 ano |
|
AlpinDale
|
d8f04f29a9
readme: update sampling params
|
hai 1 ano |
|
Stefan Gligorijevic
|
5acc27adeb
chore: fix parameter validation on ooba endpoint
|
hai 1 ano |
|
Stefan Gligorijevic
|
93daff0384
chore: delete leftover debug prints
|
hai 1 ano |
|
Stefan Gligorijevic
|
5dbd262033
feat: Mirostat v2 (#69)
|
hai 1 ano |
|
AlpinDale
|
f393dc2af1
fix: broken GPTQ layer
|
hai 1 ano |
|
AlpinDale
|
3bf6197afb
fix: prompt processing delay introduced by #66 (#71)
|
hai 1 ano |
|
AlpinDale
|
9df91fe863
bump version to 0.3.6
|
hai 1 ano |
|
AlpinDale
|
2b42a1ada2
bump the version to 0.3.5
|
hai 1 ano |
