 AlpinDale
|
ce66e1df56
fix: sync CPU delay in sampler (#93)
|
há 1 ano atrás |
 AlpinDale
|
11c01cfd0a
fix: skip special tokens
|
há 1 ano atrás |
|
AlpinDale
|
41341b220a
requirements: pin pydantic version
|
há 1 ano atrás |
 g4rg
|
177fad1575
chore: remove unnecessary line (#81)
|
há 1 ano atrás |
|
AlpinDale
|
74604eb252
fix: pylint complaints (#91)
|
há 1 ano atrás |
|
AlpinDale
|
efc6f7fbec
chore: reformats (#90)
|
há 1 ano atrás |
|
AlpinDale
|
3d72f05c7b
feat: flattened 1D tensor -> 2D tensor (#85)
|
há 1 ano atrás |
|
AlpinDale
|
0dcc924088
readme: add benchmarks
|
há 1 ano atrás |
|
AlpinDale
|
eafcd75a69
fix tests and tweak throughput benchmark
|
há 1 ano atrás |
|
AlpinDale
|
2460d17e54
fix positional encoding tests
|
há 1 ano atrás |
|
AlpinDale
|
b047197513
tests: increase tolerance for layernorm
|
há 1 ano atrás |
|
AlpinDale
|
9b317aa26a
feat: finish up tests and workflows (#87)
|
há 1 ano atrás |
|
AlpinDale
|
f73f2dd3c2
feat: add mistral support for GPTQ (#86)
|
há 1 ano atrás |
|
AlpinDale
|
e6be0118c9
feat: prompt logprobs and batched samplers (#77)
|
há 1 ano atrás |
 city-unit
|
12e296b556
fix: update Dockerfile (#82)
|
há 1 ano atrás |
|
city-unit
|
27af10fd0b
chore: make entrypoint executable (#83)
|
há 1 ano atrás |
|
AlpinDale
|
977e8d3507
update readme with new sampling params
|
há 1 ano atrás |
|
AlpinDale
|
ab1ac578ba
bump version to 0.3.7-dev
|
há 1 ano atrás |
 Stefan Gligorijevic
|
34c1c8c83a
feat: Enable banning tokens (#80)
|
há 1 ano atrás |
|
AlpinDale
|
4e71bd1d12
feat: add PagedAttention V2 kernels (#76)
|
há 1 ano atrás |
 50h100a
|
d0eadd4dbd
Added `min_tokens` and reimplemented `ignore_eos` using a new logit processor (#70)
|
há 1 ano atrás |
|
AlpinDale
|
04a27c6aeb
fix: revert mirostat v2 (#79)
|
há 1 ano atrás |
|
AlpinDale
|
9c353a0e02
fix: unnecessary import
|
há 1 ano atrás |
|
AlpinDale
|
ce5e2332ea
fix: launch AWQ kernels on the current CUDAStream (#75)
|
há 1 ano atrás |
|
AlpinDale
|
561773dec8
fix: hopefully fixes github actions
|
há 1 ano atrás |
|
AlpinDale
|
2c1d6a8cf2
fix: fast tokenizer latency reduction
|
há 1 ano atrás |
|
AlpinDale
|
28db67fd78
fix: mistral support
|
há 1 ano atrás |
|
AlpinDale
|
d8f04f29a9
readme: update sampling params
|
há 1 ano atrás |
|
Stefan Gligorijevic
|
5acc27adeb
chore: fix parameter validation on ooba endpoint
|
há 1 ano atrás |
|
Stefan Gligorijevic
|
93daff0384
chore: delete leftover debug prints
|
há 1 ano atrás |
