 AlpinDale
|
e0886ee929
feat: add `ProposerWorkerBase` abstract class
|
7 tháng trước cách đây |
|
AlpinDale
|
e42d0b3455
possibly improve ngram efficiency
|
7 tháng trước cách đây |
|
AlpinDale
|
197a6d2c16
auto disable speculative decoding by the running queue size
|
8 tháng trước cách đây |
|
AlpinDale
|
ef733aee43
implement ExecuteModelData to reduce executor complexity
|
8 tháng trước cách đây |
|
AlpinDale
|
79901b76de
logprobs for target model (spec decoding)
|
8 tháng trước cách đây |
 AlpinDale
|
9d81716bfd
[v0.5.3] Release Candidate (#388)
|
10 tháng trước cách đây |
