Autor | SHA1 Mensaje | Fecha |
---|---|---|
|
22422d962b feat: add cuda sampling kernels for top_k and top_p | hace 2 meses |
|
ee5964465d chore: max_num_seqs in throughput benchmark (#770) | hace 4 meses |
|
73177656ed feat: quant_llm support (#755) | hace 4 meses |
|
f1d0b77c92 [0.6.0] Release Candidate (#481) | hace 5 meses |