AlpinDale 72659e5cad separate prompt and genned tokens for enc-dec 10 месяцев назад
..
__init__.py 07aa2a492f upstream: add option to specify tokenizer 1 год назад
block.py ac82b67f75 feat: naive context shift and various QoL changes (#289) 10 месяцев назад
config.py c41462cfcd feat: exllamav2 quantization (#305) 10 месяцев назад
gguf.py e42a78381a feat: switch from pylint to ruff (#322) 10 месяцев назад
grammar.py 0527131e93 fix: grammar logits processor (#268) 11 месяцев назад
logger.py e42a78381a feat: switch from pylint to ruff (#322) 10 месяцев назад
logits_processor.py 3df36ee07d fix: logit bias logitproc (#278) 10 месяцев назад
outputs.py e42a78381a feat: switch from pylint to ruff (#322) 10 месяцев назад
sampling_params.py e42a78381a feat: switch from pylint to ruff (#322) 10 месяцев назад
sequence.py 72659e5cad separate prompt and genned tokens for enc-dec 10 месяцев назад
test_utils.py 641bb0f6e9 feat: add custom allreduce kernels (#224) 1 год назад
utils.py e53842bd5d fix: cuda home detection for fp8 kv cache 10 месяцев назад