| .. |
|
marlin
|
72229a94da
feat: better marlin kernels (#285)
|
hace 10 meses |
|
monitoring
|
9ed45fec7c
fix: incorrect prometheus url
|
hace 11 meses |
|
alpaca_template.jinja
|
2755a48d51
merge dev branch into main (#153)
|
hace 1 año |
|
aphrodite_engine_example.py
|
f32d57ed04
add inference examples
|
hace 1 año |
|
api_client.py
|
f32d57ed04
add inference examples
|
hace 1 año |
|
chatml_template.jinja
|
2755a48d51
merge dev branch into main (#153)
|
hace 1 año |
|
gguf_to_torch.py
|
fe7844f2ef
feat: sharding and safetensors support for gguf conversion (#256)
|
hace 11 meses |
|
gradio_server.py
|
551c4280cf
chore: change default port to 2242
|
hace 1 año |
|
offline_inference.py
|
f32d57ed04
add inference examples
|
hace 1 año |
|
perplexity.py
|
2b5af25923
add perplexity example
|
hace 10 meses |
|
prefix_cache_example.py
|
8fa608aeb7
feat: replace Ray with NCCL for control plane comms (#221)
|
hace 1 año |
|
pygchat_template.jinja
|
80e8a14949
feat: add pygchat Jinja template (#218)
|
hace 11 meses |
|
slora_inference.py
|
8635901c76
fix: s-lora vocab embeddings
|
hace 11 meses |
AlpinDale
2b5af25923
add perplexity example