AlpinDale 0886c361f4 feat: OpenVINO CPU backend (#576) преди 7 месеца
..
cutlass_benchmarks 765adcfba1 chore: add w8a8 benchmark scripts преди 7 месеца
attention.py 156f577f79 feat: switch from `PYBIND11_MODULE` to `TORCH_LIBRARY` (#569) преди 7 месеца
backend_request_func.py 89ee54dcff update dockerfile and enhance serving benchmark преди 7 месеца
benchmark_moe.py 5b5e6dc359 chore: add batch size 1536 and 3072 to moe benchmark преди 7 месеца
hashing.py c6a501f682 add multiprocessing executor; make ray optional преди 7 месеца
latency.py e1f3fd1e02 fix: test units (#201) преди 1 година
launch_tgi.sh 4d04ade9ef feat: fine-grained seeds (#279) преди 1 година
serving.py 89ee54dcff update dockerfile and enhance serving benchmark преди 7 месеца
sonnet.txt 89ee54dcff update dockerfile and enhance serving benchmark преди 7 месеца
throughput.py 0886c361f4 feat: OpenVINO CPU backend (#576) преди 7 месеца