 AlpinDale
|
e6d70101b3
feat: add support for phi-3 vision model
|
пре 7 месеци |
|
AlpinDale
|
75f97bc25d
bump flash-attn to remove unnecessary copies in the backend
|
пре 7 месеци |
|
AlpinDale
|
93cffaf446
add flash_attn back
|
пре 7 месеци |
|
AlpinDale
|
c6a501f682
add multiprocessing executor; make ray optional
|
пре 7 месеци |
|
AlpinDale
|
d11d68f4e6
switch to vllm-flash-attn
|
пре 7 месеци |
|
AlpinDale
|
440384d776
chore: use nvidia-ml-py instead of pynvml
|
пре 8 месеци |
 AlpinDale
|
9d81716bfd
[v0.5.3] Release Candidate (#388)
|
пре 10 месеци |
