Tri Dao
|
dfe29f5e2b
[Gen] Don't use ft_attention, use flash_attn_with_kvcache instead
|
vor 1 Jahr |
Tri Dao
|
8a733cbd53
[Gen] Fix calling update_graph_cache in tests
|
vor 1 Jahr |
Tri Dao
|
913922cac5
[Gen] Refactor decoding function
|
vor 1 Jahr |
Tri Dao
|
798858f9f1
Fix test_baichuan
|
vor 1 Jahr |
Tri Dao
|
0e8c46ae08
Run isort and black on test files
|
vor 1 Jahr |
Tri Dao
|
184b992dcb
[GPT] Implement parallel LLaMa
|
vor 1 Jahr |
Tri Dao
|
d38357dd2f
[GPT] Implement Falcon
|
vor 1 Jahr |