 Tri Dao
|
b4bf9cc1f3
Fix performance regression with causal
|
1 an în urmă |
|
Tri Dao
|
9e5e8bc91e
Change causal mask to be aligned to bottom-right instead of top-left
|
1 an în urmă |
|
Tri Dao
|
4f285b3547
FlashAttention-2 release
|
1 an în urmă |
|
Tri Dao
|
4360cfc6a8
[Triton] Fix benchmark_causal.py
|
1 an în urmă |
|
Tri Dao
|
5d079fdd7a
[Triton] Fix benchmark_causal, mention Triton version
|
1 an în urmă |
|
Tri Dao
|
b0c0db81f6
Implement FlashAttention in Triton
|
2 ani în urmă |
|
Tri Dao
|
ed553e9238
Add Megatron attention implementation for benchmarking
|
2 ani în urmă |
|
Tri Dao
|
50ca23488d
Add Triton implementation for benchmarking
|
2 ani în urmă |
