 Tri Dao
|
40e534a7f6
Implement cache_leftpad
|
5 місяців тому |
|
Tri Dao
|
116b05f9b0
[CI] Compile with pytorch 2.4.0.dev20240514
|
5 місяців тому |
|
Tri Dao
|
da11d1b853
Bump v2.6.0
|
5 місяців тому |
|
Tri Dao
|
d0787acc16
Relax dropout_fraction test
|
5 місяців тому |
|
Tri Dao
|
dca6d89da4
Don't support softcap and dropout at the same time
|
5 місяців тому |
|
Tri Dao
|
81e01efd4b
More typo fixes
|
5 місяців тому |
|
Tri Dao
|
72e27c6320
Fix typo with softcapping
|
5 місяців тому |
|
Tri Dao
|
3d41db3e2c
Only test backward if there's no softcapping
|
5 місяців тому |
|
Tri Dao
|
908511b2b6
Split into more .cu files to speed up compilation
|
5 місяців тому |
|
Tri Dao
|
1d536d7de5
Minor cleanup of softcapping
|
5 місяців тому |
|
Tri Dao
|
beb2bf2a32
Drop support for pytorch 1.12, 1.13, and python 3.7
|
5 місяців тому |
 Phil Wang
|
f4628b43ec
missing commas and backwards return arguments (#1032)
|
5 місяців тому |
 Nicolas Patry
|
8f873cc6ac
Implement softcapping. (#1025)
|
5 місяців тому |
 Jianwei Dong
|
4e8d60069f
Add the return_softmax_lse parameter to the flash_attn_with_kvcache function to allow returning the logsumexp of the attention scores. (#989)
|
5 місяців тому |
 muoshuosha
|
6df7e0a02e
Fix the varlen deterministic test (#1023)
|
5 місяців тому |
 66RING
|
9486635c92
Fix typos of comments about shape. (#837)
|
5 місяців тому |
 JDKWangGuan
|
0d810cfb73
Fix KeyError handling for non-existing key in state_dict.pop() (#898)
|
5 місяців тому |
 cao lei
|
6a2a16e994
fix typo (#974)
|
5 місяців тому |
|
Nicolas Patry
|
5bf201966a
Fixing argument checking when using `seqlenq_ngroups_swapped`. (#976)
|
5 місяців тому |
 Liang
|
ab59ec3590
remove swizzle part of `sV.data()` to get a completely non-swizzle `sVtNoSwizzle` (#984)
|
5 місяців тому |
 Grigory Sizov
|
f816dee63c
Support unpadded LSE layout (#970)
|
5 місяців тому |
|
Tri Dao
|
320fb59487
Update citation
|
6 місяців тому |
|
Tri Dao
|
e2e4333c95
Limit to MAX_JOBS=1 with CUDA 12.2
|
6 місяців тому |
|
Tri Dao
|
ce73503578
Bump to 2.5.9
|
6 місяців тому |
|
Tri Dao
|
d732be1e67
Update to Cutlass 3.5
|
6 місяців тому |
|
Tri Dao
|
af627063e3
[CI] Compile for pytorch 2.4.0.dev20240407 (for nvcr 24.05)
|
6 місяців тому |
 Wongboo
|
40e667236c
Update for python3.12 (#870)
|
6 місяців тому |
 Corey James Levinson
|
beb8b8ba9f
add exception to Timeout Error (#963)
|
6 місяців тому |
 lancerts
|
22339db185
remove an unused import (#960)
|
6 місяців тому |
 Wei Ji
|
9c0e9ee86d
Move packaging and ninja from install_requires to setup_requires (#937)
|
7 місяців тому |
