Acasă Explorează Ajutor
Înregistrare Autentificare
david
/
flash-attention
oglindă de https://github.com/Dao-AILab/flash-attention
1
0
Bifurcare 0
Fisiere Probleme 0 Wiki
Arbore: 26a6e0a048
Ramuri Etichete
flash-attention
/
hopper
Tri Dao ea7a98f15d Fix backward with softcap 2 luni în urmă
..
__init__.py 7f67966cc7 FA3 initial code release 5 luni în urmă
benchmark_attn.py 3669b25206 bwd benchmark + small fixes (#1129) 4 luni în urmă
benchmark_flash_attention_fp8.py c92ca63268 FA3 FP8 qkv descales + restore max offset for h128 causal + added sync for producer WG (#1173) 3 luni în urmă
epilogue_bwd_sm90_tma.hpp 6e8b25e426 Refactor 2 luni în urmă
epilogue_fwd_sm90_tma.hpp 6e8b25e426 Refactor 2 luni în urmă
flash.h 6e8b25e426 Refactor 2 luni în urmă
flash_api.cpp ea7a98f15d Fix backward with softcap 2 luni în urmă
flash_attn_interface.py 6e8b25e426 Refactor 2 luni în urmă
flash_bwd_hdim128_bf16_sm90.cu bafe253042 [FA3] Bwd 4 luni în urmă
flash_bwd_hdim128_fp16_sm90.cu 7f67966cc7 FA3 initial code release 5 luni în urmă
flash_bwd_hdim192_bf16_sm90.cu 6e8b25e426 Refactor 2 luni în urmă
flash_bwd_hdim192_fp16_sm90.cu 6e8b25e426 Refactor 2 luni în urmă
flash_bwd_hdim256_bf16_sm90.cu 6e8b25e426 Refactor 2 luni în urmă
flash_bwd_hdim256_fp16_sm90.cu 7f67966cc7 FA3 initial code release 5 luni în urmă
flash_bwd_hdim64_bf16_sm90.cu bafe253042 [FA3] Bwd 4 luni în urmă
flash_bwd_hdim64_fp16_sm90.cu 7f67966cc7 FA3 initial code release 5 luni în urmă
flash_bwd_hdim96_bf16_sm90.cu bafe253042 [FA3] Bwd 4 luni în urmă
flash_bwd_hdim96_fp16_sm90.cu bafe253042 [FA3] Bwd 4 luni în urmă
flash_bwd_kernel.h 6e8b25e426 Refactor 2 luni în urmă
flash_bwd_launch_template.h ea7a98f15d Fix backward with softcap 2 luni în urmă
flash_bwd_postprocess_kernel.h 6e8b25e426 Refactor 2 luni în urmă
flash_bwd_preprocess_kernel.h 6e8b25e426 Refactor 2 luni în urmă
flash_fwd_hdim128_bf16_sm90.cu 74b0761ff7 [FA3] BF16 forward 5 luni în urmă
flash_fwd_hdim128_e4m3_sm90.cu 6e8b25e426 Refactor 2 luni în urmă
flash_fwd_hdim128_fp16_sm90.cu 7f67966cc7 FA3 initial code release 5 luni în urmă
flash_fwd_hdim192_bf16_sm90.cu 6e8b25e426 Refactor 2 luni în urmă
flash_fwd_hdim192_e4m3_sm90.cu 6e8b25e426 Refactor 2 luni în urmă
flash_fwd_hdim192_fp16_sm90.cu 6e8b25e426 Refactor 2 luni în urmă
flash_fwd_hdim256_bf16_sm90.cu 74b0761ff7 [FA3] BF16 forward 5 luni în urmă
flash_fwd_hdim256_e4m3_sm90.cu 6e8b25e426 Refactor 2 luni în urmă
flash_fwd_hdim256_fp16_sm90.cu 7f67966cc7 FA3 initial code release 5 luni în urmă
flash_fwd_hdim64_bf16_sm90.cu 74b0761ff7 [FA3] BF16 forward 5 luni în urmă
flash_fwd_hdim64_e4m3_sm90.cu 6e8b25e426 Refactor 2 luni în urmă
flash_fwd_hdim64_fp16_sm90.cu 7f67966cc7 FA3 initial code release 5 luni în urmă
flash_fwd_hdim96_bf16_sm90.cu 6e8b25e426 Refactor 2 luni în urmă
flash_fwd_hdim96_e4m3_sm90.cu 6e8b25e426 Refactor 2 luni în urmă
flash_fwd_hdim96_fp16_sm90.cu 6e8b25e426 Refactor 2 luni în urmă
flash_fwd_kernel.h 6e8b25e426 Refactor 2 luni în urmă
flash_fwd_launch_template.h 6e8b25e426 Refactor 2 luni în urmă
mainloop_bwd_sm90_tma_gmma_ws.hpp ea7a98f15d Fix backward with softcap 2 luni în urmă
mainloop_fwd_sm90_tma_gmma_ws.hpp 6e8b25e426 Refactor 2 luni în urmă
named_barrier.hpp 6e8b25e426 Refactor 2 luni în urmă
setup.py 6e8b25e426 Refactor 2 luni în urmă
softmax.h 6e8b25e426 Refactor 2 luni în urmă
static_switch.h 6e8b25e426 Refactor 2 luni în urmă
test_flash_attn.py ea7a98f15d Fix backward with softcap 2 luni în urmă
tile_scheduler.hpp 6e8b25e426 Refactor 2 luni în urmă
utils.h 6e8b25e426 Refactor 2 luni în urmă