david/flash-attention

огледало од https://github.com/Dao-AILab/flash-attention

Аутор	SHA1 Порука	Датум
Tri Dao	27f8f890df [FusedDense] Allocate lt_workspace on input device	пре 1 година
Tri Dao	dec4f2e910 [FusedDense] Set workspace size to 32M for Hopper and 4M for others	пре 1 година
Tri Dao	88173a1aaf [FusedDense] Support relu, rename FusedDenseGeluDense -> FusedMLP	пре 1 година
Tri Dao	e68ebbe89a Simplify FusedDense	пре 2 година
Tri Dao	fa6d1ce44f Add fused_dense and dropout_add_layernorm CUDA extensions	пре 2 година