david/flash-attention

огледало от https://github.com/Dao-AILab/flash-attention

Автор	SHA1 Съобщение	Дата
Tri Dao	27f8f890df [FusedDense] Allocate lt_workspace on input device	преди 1 година
Tri Dao	dec4f2e910 [FusedDense] Set workspace size to 32M for Hopper and 4M for others	преди 1 година
Tri Dao	88173a1aaf [FusedDense] Support relu, rename FusedDenseGeluDense -> FusedMLP	преди 1 година
Tri Dao	e68ebbe89a Simplify FusedDense	преди 2 години
Tri Dao	fa6d1ce44f Add fused_dense and dropout_add_layernorm CUDA extensions	преди 2 години