david/flash-attention

tükrözi: https://github.com/Dao-AILab/flash-attention

Szerző	SHA1 Üzenet	Dátum
Tri Dao	82dc825759 Don't use the unsafe convert_type function	2 hónapja
Tri Dao	fe412d6b36 Redo rotary when contiguous	2 hónapja
Tri Dao	bc8a001d8d Load cos/sin by splitting the work among threads on the same row	2 hónapja
Tri Dao	0c49ac9a07 Implement rotary non-interleaved	2 hónapja
Tri Dao	b2d3fe92ff Move rotary to a separate file	2 hónapja
Tri Dao	9f82a326ad Implement rotary for attn decode	2 hónapja