Эхлэл Бүгдийг харах Тусламж
Бүртгүүлэх Нэвтрэх
david
/
flash-attention
-ын хуулбар https://github.com/Dao-AILab/flash-attention
1
0
Салаа 0
Файлууд Асуудлууд 0 Мэдлэгийн сан
Салаа: varlen
Салаанууд Тагууд
flash-attention
/
csrc
/
ft_attention
/
README.md

README.md 696 B
Байнгын холболт Түүх Анхны өгөгдөл

Attention kernel from FasterTransformer

This CUDA extension wraps the single-query attention kernel from FasterTransformer v5.2.1 for benchmarking purpose.

cd csrc/ft_attention && pip install .

As of 2023-09-17, this extension is no longer used in the FlashAttention repo. FlashAttention now has implemented flash_attn_with_kvcache with all the features of this ft_attention kernel (and more).