Startseite Erkunden Hilfe
Registrieren Anmelden
david
/
flash-attention
Mirror von https://github.com/Dao-AILab/flash-attention
1
0
Fork 0
Dateien Issues 0 Wiki
Branch: main
Branches Tags
flash-attention
/
training
/
configs
/
experiment
/
pile
Tri Dao 88173a1aaf [FusedDense] Support relu, rename FusedDenseGeluDense -> FusedMLP vor 1 Jahr
..
base.yaml 71befc19e1 [Loss] Use flash_attn.losses.cross_entropy.CrossEntropyLoss vor 1 Jahr
gpt3-2.7B-flash-8k.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3-2.7B-flash-hdim128-rotary-8k.yaml c2407dec96 Fix typo in config: train.gpu -> train.gpu_mem vor 2 Jahren
gpt3-2.7B-flash-hdim128-rotary.yaml c2407dec96 Fix typo in config: train.gpu -> train.gpu_mem vor 2 Jahren
gpt3-2.7B-flash-hdim128.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3-2.7B-flash-rotary-8k.yaml c2407dec96 Fix typo in config: train.gpu -> train.gpu_mem vor 2 Jahren
gpt3-2.7B-flash-rotary.yaml c2407dec96 Fix typo in config: train.gpu -> train.gpu_mem vor 2 Jahren
gpt3-2.7B-flash.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3-2.7B-hf-hdim128.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3-2.7B-hf.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3l-flash-8k.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3l-flash-rotary-30B.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3l-flash-rotary-8k.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3l-flash-rotary.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3l-flash.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3l-hf.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3m-flash-8k.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3m-flash-rotary-30B.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3m-flash-rotary-8k.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3m-flash-rotary.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3m-flash.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3m-hf.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3s-flash-8k.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3s-flash-rotary-30B.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3s-flash-rotary-8k.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3s-flash-rotary.yaml 0bf5e50038 Release training code vor 2 Jahren
gpt3s-flash.yaml 88173a1aaf [FusedDense] Support relu, rename FusedDenseGeluDense -> FusedMLP vor 1 Jahr
gpt3s-hf.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3xl-flash-8k.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3xl-flash-rotary-60B.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3xl-flash-rotary-8k.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3xl-flash-rotary.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3xl-flash.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren
gpt3xl-hf.yaml 4a6eaa9f27 Update configs, add results vor 2 Jahren