Startseite Erkunden Hilfe
Registrieren Anmelden
david
/
flash-attention
Mirror von https://github.com/Dao-AILab/flash-attention
1
0
Fork 0
Dateien Issues 0 Wiki
Struktur: 0dfb281743
Branches Tags
flash-attention
/
training
/
configs
/
experiment
/
pile
/
gpt3m-hf.yaml

gpt3m-hf.yaml 173 B
Verlauf Originalformat

1234567891011 
  1. # @package _global_
    2. 

  2. defaults:
    3. 

  3.   - /experiment/pile/gpt3s-hf.yaml
    4. 

  4.   - override /model/gpt2model: gpt2-medium
    5. 

  5. 

  6. datamodule:
    7. 

  7.   batch_size: 4
    8. 

  8. 

  9. train:
    10. 

  10.   optimizer:
    11. 

  11.     lr: 3.0e-4
    12.