Ana Sayfa Keşfet Yardım
Üye Ol Giriş Yap
david
/
flash-attention
şunun yansıması https://github.com/Dao-AILab/flash-attention
1
0
Çatalla 0
Dosyalar Sorunlar 0 Wiki
Dal: main
Dallar Biçim İmleri
flash-attention
/
training
/
configs
/
experiment
/
owt
/
gpt2m-hf.yaml

gpt2m-hf.yaml 172 B
Kalıcı Bağlantı Geçmiş Ham

1234567891011 
  1. # @package _global_
    2. 

  2. defaults:
    3. 

  3.   - /experiment/owt/gpt2s-hf.yaml
    4. 

  4.   - override /model/gpt2model: gpt2-medium
    5. 

  5. 

  6. datamodule:
    7. 

  7.   batch_size: 4
    8. 

  8. 

  9. train:
    10. 

  10.   optimizer:
    11. 

  11.     lr: 1.5e-4
    12.