首頁 探索 說明
註冊 登入
david
/
flash-attention
镜像来自 https://github.com/Dao-AILab/flash-attention
1
0
複刻 0
Files 問題管理 0 Wiki
目錄樹: 0dfb281743
分支列表 標籤列表
flash-attention
/
training
/
configs
/
experiment
/
owt
/
gpt2m-hf.yaml

gpt2m-hf.yaml 172 B
文件歷史 原始文件

1234567891011 
  1. # @package _global_
    2. 

  2. defaults:
    3. 

  3.   - /experiment/owt/gpt2s-hf.yaml
    4. 

  4.   - override /model/gpt2model: gpt2-medium
    5. 

  5. 

  6. datamodule:
    7. 

  7.   batch_size: 4
    8. 

  8. 

  9. train:
    10. 

  10.   optimizer:
    11. 

  11.     lr: 1.5e-4
    12.