Domovská stránka Prehľadávať Pomoc
Registrovať Prihlásiť sa
david
/
flash-attention
zrkadlo https://github.com/Dao-AILab/flash-attention
1
0
Fork 0
Súbory Issues 0 Wiki
Strom: 0dfb281743
Branche Tagy
flash-attention
/
training
/
configs
/
optimizer
/
adamw-apex-zero.yaml

adamw-apex-zero.yaml 196 B
História Raw

1234567 
  1. # @package train.optimizer
    2. 

  2. _target_: torch.distributed.optim.ZeroRedundancyOptimizer
    3. 

  3. _recursive_: True
    4. 

  4. optimizer_class:
    5. 

  5.   _target_: apex.optimizers.FusedAdam
    6. 

  6.   _partial_: True
    7. 

  7.   adam_w_mode: True
    8.