Domovská stránka Prehľadávať Pomoc
Registrovať Prihlásiť sa
david
/
flash-attention
zrkadlo https://github.com/Dao-AILab/flash-attention
1
0
Fork 0
Súbory Issues 0 Wiki
Strom: 0dfb281743
Branche Tagy
flash-attention
/
training
/
configs
/
optimizer
/
adamw-zero.yaml

adamw-zero.yaml 185 B
História Raw

1234567 
  1. # @package train.optimizer
    2. 

  2. _target_: torch.distributed.optim.ZeroRedundancyOptimizer
    3. 

  3. _recursive_: True
    4. 

  4. optimizer_class:
    5. 

  5.   _target_: torch.optim.__getattribute__
    6. 

  6.   _args_:
    7. 

  7.     - "AdamW"
    8.