一个使得可以在任何分布式配置中运行相同的 PyTorch 代码的库。 更多信息:https://huggingface.co/docs/accelerate/index.
accelerate env
accelerate config
accelerate estimate-memory {{名字/模型}}
accelerate test --config_file {{路径/到/配置文件.yaml}}
accelerate launch {{路径/到/脚本.py}} {{--cpu}}
accelerate launch {{路径/到/脚本.py}} --multi_gpu --num_machines 2