Uma biblioteca que habilita o mesmo código PyTorch a rodar em qualquer configuração distribuída. Mais informações: https://huggingface.co/docs/accelerate/index.
accelerate env
accelerate config
accelerate estimate-memory {{nome/modelo}}
accelerate test --config_file {{caminho/para/config.yaml}}
accelerate launch {{caminho/para/script.py}} {{--cpu}}
accelerate launch {{caminho/para/script.py}} --multi_gpu --num_machines 2