Deep learning/Pytorch1 [pytorch] Multi GPU-DistributedDataParallel와 Horovod사용하기 여러대가 장착된 GPU를 딥러닝을 돌리다보면 nvidia-smi 를 통해 GPU Util이 아주 낮은경우를 볼 수 있다. GPU Util을 향상시키기 위해 1. DistributedDataParalle와 DistributedSampler 를 통해서 설정 하는 것과 2. Horovod 라이브러리를 사용하는 방법이 있다. 먼저 DistributedDataParalle와 DistributedSampler를 통해서 먼저 dataloader 하기전에 sampler를 만들어서 sampler인자값에 만들어준 sampler를 넣는다. 사용 예시는 아래와 같다. from torch.utils.data.distributed import DistributedSampler from torch.utils.data import .. 2022. 8. 6. 이전 1 다음 반응형