분류 전체보기51 [pytorch] Multi GPU-DistributedDataParallel와 Horovod사용하기 여러대가 장착된 GPU를 딥러닝을 돌리다보면 nvidia-smi 를 통해 GPU Util이 아주 낮은경우를 볼 수 있다. GPU Util을 향상시키기 위해 1. DistributedDataParalle와 DistributedSampler 를 통해서 설정 하는 것과 2. Horovod 라이브러리를 사용하는 방법이 있다. 먼저 DistributedDataParalle와 DistributedSampler를 통해서 먼저 dataloader 하기전에 sampler를 만들어서 sampler인자값에 만들어준 sampler를 넣는다. 사용 예시는 아래와 같다. from torch.utils.data.distributed import DistributedSampler from torch.utils.data import .. 2022. 8. 6. [우분투] 우분투 쿠다DNN 경로 에러 해결하기 우분투 쿠다DNN 경로 에러 해결하기 개발 환경 : 우분투 18.04 우분투 환경에서 쿠다툴킷 설치 후 쿠다 DNN을 다운받아 최종적으로 경로를 복사하여 파일을 덮어 써야되는데 그 경로들이 계속 보이질 않았다. $ sudo cp cuda/include/cudnn* /usr/local/cuda/include $ sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64 $ sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn* 일반적인 경우 위와 같은 형태를 가지게 되는데 아무리 찾아도 나의 경우 경로가 보이질 않았다. ↓우분투 환경에 cuda, cuda dnn설치를 자세히 알고 싶다면 클.. 2022. 7. 28. [윈도우] 와이파이 비밀번호 찾기 가끔 윈도우에서 연결된 와이파이 집 비밀번호 혹은 연결된 와이파이 비밀번호를 항시 연결이 되어 있다보니 비밀번호가 무엇이었는지 잊곤한다. 따로 메모장에 표기 해두는 방법도 있지만 윈도우에서 연결된 와이파이 비밀번호를 찾을 수 있다. 방법은 다음과 같다. 1. 윈도우 검색창에 CMD입력 혹은 명령 프롬프트 입력하여 실행한다. 2. netsh wlan show profile 입력 후 엔터 3. 그동안 연결 했던 와이파이의 리스트들이 나온다. 4. 사용자 프로필중 예제로 ktEgg_8b4a의 와이파이 비밀번호를 알아보겠다. 입력창에 netsh wlan show profile ktEgg_8b4a key=clear 입력 후 엔터 다른 와이파이를 비밀번호를 알아보려면 주황색 색칠되있는곳의 프로필을 변경해주면된다. .. 2022. 7. 27. [우분투] gpu사용을 위한, Nvidia cuda, cuda Dnn 설치하기 (feat.우분투) 환경 셋팅 우분투 18.04 환경 그래픽카드 버전 : 470.129.06 cuda : 11.4 **gpu를 사용하기 위해 쿠다와 쿠다DNN을 설치해야 하는데 그전에 먼저 그래픽카드 드라이버가가 설치되어 있어야한다. ** # CUDA 삭제 sudo apt remove --purge "*cublas*" "cuda*" "nsight*" # CUDA 파일 삭제 /usr/local/cuda-9.0/bin/uninstall_cuda_toolkit_9.0.pl rm -rf /usr/local/cuda-10.2/ ----------------------------------------------------------- Nvidia 그래픽 카드 드라이버 -> cuda toolkit -> cudaDNN 1. 그래픽 드라이.. 2022. 7. 26. [파이토치] Cannot import name ‘PILLOW_VERSION’ from ‘PIL’ 에러 해결 Cannot import name ‘PILLOW_VERSION’ from ‘PIL’ 에러 해결하는법을 알아보고자 한다. 1. pillow의 버전을 확인 후 다운그레이드로 버전을 내려준다. pillow=6.2.1 -> 하지만 그럼에도 불구하고 해결을 못했다. 2. from PIL import Image, ImageOps, ImageEnhance 임포트를 해준다. -> 또 안됬다. 3. from PIL import Image, ImageOps, ImageEnhance, __version__ as PILLOW_VERSION - > 해결 2022. 7. 25. [pytorch]transform.Compose와albumentation.Compose 차이 pytorch 데이터셋 코드를 짜다보면 transform을 하게되면서 augmentaion을 사용하게되는데 transform.Compose 와 albumentation.Compose의 차이를 알아볼까 한다. import albumentation as A import albumentation.pytorch import ToTensorV2 transform.Compose transform.Resize transform.ToTensor 위의 기능들은 albumentation에서도 존재하는데 transform과 albumentation의 차이는 transform은 텐서를 변환 후 normalize를 하지만 albumentation은 normalize 을 먼저하고 텐서를 변경을 해줘야 한다. 순서의 차이가 있으니.. 2022. 7. 21. 이전 1 2 3 4 5 6 ··· 9 다음 반응형
