본문 바로가기

CS/삽질로그27

pyenv 사용 시 pip syntax error 오류 상황 ubuntu 환경에서 pyenv 로 가상환경을 생성하고 pip로 패키지를 설치하려는데 다음과 같은 오류가 났다..;; $ pip install --upgrade pip MYPATH/.venv/bin/pip3: 2: Syntax error: "(" unexpected 해결 방법 vi 로 오류가 발생한 파일(MYPATH/.venv/bin/pip3)을 열어보니, 상위 폴더명의 괄호가 셸 스크립트에서 문자열이 아닌 특수 기호로 인식되어 오류가 나는 것 같았다. 그래서 괄호 앞에 역슬래쉬를 넣어줬더니 pip가 문제 없이 실행되더라 # line 2 기존 코드 '''exec' MYPATH/02-online-serving(fastapi)/.venv/bin/python3.10 "$0" "$@" ' ''' # .. 2024. 3. 5.
파이토치 Input type and weight type should be the same .. 오류 오류 상황 CIFAR10 데이터 세트를 로드하고, Lenet 아키텍처를 빌드하여 학습하려는데 다음과 같은 오류가 났다. RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same or input should be a MKLDNN tensor and weight is a dense tensor 해결 방안 데이터와 모델 모두 cuda 디바이스에 올린다. -> 오류 해결 # 미니 배치 for batch, (X, y) in enumerate(dataloader): X, y = X.to('cuda'), y.to('cuda') # 모델 및 손실 함수 lenet = LeNet().to('c.. 2023. 10. 25.
파이썬 백준 이유모를 에러 발생 (input -> sys.stdin.readline() 으로 해결) 나의 경우 11724번 문제와 1260번 문제를 해결하는데, 코드는 문제 없이 동작하는 것 같은데 자꾸 에러가 발생한 적(시간초과 등)이 있다. 확인해보니, python에서 input을 사용해 입력을 받을 때, 입력의 개수가 매우 많아지면 input() 함수로는 커버가 안되는 듯하다. 이러한 경우 input을 sys.stdin.readline으로 대체하여 받아야 한다. (참고 링크) input = sys.stdin.readline() 나는 위 코드를 맨 윗 줄에 추가한 뒤, input을 사용할 때와 동일하게 코드를 구성하였더니, 오류 나던 것들이 문제 없이 해결되었다! 2023. 8. 29.
PyTorch GPU 메모리 해제하기 (PyTorch OOMError) Pytorch로 모델을 학습하다보면 GPU 메모리가 꽉 차서 inference 등의 다른 작업이 안되는 경우가 있다. 기본적으로 메모리에 아무것도 올라가지 않은 상태에서 모델을 메모리에 올려 학습하려 할 때 나는 OOM은 배치 사이즈를 작게 조절하거나, 모델의 크기를 줄이는 등의 근본적인 문제를 해결해야 한다. 허나, 동일 조건에서 학습은 충분히 잘 되는데도 불구하고, 다른 작은 작업이 안되는 경우, 다음과 같은 방법을 통해 문제를 해결해볼 수 있다. https://github.com/pytorch/pytorch/issues/16417 를 참고하였다. Python Garbage Collection 기능 및 토치 캐시 비우기 기능을 사용한다. (참고 위치) 나의 경우, 아래 코드만 가지고 추론에 성공하였는.. 2023. 8. 28.
datasets.load_metric ModuleNotFoundError (해결) 오류 상황 오류가 발생한 작업 from datasets import load_metric 오류 메시지 --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) ... ImportError: cannot import name 'COMMON_SAFE_ASCII_CHARACTERS' from 'charset_normalizer.constant' ([가상환경경로]/lib/python3.10/site-packages/charset_normalizer/constant.py) 해결 방법 1. 라이브러리 설치 (참고: https://stackov.. 2023. 8. 28.
Tensorboard 안보일 때 (path /data/index.js not found, sending 404) (해결) 문제 상황 나는 평소 Safari 브라우저를 사용하는데, Tensorboard 를 띄우니 자꾸 화면 로딩이 안되고, 콘솔 창에 404 에러가 발생했다. Console 예시 $ tensorboard --log_dir [LOGDIR] Serving TensorBoard on localhost; to expose to the network, use a proxy or pass --bind_all TensorBoard 2.13.0 at http://localhost:6006/ (Press CTRL+C to quit) path /data/index.js not found, sending 404 해결 방법 간단하다. 크롬을 쓰자. https://github.com/tensorflow/tensorflow/issues.. 2023. 8. 25.