본문 바로가기

분류 전체보기207

이항 분포, 다항 분포, 베타 분포, 디리클레 분포 요약 비교 목차 우도, 사전확률, 사후확률 1. Likelihood (우도) - 주어진 데이터가 특정한 모델 파라미터 집합 아래에서 발생할 확률을 말함 - 가정된 모델에서 관찰된 데이터가 얼마나 적합(가능)한지를 나타내는 지표 - 수학적으로는 P(X|θ)로 표기 2. Prior (사전확률 또는 사전분포) - 데이터를 관찰하기 전, 우리가 가지고 있는 모델 파라미터에 대한 믿음이나 정보를 나타냄. - 사전분포는 데이터 없이 모델의 파라미터에 대한 가정을 정의하며, 이를 통해 추론을 시작. - 주로 사전지식, 경험, 도메인 지식 등을 통해 설정됨 P(θ) 3. Posterior (사후확률 또는 사후분포) - 데이터를 관찰한 후에 모델 파라미터의 확률 분포 - 수학적으로는 P(θ|X)로 표기 이항 분포, 다항 분포, 베.. 2023. 8. 30.
파이썬 백준 이유모를 에러 발생 (input -> sys.stdin.readline() 으로 해결) 나의 경우 11724번 문제와 1260번 문제를 해결하는데, 코드는 문제 없이 동작하는 것 같은데 자꾸 에러가 발생한 적(시간초과 등)이 있다. 확인해보니, python에서 input을 사용해 입력을 받을 때, 입력의 개수가 매우 많아지면 input() 함수로는 커버가 안되는 듯하다. 이러한 경우 input을 sys.stdin.readline으로 대체하여 받아야 한다. (참고 링크) input = sys.stdin.readline() 나는 위 코드를 맨 윗 줄에 추가한 뒤, input을 사용할 때와 동일하게 코드를 구성하였더니, 오류 나던 것들이 문제 없이 해결되었다! 2023. 8. 29.
PyTorch GPU 메모리 해제하기 (PyTorch OOMError) Pytorch로 모델을 학습하다보면 GPU 메모리가 꽉 차서 inference 등의 다른 작업이 안되는 경우가 있다. 기본적으로 메모리에 아무것도 올라가지 않은 상태에서 모델을 메모리에 올려 학습하려 할 때 나는 OOM은 배치 사이즈를 작게 조절하거나, 모델의 크기를 줄이는 등의 근본적인 문제를 해결해야 한다. 허나, 동일 조건에서 학습은 충분히 잘 되는데도 불구하고, 다른 작은 작업이 안되는 경우, 다음과 같은 방법을 통해 문제를 해결해볼 수 있다. https://github.com/pytorch/pytorch/issues/16417 를 참고하였다. Python Garbage Collection 기능 및 토치 캐시 비우기 기능을 사용한다. (참고 위치) 나의 경우, 아래 코드만 가지고 추론에 성공하였는.. 2023. 8. 28.
datasets.load_metric ModuleNotFoundError (해결) 오류 상황 오류가 발생한 작업 from datasets import load_metric 오류 메시지 --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) ... ImportError: cannot import name 'COMMON_SAFE_ASCII_CHARACTERS' from 'charset_normalizer.constant' ([가상환경경로]/lib/python3.10/site-packages/charset_normalizer/constant.py) 해결 방법 1. 라이브러리 설치 (참고: https://stackov.. 2023. 8. 28.
[이코테] 동적계획법 (Dynamic Programming) 개념 및 문제 풀이 정리 본 포스팅은 유투브에 온라인 배포되어 있는 나동빈 님의 이코테 강의를 수강하며 정리한 내용을 기록한 것입니다. 자세한 내용이 궁금하다면, 링크를 참고하시길 바랍니다. 포스팅 내 코드 블록은 깃허브에서 찾을 수 있음. 수정 필요 목차 개념 정리 동적계획법(Dynamic Programming)이란? 메모리를 활용하여 시간 효율성을 비약적으로 향상시키는 방법 두 가지 조건할 때 사용할 수 있음 이미 계산한 결과를 메모리에 저장하여, 다시 계산하지 않도록 함 Top-down 방식과 Bottom-up 두 가지 접근 방식이 있는데, Bottom-up 방식을 지배적으로 사용하는 편 DP의 조건 최적 부분 구조 (Optimal substructure): 큰 문제를 작은 문제로 쪼갤 수 있어야 함 중복되는 부분 문제 (.. 2023. 8. 28.
Tensorboard 안보일 때 (path /data/index.js not found, sending 404) (해결) 문제 상황 나는 평소 Safari 브라우저를 사용하는데, Tensorboard 를 띄우니 자꾸 화면 로딩이 안되고, 콘솔 창에 404 에러가 발생했다. Console 예시 $ tensorboard --log_dir [LOGDIR] Serving TensorBoard on localhost; to expose to the network, use a proxy or pass --bind_all TensorBoard 2.13.0 at http://localhost:6006/ (Press CTRL+C to quit) path /data/index.js not found, sending 404 해결 방법 간단하다. 크롬을 쓰자. https://github.com/tensorflow/tensorflow/issues.. 2023. 8. 25.

티스토리툴바