본문 바로가기

분류 전체보기207

OpenAI API에서 사용하는 jsonl 파일 읽고 쓰기 OpenAI의 Fine-tuning API를 사용하려면 jsonl 확장자로 데이터를 준비해야 한다. 간단히 말하면 jsonl은 key, value 형태의 json을 개행문자(\n)로 구분해놓은 파일이다. openai 파인 튜닝 예제 데이터를 보면, prompt, completion이라는 key, value로 구성된 json이 하나의 샘플이며, 이 샘플을 나열할 때에는 개행문자를 통해 구분되게끔 하였다. {"prompt": "", "completion": ""} {"prompt": "", "completion": ""} {"prompt": "", "completion": ""} ... from openai platform 위와 같은 파일을 읽고 쓰려면, python의 I/O와 json 라이브러리를 적절히 .. 2023. 8. 17.
conda 가상환경명 재설정 (rename) conda rename -n 참고: https://stackoverflow.com/questions/42231764/how-can-i-rename-a-conda-environment 2023. 8. 16.
[도서리뷰] AI 엔지니어가 읽은 "직장인의 교양 데이터 과학" 목차 도서 정보 제목: 직장인의 교양 데이터 과학 저자: 타카하시 이치로 대상: 전문적인 데이터 과학자..가 아닌 일반적인 비즈니스맨 내용 왜 지금 시점에 데이터 과학이 필요한지, 데이터 과학이 무엇인지 데이터 과학의 장단점, 실현 과정 데이터 과학 사례 데이터 과학이 만드는 미래 느낀점 추천 대상 그간 나는 "비전공자"의 입장에서 데이터 과학에 가까이 다가가기 위해서, 부족한 기초 이론들과 새롭게 등장하는 기술을 따라가려 부단히 노력하였다. 하지만, 막상 데이터로 어떤 문제를 해결할 수 있을지에 대해서는 많이 생각해보지 못한 것 같다. 나와 비슷한 시각으로 데이터 과학을 접해온 사람이라면, 한 번쯤은 읽어보아도 좋을 것 같다. 걸린 시간 자기전에 잠깐 짬내 읽었더니 약 4일 정도 걸렸다. 시간을 좀 더.. 2023. 8. 12.
[논문리뷰] NCF, 2017 이 글은 2017 발표된 Neural Collaborative Filtering 논문을 리뷰한 글입니다. 논문 구현이 궁금하다면 논문 구현 포스팅을 참고하시길 바랍니다. 목차 💡 Paper Information. 원제: Neural Collaborative Filtering 발행 연도: 2017 저자 정보: National University of Singapore, Columbia University, Shandong University, and Texas A&M University 저널 정보: WWW '17, Perth, Australia, April 03-07, 2017. 인용수: 5262회 (23.08.10 기준) 논문 링크: https://arxiv.org/abs/1708.05031 소스코드: .. 2023. 8. 10.
백준 1920번 수 찾기 문제 풀이 Python 문제 정의 수 찾기 문제 N개의 정수 A[1], A[2], …, A[N]이 주어져 있을 때, 이 안에 X라는 정수가 존재하는지 알아내는 프로그램을 작성하시오. 입력: 자연수 N, N개의 정수, 자연수 M, M개의 수 출력: 존재하면 1, 존재하지 않으면 0 문제 해석 문제 자체는 m개의 아이템이 n개 아이템이 있는 배열에 포함되어 있는가? 라는 간단한 문제이나, M과 N의 크기가 커질수록 매우 많은 시간이 소요되어 선형 탐색으로 풀면 시간 초과가 발생함. 따라서 이진 탐색을 통해서 해결한다! 시간 복잡도 m개의 요소에 대해서 평균적으로 logn 번 탐색하게 되므로 O(mlogn) 으로 추정됨. 구현 def binary_search(array, elem): pl = 0 pr = len(array)-1 wh.. 2023. 8. 10.
백준 11047번 동전 0 문제 풀이 Python 문제 정의 동전 0 문제 준규가 가지고 있는 동전은 총 N종류이고, 각각의 동전을 매우 많이 가지고 있다. 동전을 적절히 사용해서 그 가치의 합을 K로 만들려고 한다. 이때 필요한 동전 개수의 최솟값을 구하는 프로그램을 작성하시오. 입력: N, K, 동전의 가치(N개, 오름차순, 배수) 출력: K원을 만드는데 필요한 동전 개수의 최솟값 문제 해석 K를 만드는 데 필요한 동전의 최소 개수를 구해야 함. 입력의 정의를 통해 거스름돈 문제와 같은 문제이나, 입력 형식만 약간 다른 것으로 파악됨. 즉, 그리디 알고리즘을 통해 해결할 수 있음. 시간 복잡도 Big-O O(N)이 되는데 이 때의 N은 동전의 수! 구현 n_k = input() n, k = int(n_k.split(' ')[0]), int(n_k.s.. 2023. 8. 10.