https://product.kyobobook.co.kr/detail/S000214934825
한 권으로 끝내는 실전 LLM 파인튜닝 | 강다솔 - 교보문고
한 권으로 끝내는 실전 LLM 파인튜닝 | 실무 현장에서 꼭 필요한 파인튜닝, PEFT, vLLM 서빙 기술을 직접 실습하면서 배워 보자!AI 기술의 최전선에서 배우는 LLM 파인튜닝의 모든 것! 이론적 토대부터
product.kyobobook.co.kr
"한 권으로 끝내는 실전 LLM 파인튜닝" 교재를 활용해 3주(주말 제외) 동안 진행 되는 온라인 스터디
RunPod: 클라우드 기반 GPU 서버의 새로운 선택지
인공지능(AI)과 머신러닝(ML) 프로젝트를 진행하다 보면 고성능 GPU가 필요할 때가 많다. 하지만 개인 PC나 랩톱에서는 충분한 성능을 내기 어렵거나, GPU가 없는 경우가 대부분이다. 이럴 때 Colab, RunPod같은 클라우드 GPU 플랫폼을 활용할 수 있다. 이번 블로그에서는 RunPod을 소개합니다.
회원가입
오른쪽 상단 [Sign up]을 통해 구글 계정이 있다면 손 쉬운 회원가입 및 로그인 가능
크레딧 구매
왼쪽 메뉴바에서 [Billing] 탭에서 결제 후 다시 아래와 같은 초기화면으로 이동
Pod 생성
왼쪽 메뉴바에서 [Pods] -> [+ Deploy]
필요한 GPU 환경 및 pytorch 버전을 선택한 후, pytorch 아이콘 밑에 [Edit Template] 버튼을 클릭하여 대여할 디스크 용량을 조절할 수 있다.(추후 조정 가능)
- Container Disk : GPU 컨테이너 실행 중 발생하는 데이터를 저장하는 역할 / 20GB(기본) -> 200GB 설정
- Volume Disk : GPU 컨테이너를 사용하지 않을 때 데이터를 저장하는 역할, GPU를 사용하지 않거나 대여한 GPU 사용을 중지한 상태가 하루 이상 지속 될 경우 RunPod에서 대여한 GPU를 삭제할 수 있다. 이 때 데이터가 손실되는 것을 방지하기 위해 Volume Disk를 사용 / 20GB(기본) -> 200GB 설정
설정한 내용을 하단에 Pricing Summary와 Pod Summary를 통해 확인후 [Deploy On-Demand] 클릭
Running이라는 녹색 표시를 확인 후, [Connect] 클릭
쥬피터 랩 실행 및 용량, GPU 확인
[Connect]를 누른 화면에서 Connect to Jupyter Lab [Port 8888]을 통하여 쥬피터 랩 실행
터미널에서 용량 및 GPU 정보를 확인
종료
[stop]을 누르면 멈춤 상태이고, 요금 부과없이 완전히 끄려면, 휴지통모양인 [terminate]를 누르면 더이상 요금이 부과되지 않고, 만들었던 Pod이 없어지게 됩니다.
'DL > LLM&RAG' 카테고리의 다른 글
| 한 권으로 LLM 온라인 스터디 1기 Day_5 - GPT, Gemma, Llama3 : 대규모 언어 모델의 진화와 비교 (0) | 2025.01.05 |
|---|---|
| 한 권으로 LLM 온라인 스터디 1기 Day_4 - 파인튜닝의 모든 것 : PEFT와 태스크 적용 사례 (0) | 2025.01.05 |
| 한 권으로 LLM 온라인 스터디 1기 Day_3 - 멀티헤드 어텐션 & 피드포워드, Blocks (0) | 2025.01.05 |
| 한 권으로 LLM 온라인 스터디 1기 Day_2 - 기본 언어 모델의 구조 및 언어 모델 구현 (0) | 2025.01.02 |
| Vector DB (1) (0) | 2024.09.10 |