한 권으로 LLM 온라인 스터디 1기 Day_11 - 효율적인 파라미터 튜닝(PEFT) - LoRA 개념 및 실습 1장
·
DL/LLM&RAG
https://product.kyobobook.co.kr/detail/S000214934825 한 권으로 끝내는 실전 LLM 파인튜닝 | 강다솔 - 교보문고한 권으로 끝내는 실전 LLM 파인튜닝 | 실무 현장에서 꼭 필요한 파인튜닝, PEFT, vLLM 서빙 기술을 직접 실습하면서 배워 보자!AI 기술의 최전선에서 배우는 LLM 파인튜닝의 모든 것! 이론적 토대부터product.kyobobook.co.kr "한 권으로 끝내는 실전 LLM 파인튜닝" 교재를 활용해 3주(주말 제외) 동안 진행 되는 온라인 스터디 0. PEFT(Parameter-Efficient Fine-Tuning) 란?PEFT(Parameter-Efficient Fine-Tuning)는 대형 언어 모델의 전체 파라미터를 업데이트하지 않고..
한 권으로 LLM 온라인 스터디 1기 Day_10 - 다중 GPU를 활용한 Llama3.1-8B-instruct 파인튜닝
·
DL/LLM&RAG
https://product.kyobobook.co.kr/detail/S000214934825 한 권으로 끝내는 실전 LLM 파인튜닝 | 강다솔 - 교보문고한 권으로 끝내는 실전 LLM 파인튜닝 | 실무 현장에서 꼭 필요한 파인튜닝, PEFT, vLLM 서빙 기술을 직접 실습하면서 배워 보자!AI 기술의 최전선에서 배우는 LLM 파인튜닝의 모든 것! 이론적 토대부터product.kyobobook.co.kr "한 권으로 끝내는 실전 LLM 파인튜닝" 교재를 활용해 3주(주말 제외) 동안 진행 되는 온라인 스터디 다중 GPU를 활용한 Llama3.1-8B-intstruct 파인튜닝 Llama3.1-8B-instruct 모델은 대규모 언어 모델로, 다양한 자연어 처리 작업에서 강력한 성능을 제공한다. 하지만 ..
한 권으로 LLM 온라인 스터디 1기 Day_(8, 9) - 단일 GPU를 활용한 Gemma-2B-it 파인튜닝 (2편) : Gemma-2B-it 모델 파인튜닝 및 평가
·
DL/LLM&RAG
https://product.kyobobook.co.kr/detail/S000214934825 한 권으로 끝내는 실전 LLM 파인튜닝 | 강다솔 - 교보문고한 권으로 끝내는 실전 LLM 파인튜닝 | 실무 현장에서 꼭 필요한 파인튜닝, PEFT, vLLM 서빙 기술을 직접 실습하면서 배워 보자!AI 기술의 최전선에서 배우는 LLM 파인튜닝의 모든 것! 이론적 토대부터product.kyobobook.co.kr "한 권으로 끝내는 실전 LLM 파인튜닝" 교재를 활용해 3주(주말 제외) 동안 진행 되는 온라인 스터디 이전 포스팅 글과 이어지는 내용입니다.https://minhyuk0914.tistory.com/34 한 권으로 LLM 온라인 스터디 1기 Day_7 - 단일 GPU를 활용한 Gemma-2B-it 파..
한 권으로 LLM 온라인 스터디 1기 Day_7 - 단일 GPU를 활용한 Gemma-2B-it 파인튜닝 (1편) : Gemma-2B-it 모델 한계 분석
·
DL/LLM&RAG
https://product.kyobobook.co.kr/detail/S000214934825 한 권으로 끝내는 실전 LLM 파인튜닝 | 강다솔 - 교보문고한 권으로 끝내는 실전 LLM 파인튜닝 | 실무 현장에서 꼭 필요한 파인튜닝, PEFT, vLLM 서빙 기술을 직접 실습하면서 배워 보자!AI 기술의 최전선에서 배우는 LLM 파인튜닝의 모든 것! 이론적 토대부터product.kyobobook.co.kr "한 권으로 끝내는 실전 LLM 파인튜닝" 교재를 활용해 3주(주말 제외) 동안 진행 되는 온라인 스터디 단일 GPU를 활용한 Gemma-2B-it 파인튜닝 Hugging Face를 통한 Gemma 모델 준비 1. 허깅페이스(Hugging Face)란? Hugging Face는 자연어 처리, 이미지 생..
한 권으로 LLM 온라인 스터디 1기 Day_6 - GPU 병렬화 기법
·
DL/LLM&RAG
https://product.kyobobook.co.kr/detail/S000214934825 한 권으로 끝내는 실전 LLM 파인튜닝 | 강다솔 - 교보문고한 권으로 끝내는 실전 LLM 파인튜닝 | 실무 현장에서 꼭 필요한 파인튜닝, PEFT, vLLM 서빙 기술을 직접 실습하면서 배워 보자!AI 기술의 최전선에서 배우는 LLM 파인튜닝의 모든 것! 이론적 토대부터product.kyobobook.co.kr "한 권으로 끝내는 실전 LLM 파인튜닝" 교재를 활용해 3주(주말 제외) 동안 진행 되는 온라인 스터디 GPU 병렬화병렬화 기술은 여러 컴퓨팅 자원을 동시에 활용하여 대규모 작업을 효율적으로 처리하는 방법이다.단일 GPU로 훈련 속도가 지나치게 느리거나, 모델의 가중치 및 파라미터 수가 단일 GPU의..
[백준/Python] 12865. 평범한 배낭
·
CODING_TEST
※ 문제https://www.acmicpc.net/problem/12865  ※ 문제 유형다이나믹 프로그래밍, 배낭 문제(GOLD_5) ※ 나의 풀이DP를 이용하여 문제 해결역순으로 DP값을 max로 비교 계산import sysN, K = map(int, sys.stdin.readline().split())dp = [0] * (K + 1)items = []for _ in range(N): items.append(list(map(int, sys.stdin.readline().split())))for W, V in items: # 역순으로 계산 for i in range(K, W - 1, -1): dp[i] = max(dp[i], dp[i-W] + V) print(d..
[백준/Python] 5567. 결혼식
·
CODING_TEST
※ 문제https://www.acmicpc.net/problem/5567  ※ 문제 유형그래프 이론, 그래프 탐색, 너비 우선 탐색(SILVER_2)※ 나의 풀이그래프 활용 (인접 리스트)주어진 친구 관계를 그래프 형태로 저장각 노드는 사람을, 각 간선은 친구 관계상근이의 직접 친구 리스트(friend) 생성상근이(1번 노드)의 친구 목록을 graph[1]을 이용이를 기반으로 직접 친구 리스트 friend를 작성상근이의 친구의 친구 리스트(friend_2) 생성상근이의 직접 친구를 순회하며, 각 친구의 친구를 확인상근이 자신(1번)과 이미 직접 친구인 사람은 제외하고, 친구의 친구 리스트에 추가최종 결과 계산직접 친구와 친구의 친구 수를 합산하여 출력import sysN = int(sys.stdin.re..
[프로그래머스/Python] 가장 먼 노드
·
CODING_TEST
※ 문제https://school.programmers.co.kr/learn/courses/30/lessons/49189 프로그래머스SW개발자를 위한 평가, 교육, 채용까지 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.kr  ※ 문제 설명n개의 노드가 있는 그래프가 있습니다. 각 노드는 1부터 n까지 번호가 적혀있습니다. 1번 노드에서 가장 멀리 떨어진 노드의 갯수를 구하려고 합니다. 가장 멀리 떨어진 노드란 최단경로로 이동했을 때 간선의 개수가 가장 많은 노드들을 의미합니다. 노드의 개수 n, 간선에 대한 정보가 담긴 2차원 배열 vertex가 매개변수로 주어질 때, 1번 노드로부터 가장 멀리 떨어진 노드가 몇 개인지를 return 하도록 solution..
한 권으로 LLM 온라인 스터디 1기 Day_5 - GPT, Gemma, Llama3 : 대규모 언어 모델의 진화와 비교
·
DL/LLM&RAG
https://product.kyobobook.co.kr/detail/S000214934825 한 권으로 끝내는 실전 LLM 파인튜닝 | 강다솔 - 교보문고한 권으로 끝내는 실전 LLM 파인튜닝 | 실무 현장에서 꼭 필요한 파인튜닝, PEFT, vLLM 서빙 기술을 직접 실습하면서 배워 보자!AI 기술의 최전선에서 배우는 LLM 파인튜닝의 모든 것! 이론적 토대부터product.kyobobook.co.kr "한 권으로 끝내는 실전 LLM 파인튜닝" 교재를 활용해 3주(주말 제외) 동안 진행 되는 온라인 스터디Gemma와 Llama3 모델 구조 분석  Gemma 모델 구조 분석Gemma는 기존 GPT 모델의 구조를 개선하여 효율성과 성능을 동시에 잡은 모델이다. 모델 크기를 줄이면서도 다양한 자연어 처리 ..
한 권으로 LLM 온라인 스터디 1기 Day_4 - 파인튜닝의 모든 것 : PEFT와 태스크 적용 사례
·
DL/LLM&RAG
https://product.kyobobook.co.kr/detail/S000214934825 한 권으로 끝내는 실전 LLM 파인튜닝 | 강다솔 - 교보문고한 권으로 끝내는 실전 LLM 파인튜닝 | 실무 현장에서 꼭 필요한 파인튜닝, PEFT, vLLM 서빙 기술을 직접 실습하면서 배워 보자!AI 기술의 최전선에서 배우는 LLM 파인튜닝의 모든 것! 이론적 토대부터product.kyobobook.co.kr "한 권으로 끝내는 실전 LLM 파인튜닝" 교재를 활용해 3주(주말 제외) 동안 진행 되는 온라인 스터디 1. 파인튜닝 "Fine-Tuning"의 개념파인튜닝은 사전 학습된 언어 모델을 특정 태스크나 도메인에 맞게 미세 조정하는 과정이다.기존 모델의 방대한 언어 및 도메인 지식을 활용해 소규모 데이터로..