한 권으로 LLM 온라인 스터디 1기 Day_4 - 파인튜닝의 모든 것 : PEFT와 태스크 적용 사례

https://product.kyobobook.co.kr/detail/S000214934825

한 권으로 끝내는 실전 LLM 파인튜닝 | 강다솔 - 교보문고

 

"한 권으로 끝내는 실전 LLM 파인튜닝" 교재를 활용해 3주(주말 제외) 동안 진행 되는 온라인 스터디

 

1. 파인튜닝 "Fine-Tuning"의 개념

파인튜닝은 사전 학습된 언어 모델을 특정 태스크나 도메인에 맞게 미세 조정하는 과정이다.

기존 모델의 방대한 언어 및 도메인 지식을 활용해 소규모 데이터로도 높은 성능을 얻을 수 있다.

 

• 처음부터 원하는 데이터로 학습을 진행하지 않고, 파인튜닝을 하는 이유 
  • 원하는 데이터의 경우 데이터의 양이 적기에 문제가 다소 발생한다
    • 데이터가 적기에 과적합이 발생할 우려 존재
    • 방대한 언어 지식이 존재하지 않기에, 자연스러운 언어 생성 부족 문제 발생

---

 

2. 매개변수(파라미터) 효율적 파인튜닝 : Parameter - Efficient Fine - Tuning, PEFT

PEFT는 파인튜닝의 계산 비용을 줄이고, 메모리 효율성을 높이기 위해 도입된 방식이다. 소수의 파라미터만 업데이트하여 효율적인 학습이 가능하며, 대표적인 기법으로 어댑터 튜닝, 프롬프트 튜닝, LoRA가 있다.

 

2.1 어댑터 튜닝 : Adpater Tuning

• 개념 : 거대한 언어에 작은 규모의 신경망을 새롭게 추가하는 방식
• 장점 : 추가된 신경망을 통해 새로운 작업 수행 가능, 전체 모델을 재학습하는 것보다 효율적으로 모델의 능력을 확장할 수 있다

 

2.2 프롬프트 튜닝 : Prompt Tuning

• 개념 : 모델에 입력되는 텍스트앞에 학습 가능한 프롬프트(특별한 지시사항)를 추가하는 방식
• 장점 : 모델의 작동을 원하는 방향으로 조절 가능, 모델 자체를 변경하지 않고도 원하는 결과를 얻을 수 있다

 

2.3 Low - Rank Adaptation : LoRA

• 개념 : 작은 크기의 두 행렬을 곱한결과를 원래 행렬에 더하는 방식
• 장점 : 모델의 파라미터 수를 늘리지 않으면서, 효과적으로 모델의 성능을 향상할 수 있다

 

---

3. 파인튜닝 시 주의할 점

• 규모가 작은 데이터를 사용시 과적합 문제 고려
• 재앙적 망각 현상(Catastrophic Forgetting)
  • 사전 학습된 모델이 가지고 있던 일반적 언어 지식을 파인튜닝 과정에서 잃어버리는 현상
  • 파인튜닝 데이터가 특정 도메인에 편향되어 있을수록 재앙적 망각이 심화될 수 있다
• 7B 이상 되는 언어 모델의 전체 파인튜닝은 메모리와 계산 리소스 문제 발생
• 사용되는 데이터의 품질과 양에 따라 모델이 태스크에 올바른 답변을 주지 못하거나, 과적합이 발생할 수 있다
• 사용되는 데이터의 편향이 존재한다면, 모델의 출력에 그대로 반영되어 편향적인 결과를 생성할 가능성이 있다
  ex) 성별, 인종, 지역적 편향...

---

4. 언어 모델 태스크

4.1 텍스트 생성(Text Generation)

문맥을 기반으로 자연스러운 텍스트 또는 문장을 생성

• 예시 : 소설, 기사 작성, 그림 제목 생성
• 모델 출력 : "2025년 화이팅"

 

4.2 대화형 태스크(Conversational Task)

대화에 적합한 응답을 생성

• 예시 : 챗봇, 상담 시스템
• 모델 출력 : "안녕하세요! 어떻게 도와드릴까요?"

 

4.3 질의응답(QA)

질문에 대한 답변을 텍스트에서 추출하거나 생성

• 예시 : "12월 25일은 무슨 날이야?" → "크리스마스입니다"
• 응용 분야 : 고객 서비스, 정보 검색.

 

4.4 요약(Summarization)

긴 텍스트를 짧고 핵심적으로 요약

• 예시 : "해당하는 책은 LLM의 이해와 파인튜닝의 목적을 담은 책입니다."
• 응용 분야 : 뉴스 요약, 보고서 작성

 

4.5 기계 번역(Machine Translation)

한 언어를 다른 언어로 변환

• 예시 : "안녕하세요" → "Hello"

 

4.6 바꿔 쓰기(Paraphrasing)

문장을 유사한 의미로 재작성

• 예시 : "크리스마스는 12월 25일입니다." → "성탄절은 12월 25일 입니다."

 

4.7 코드 생성 및 이해(Code Generation & Understanding)

소스 코드 생성 및 코드의 의미를 이해.

• 예시 : 자연어로 주어진 명령에서 Python 코드 생성.
• 응용 분야 : 프로그래밍 보조 도구 ex) github copilot

 

4.8 검색 증강 생성(RAG, Retrieval-Augmented Generation)

외부 데이터베이스에서 정보를 검색하고 이를 생성 결과에 반영

• 예시 : 최신 뉴스를 검색하여 답변 생성, 사용자로부터 제공된 PDF를 확인하여 답변 생성
• 응용 분야 : 실시간 정보 생성