[LLM] Fine-Tuning
LLM을 하다보면 '모델명-it/chat'과 같은 형식으로 허깅페이스에서 제공하는 모델들을 볼 수 있다.이러한 모델은 chatting 형식으로 fine-tuning하여 실제 모델과 이야기를 주고받는 형식으로 답변을 생성해준다. 이번에는 튜닝의 방식과 대표적인 데이터셋, 튜닝 방법에 대해 정리를 해보고자 한다. SFT - Supervised Fine-Tuning ( 정답이 존재하는 상태에서 진행 - next token prediction )SFT는 두가지로 나뉜다. 1) Full Fine-Tuning모델 전체의 파라미터를 수정하여 학습시킨다. LLM은 대체로 파라미터가 상당히 많으므로 상당한 GPU 자원이 필요한 단점이 있다. 2) Parameter-Efficient Fine-Tuning(PEFT) 모..
Deep-learning
2025. 2. 6. 20:00
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- GNN
- V11
- 뜯어보기
- YOLO
- LLM
- CNN
- docker
- 어탠션
- yolov11
- 딥러닝
- 정리
- 도커
- Tree
- python
- 욜로
- github
- 알고리즘
- 초보자
- GIT
- c3k2
- 티스토리챌린지
- 디텍션
- 이미지
- 깃
- 자바
- 오류
- 오블완
- java
- YOLOv8
- DeepLearning
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
글 보관함