Fine-Tuning
사전 학습된 모델을 특정 작업에 맞춰 구성된 소규모 데이터셋으로 추가 학습시켜 행동 양식을 전문화하는 방법입니다.
LoRA·QLoRA 비용이 떨어지면서 모든 도메인 task에 prompt-only로 버티는 게 더 이상 답이 아니게 됐기 때문이다.
Fine-tuning은 정확도 부스트가 아니라 행동·tone·format을 고정하기 위한 도구로 더 자주 쓰인다.
few-shot prompt로 풀 수 있는 문제를 비싸게 fine-tuning부터 시도하는 것.
Fine-tuning은 더 똑똑한 모델이 아니라 더 일관된 모델을 만드는 도구다. 정확도 ceiling보다 reliability ceiling을 올리는 데 더 잘 맞는다.