Chunking
방대한 문서를 임베딩하기 전에 정보의 유실 없이 검색 효율을 높일 수 있도록 작은 단락 단위로 분할하는 작업입니다.
긴 문서를 모델 컨텍스트에 맞게 쪼개는 단계가 RAG 품질의 첫 번째 병목이기 때문이다.
고정 길이 chunking은 prototype 단계까지만 통한다 — 의미 단위·구조 단위 chunking이 본 게임이다.
chunk size를 모델 context 한도로만 정하고, retrieval 단위로는 한 번도 생각 안 하는 것.
Chunking은 RAG의 가장 저평가된 변수다. retrieval 품질 향상의 30~50%는 chunking 전략에서 나온다.