Embedding
텍스트나 이미지 등의 데이터를 고차원 벡터로 표현하여, 의미적으로 유사한 항목들이 벡터 공간에서 가까이 위치하도록 하는 기술입니다.
RAG·검색·추천·classification까지 비정형 데이터를 다루는 거의 모든 시스템의 표현층이다.
embedding 모델은 추론 모델만큼 자주 바꾸지 않는다 — 한 번 잘못 고르면 re-embed 비용이 비싸다.
1536 차원·512 차원 같은 숫자만 보고 고르는 것. 도메인 fit, 다국어 성능, latency를 같이 봐야 한다.
embedding 품질은 RAG 성능의 ceiling이다. 같은 corpus·같은 reranker라도 embedding이 약하면 retrieval 자체가 시작점부터 망한다.