Pre-training
비정형 원천 텍스트 데이터셋을 대상으로 다음 토큰을 유추해 나가는 방식을 통해 모델 내부에 기본적인 언어 표현 체계를 구축하는 기초 연산 단계입니다.
가장 천문학적인 연산 인프라 비용이 집중되는 중대한 구간입니다. 이곳에서 모델의 원천적인 인지적 상한선이 정의됩니다.