Token
LLM이 텍스트를 처리할 때 사용하는 기본 단위로, 일반적인 단어 형태가 아닌 토크나이저에 의해 분절된 하위 문자열 조각입니다.
비용 산정 및 하드웨어 제약의 기준이 됩니다. API 요금, 모델의 처리 속도 제한, 컨텍스트 용량이 모두 토큰 단위로 측정됩니다.