첫 토큰 생성 시간

사용자가 시스템 주입 질의 버튼을 누른 순간부터, 모델 인프라가 연산을 개시하여 최초의 완성 출력 첫 번째 토큰 문자열 조각을 화면에 뱉어내기까지 걸린 지연 시간입니다.

왜 지금 중요한가

관련 개념