Throughput
단위 시간초 범위 내에서 가용 서버 추론 인프라 클러스터 시스템이 상시 성공적으로 연산 출하해 내는 토큰 혹은 요청 처리 건수의 총량 지표입니다.
상용 서비스 인프라 수지타선을 정립하는 지배적인 요금 원가 드라이버 요인입니다. 처리량이 고도화될수록 매 토큰당 연산 단가가 극적으로 절감됩니다.