Best for로컬/온디바이스 추론
OpenAI 형식 한 줄로 100+개 모델 호출. 모델 갈아끼우는 비용 거의 0.
Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]
Python프레임워크개발도구#ai-gateway#anthropic
관련 모드Local AI Stack
GitHub에서 보기