오늘의 AI Builder Stack을 고르세요.

Microsoft에서 제공하는 로컬 AI 추론 SDK로, GPU 가속을 활용하여 온디바이스에서 AI 모델을 실행한다. 개발자들이 로컬 환경에서 LLM을 활용한 앱을 구축할 때 적합하다.

Whisper를 C++로 다시 만들어서 일반 PC에서도 빠르게 동작. 모바일/엣지에 적합.

Port of OpenAI's Whisper model in C/C++.

Microsoft의 Foundry 로컬 AI SDK로, GPU 가속 기능을 활용하여 로컬 AI 및 채팅 완성 기능을 제공합니다. 개발자가 AI 애플리케이션을 효율적으로 구축하도록 돕습니다.

Llama 같은 모델을 일반 PC에서 돌리는 C++ 구현. Ollama 등 많은 도구가 이걸 기반으로.

LLM inference in C/C++ — runs Llama and friends on consumer hardware.