GitHub 트렌딩을 그대로 나열하지 않고, Claude Code · RAG · 로컬 AI · 에이전트 워크플로우 · 평가 도구 · AI 앱 빌더 관점에서 실제 빌더가 쓸 만한 오픈소스 스택을 다시 정리합니다.
대화·팟캐스트 톤에 특화된 TTS. 자연스러운 휴지·강세가 인상적.
ChatTTS — Generative speech model for daily dialogue.
10분 분량 음성으로 음성 변환 모델 학습. 보이스체인저·더빙 커뮤니티의 압도적 표준.
Easily train a good VC model with voice data <= 10 mins.
Suno의 OSS TTS. 웃음·숨소리·배경음 같은 비언어적 표현까지 생성.
🐶 Bark — text-prompted generative audio model.
LLM이 실제 비디오를 보고 이해하도록 돕는 로컬 파이프라인이다. 영상 URL이나 로컬 파일에서 장면별 중복 없는 프레임과 스크립트를 추출해 LLM에 전달한다.
Let Claude (or any LLM) actually watch a video — scene-aware, deduplicated frames + transcript, from a URL or local file. Runs locally, MIT.
Sesame가 공개한 대화형 음성 생성 모델. 감정·억양 표현이 기존 OSS TTS와 다른 차원.
Conversational Speech Model from Sesame — natural-sounding voice generation.
Mozilla 출신이 만든 TTS 라이브러리. XTTS-v2는 5초 샘플로 보이스 클로닝 가능.
🐸💬 - a deep learning toolkit for Text-to-Speech, battle-tested in research and production
실시간으로 음성을 복제하는 기술을 제공하는 프로젝트입니다.
Clone a voice in 5 seconds to generate arbitrary speech in real-time
한국어·중국어·영어 통합 zero-shot TTS. 상용 API 수준의 자연스러움을 OSS로 제공.
SOTA Open Source TTS
텍스트를 음성으로 변환하는 도구입니다.
🚀Clone a voice in 5 seconds to generate arbitrary speech in real-time
토크나이저 없이 다국어 음성을 생성하는 TTS 모델이다. 창의적인 음성 디자인 및 실제 같은 보이스 클로닝을 지원하여 폭넓게 활용된다.
VoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning
텍스트 프롬프트로 음악·환경음 생성하는 모델. 비디오 BGM 자동화에 유용.
AudioLDM2 — text-to-audio/music generation.
Microsoft에서 제공하는 로컬 AI 추론 SDK로, GPU 가속을 활용하여 온디바이스에서 AI 모델을 실행한다. 개발자들이 로컬 환경에서 LLM을 활용한 앱을 구축할 때 적합하다.
음성 복제, 받아쓰기, 생성 기능을 제공하는 오픈소스 AI 음성 스튜디오이다. Qwen3-TTS 등 최신 모델을 활용해 다양한 음성 콘텐츠를 만든다.
The open-source AI voice studio. Clone, dictate, create.
Whisper를 C++로 다시 만들어서 일반 PC에서도 빠르게 동작. 모바일/엣지에 적합.
Port of OpenAI's Whisper model in C/C++.
몇 초 분량의 음성으로 보이스 클로닝을 하는 오픈소스 TTS. 다국어 지원이 강점이에요.
Instant voice cloning by MIT and MyShell. Audio foundation model.
한국어 포함 다국어 TTS. 추론이 빠르고 CPU에서도 실시간 가능.
High-quality multi-lingual text-to-speech library by MyShell.
Microsoft의 Foundry 로컬 AI SDK로, GPU 가속 기능을 활용하여 로컬 AI 및 채팅 완성 기능을 제공합니다. 개발자가 AI 애플리케이션을 효율적으로 구축하도록 돕습니다.
1분 음성 데이터로 좋은 TTS 모델을 학습할 수 있습니다.
1 min voice data can also be used to train a good TTS model! (few shot voice cloning)
단축키를 누르고 말하면 AI가 다듬은 텍스트가 커서 위치에 나타나는 오픈소스 음성 입력 도구이다. macOS 및 Windows에서 모든 앱에 적용되어 음성 기반 텍스트 입력을 효율화한다.
Hold a key, speak, release — AI-polished text appears at your cursor in any app. Open-source voice input for macOS & Windows. (按住快捷键说话，松开即得润色后的文字)
라즈베리파이에서도 돌아가는 가벼운 TTS. 로컬 어시스턴트에 적합.
A fast, local neural text to speech system that sounds great.
ElevenLabs의 오픈소스 대안으로, 로컬에서 음성 복제, 생성, 더빙, 받아쓰기가 가능한 데스크톱 앱이다. 개인 정보 보호가 중요한 음성 작업에 유용하다.
The open-source ElevenLabs alternative for local voice cloning, design, create, dubbing and dictation Desktop App
음성 인식의 표준. 99개 언어 지원하고 한국어 정확도가 매우 높아요.
Robust Speech Recognition via Large-Scale Weak Supervision
80억 파라미터 규모의 고도로 감성적인 Text-to-Speech (TTS) 모델이다. 텍스트를 풍부한 감정을 담은 음성으로 변환하여 자연스러운 음성 합성이 필요할 때 활용된다.
Miso TTS is an 8 billion, highly emotive text-to-speech model
Diffusion 기반 보이스 클로닝. 자연스러움이 OpenVoice를 능가하는 평가.
F5-TTS — Diffusion Transformer with Flow Matching for fluent speech.
600+ 언어를 지원하는 고품질 음성 합성 도구.
High-Quality Voice Cloning TTS for 600+ Languages
0.1B 파라미터의 초경량 오픈소스 다국어 음성 생성 모델이다. GPU 없이 CPU에서 실시간으로 작동하며, 로컬 데모 및 경량 서비스 통합에 적합하다.
MOSS-TTS-Nano is an open-source multilingual tiny speech generation model from MOSI.AI and the OpenMOSS team. With only 0.1B parameters, it is designed for realtime speech generation, can run directly on CPU without a GPU, and keeps the deployment stack simple enough for local demos, web serving, and lightweight product integration.
MS의 통합 음성-텍스트 모델. ASR·TTS·음성 변환 한 모델로.
Unified-Modal Speech-Text Pre-Training for Spoken Language Processing.
OpenAI의 Whisper 모델을 C/C++로 구현한 스피치 인식 모델입니다.
Port of OpenAI's Whisper model in C/C++
OpenAI Realtime API와 결합해 전화·통화 수준의 음성 에이전트를 만들 때 사실상 표준 프레임워크.
A powerful framework for building realtime voice AI agents.