GitHub 트렌딩을 그대로 나열하지 않고, Claude Code · RAG · 로컬 AI · 에이전트 워크플로우 · 평가 도구 · AI 앱 빌더 관점에서 실제 빌더가 쓸 만한 오픈소스 스택을 다시 정리합니다.
Karpathy가 던진 "리서치 조직 코드" 실험. train.py 한 파일을 에이전트가 5분짜리 실험 단위로 자율 수정·평가·반복 — 자는 동안 ~100회 실험이 돌아가고 모델이 점점 좋아짐. 사람은 Python 안 만지고 program.md만 편집한다는 게 진짜 포인트.
AI agents running research on single-GPU nanochat training automatically.
코드, 문서, SQL 스키마 등을 통합된 지식 그래프로 변환하는 AI 도구.
AI coding assistant skill (Claude Code, Codex, OpenCode, Cursor, Gemini CLI, and more). Turn any folder of code, SQL schemas, R scripts, shell scripts, docs, papers, images, or videos into a queryable knowledge graph. App code + database schema + infrastructure in one graph.
PDF·DOCX·PPTX·이미지·오디오 등 모든 걸 LLM에 먹이기 좋은 깨끗한 마크다운으로 변환. RAG 전처리에서 압도적으로 편함.
Convert anything (PDF, Word, PPTX, images, audio) into clean Markdown for LLM ingestion.
에이전트가 세션을 넘어 사용자 사실을 기억하게 해주는 메모리 레이어. 사용자별로 정보를 구조화해서 다음 대화에 자동 주입.
The memory layer for personalized AI — give your agents long-term, structured memory across sessions.
Manus를 오픈소스로 따라가는 '범용 에이전트'. 웹·코드·데이터 작업을 한 인터페이스에서.
Open-source generalist AI agent for everyday tasks.
지식 그래프를 RAG의 1급 시민으로 끌어올린 경량 프레임워크. langchain만큼 무겁지 않게 그래프 RAG를 빠르게 붙일 수 있어요.
Simple and Fast Retrieval-Augmented Generation — knowledge graphs as a lightweight RAG primitive.
13B 비디오 모델을 6GB GPU에서도 돌리는 viral 프로젝트. lllyasviel이 또 만들어 화제.
Make video diffusion practical — frame packing for 13B models on consumer GPUs.
Sesame가 공개한 대화형 음성 생성 모델. 감정·억양 표현이 기존 OSS TTS와 다른 차원.
Conversational Speech Model from Sesame — natural-sounding voice generation.
Meta가 직접 미는 풀스택 에이전트 프레임워크. inference·메모리·세이프티·툴콜이 하나의 API로 묶여 있어요.
A unified API for building agentic applications — inference, memory, safety, and tool-use, batteries included.
PDF·표·차트까지 깊게 파싱하는 RAG 엔진. 복잡 문서가 많은 기업 KMS용.
RAGFlow — open-source engine based on deep document understanding.
초상·포스터·UI 목업·캐릭터 시트 카테고리별로 정리된 API용 프롬프트 모음. 별 11k짜리, 가장 많이 인용되는 awesome 레포 중 하나.
Curated GPT Image 2 prompts for the OpenAI API: portraits, posters, UI mockups, character sheets, and community experiments.
노드 그래프로 이미지 생성 파이프라인을 짤 수 있는 표준 GUI. GPT Image 2 + Stable Diffusion 하이브리드 워크플로우 만들 때 필수.
The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface.
MiniMax-AI가 개발한 H3 대규모 언어 모델 관련 코드를 제공한다. LLM 학습 및 연구를 위한 기본 재료로 활용할 수 있다.
알리바바가 공개한 비디오 생성 모델. Sora 대안 OSS 후보 중에서 가장 안정적.
Wan2.1 — large-scale video generation models from Alibaba.
에이전트가 실제 브라우저를 제어해서 웹 작업을 자동화하게 해주는 라이브러리. 폼 채우기·스크래핑·테스트 모두 가능.
Make websites accessible for AI agents — browser control for LLMs.
OpenAI Realtime API와 결합해 전화·통화 수준의 음성 에이전트를 만들 때 사실상 표준 프레임워크.
A powerful framework for building realtime voice AI agents.
Pydantic 만든 팀의 type-safe 에이전트 프레임워크. validation이 엄격해서 프로덕션 적합.
Agent Framework / shim to use Pydantic with LLMs.
Devin 같은 자율 SW 엔지니어를 누구나 자기 환경에서 띄울 수 있는 오픈 플랫폼.
OpenDevin — a platform for autonomous software engineers.
OSS LLM 추론 엔진의 사실상 표준. PagedAttention 기반으로 처리량이 매우 높아요.
A high-throughput and memory-efficient inference and serving engine for LLMs.
LangChain 워크플로우를 노드 그래프로 만드는 도구. Flowise와 비슷하지만 Python 진영.
LangFlow is a UI for LangChain, designed with react-flow.
이미지/비디오/오디오 확산 모델 라이브러리의 표준. GPT Image 2를 내부에서 fine-tune이나 후처리할 때 함께 가는 코어 의존.
🤗 Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.
LLM이 작업을 완료하도록하는 self-healing 하네스입니다.
Browser Harness | Self-healing harness that enables LLMs to complete any task.
ARIS는 Claude Code와 같은 LLM 에이전트와 함께 작동하는 가벼운 마크다운 스킬입니다.
ARIS ⚔️ (Auto-Research-In-Sleep) — Lightweight Markdown-only skills for autonomous ML research: cross-model review loops, idea discovery, and experiment automation. No framework, no lock-in — works with Claude Code, Codex, OpenClaw, or any LLM agent.
AI를 활용해 2D 이미지를 Three.js 호환 3D 모델로 변환한다. 코드로만 객체를 재구성하며 애니메이션까지 지원해 효율적인 이미지 3D 변환에 첫 후보이다.
Rebuild the object in a reference image as a code-only, procedural, quality-gated, animation-ready Three.js model. Token-efficient image-to-3D.
역할 기반으로 여러 AI 에이전트가 협업하게 만드는 프레임워크. 'CEO·개발자·QA' 같은 페르소나가 한 작업을 분담.
Framework for orchestrating role-playing, autonomous AI agents.
허깅페이스가 만든 '코드로 사고하는' 에이전트 라이브러리. 단순함이 무기이고 onboarding이 빨라요.
A barebones library for agents that think in code.
한국어·중국어·영어 통합 zero-shot TTS. 상용 API 수준의 자연스러움을 OSS로 제공.
SOTA Open-Source multilingual TTS — natural voice cloning.
Stable Diffusion 계열을 노드 그래프로 조립하는 GUI. SDXL·Flux·Wan 등 최신 비디오 모델까지 다 돌릴 수 있어요.
The most powerful and modular diffusion model GUI, API and backend with a graph/nodes interface.
프롬프트를 직접 안 쓰고 컴파일러가 최적화. signature·module 추상화로 신뢰성을 높여요.
DSPy — programming, not prompting, foundation models.
LLM 기반 앱을 만들 때 사실상 표준이 된 파이썬/JS 프레임워크. RAG·에이전트·툴콜 패턴을 쉽게 합성할 수 있어요.
Build context-aware reasoning applications. The most popular framework for chaining LLMs with tools, retrieval, and memory.
터미널에서 git 기반으로 페어 프로그래밍하는 CLI. Claude/GPT 모두 호환되고 자동 커밋이 깔끔해요.
AI pair programming in your terminal — works with most LLMs.
GPT Image 2 / Gemini 2 Flash에 견줄 만한 오픈소스 편집 모델. API 비용이 부담스러우면 self-host 옵션.
A SOTA open-source image editing model, which aims to provide comparable performance against the closed-source models like GPT-4o and Gemini 2 Flash.
MS의 그래프 기반 RAG. 일반 RAG보다 multi-hop 추론이 강해서 복잡 도메인에 적합.
A modular graph-based Retrieval-Augmented Generation system.
LangChain의 RAG 특화 라이브러리. 인덱싱·쿼리·에이전트 패턴이 RAG에 최적화됨.
Data framework for your LLM applications — focused on RAG.
내 노트·이메일·문서를 자연어로 검색하는 개인 AI. Obsidian·이메일 통합이 강점.
Your AI second brain — search, chat, and analyze your local docs.
Stable Diffusion 만든 사람들이 만든 새 모델. SDXL을 능가하는 품질로 화제.
Inference repo for FLUX — high-quality image generation.
Baidu에서 개발한 장문 텍스트 인식(OCR) 모델이다. One-shot 파싱을 통해 긴 문서도 효율적으로 처리하며, 정확도 높은 OCR이 필요할 때 고려한다.
Unlimited OCR Works: Welcome the Era of One-shot Long-horizon Parsing.
Hugging Face의 모델 허브를 다루는 표준 라이브러리. 새 모델이 나오면 가장 먼저 여기에 들어와요.
State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX.
자연어를 코드로 변환해서 사용자 컴퓨터에서 직접 실행. 데이터 분석·자동화·시스템 작업에 강해요.
Natural language interface for computers — runs code locally.
OpenAI 형식 한 줄로 100+개 모델 호출. 모델 갈아끼우는 비용 거의 0.
Call all LLM APIs using the OpenAI format.
에이전트 트렌드의 출발점. 지금은 다른 프레임워크들이 더 잘 만들지만 영향력은 크게 남겼어요.
An experimental open-source attempt to make GPT-4 fully autonomous.
PR-단위 작업에 특화된 터미널 페어 프로그래머. 개인 사이드 프로젝트에 강합니다.
AI pair programming with edit/commit integration.
Mixpanel·Amplitude의 오픈소스 대체. 셀프호스팅 가능하고 LLM 관측까지 추가됐어요.
Open-source product analytics, session replay, feature flags, A/B testing.
엔터프라이즈 RAG 파이프라인 표준. 컴포넌트 모듈화가 정교해서 큰 시스템에 강해요.
AI orchestration framework to build customizable, production-ready LLM applications.
Python 진영 모던 API 표준. async + Pydantic 검증 + 자동 OpenAPI 문서.
FastAPI — high performance web framework for building APIs.
ML 연구의 사실상 표준 프레임워크. dynamic graph·확장성·생태계 모두 1위.
Tensors and Dynamic neural networks in Python with strong GPU acceleration.
텐센트의 오픈 비디오 생성 모델. OpenAI Sora급 품질에 가까운 OSS 옵션.
HunyuanVideo — large video generation model from Tencent.
Diffusion 기반 보이스 클로닝. 자연스러움이 OpenVoice를 능가하는 평가.
F5-TTS — Diffusion Transformer with Flow Matching for fluent speech.
이 레포는 코드 기반 지식 그래프 생성을 자동화해 줌. 코드와 문서를 연결해 줘서 전체 시스템의 구조를 한눈에 볼 수 있어 좋다. 다른 도구보다 설정이 간단해서 바로 적용할 수 있음.