GitHub 트렌딩을 그대로 나열하지 않고, Claude Code · RAG · 로컬 AI · 에이전트 워크플로우 · 평가 도구 · AI 앱 빌더 관점에서 실제 빌더가 쓸 만한 오픈소스 스택을 다시 정리합니다.
AI 엔지니어링의 기본부터 실제 서비스 구축까지 다루는 실습 중심의 학습 자료다. 에이전트와 컴퓨터 비전 등 다양한 AI 분야를 포함한다.
Learn it. Build it. Ship it for others.
OSS LLM 추론 엔진의 사실상 표준. PagedAttention 기반으로 처리량이 매우 높아요.
A high-throughput and memory-efficient inference and serving engine for LLMs.
이미지/비디오/오디오 확산 모델 라이브러리의 표준. GPT Image 2를 내부에서 fine-tune이나 후처리할 때 함께 가는 코어 의존.
🤗 Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.
동일 예산으로 더 높은 지능 밀도를 제공하는 토큰 효율적인 AI 에이전트이다. 적은 토큰으로도 복잡한 작업을 처리할 수 있어 비용 효율적인 AI 솔루션 개발에 기여한다.
OpenSquilla — Token-Efficient AI Agent with same budget, higher intelligence density
내 DB 스키마를 학습시켜 자연어 → 정확한 SQL을 만드는 라이브러리. 분석가 워크플로우에 강해요.
Chat with your SQL database — accurate Text-to-SQL Generation via LLMs using RAG.
OSS 모델 fine-tuning에서 가장 인기있는 도구. LoRA·QLoRA·Full FT 다 지원.
Go ahead and axolotl questions — fine-tuning toolkit.
Airflow의 모던 대안. UX와 디버깅이 훨씬 좋고 데이터 사이언스 워크플로우에 친화적.
Modern workflow orchestration framework — easier than Airflow.
분석가가 SQL로 데이터 변환을 작성하는 표준. modern data stack의 핵심.
dbt — Data Build Tool for analytics engineers.
Stable Diffusion LoRA 학습의 사실상 표준 도구. 캐릭터·스타일 학습이 직관적.
Training, generation and utility scripts for Stable Diffusion.
알리바바의 HuggingFace 대안. 중국 모델·비디오 생성 모델이 풍부.
ModelScope — bring the notion of Model-as-a-Service to life.
이미지와 텍스트를 같은 임베딩 공간에 두는 모델. 거의 모든 멀티모달 작업의 베이스.
CLIP — Connecting text and images.
MS 리서치가 만든 다중 모델 오케스트레이터. HuggingFace 모델을 LLM이 도구로 호출.
JARVIS — connecting LLMs with ML community models.
import 한 줄만 바꾸면 Pandas 코드가 멀티 코어로 돌아가는 마법.
Modin — Scale your pandas workflows by changing one line of code.
CLIP 같은 비전-언어 모델을 적은 데이터로 파인튜닝하는 기법 구현체.
Conditional Prompt Learning for Vision-Language Models.
MS의 통합 음성-텍스트 모델. ASR·TTS·음성 변환 한 모델로.
Unified-Modal Speech-Text Pre-Training for Spoken Language Processing.
ML 모델에 빠르게 UI 붙이는 표준. HuggingFace Spaces 데모의 70% 이상이 이 프레임워크.
Build and share delightful machine learning apps, all in Python. 🌟 Star to support our work!
Claude Mythos 아키텍처를 첫 번째 원칙부터 이론적으로 재구성한 오픈소스 프로젝트입니다.
A theoretical reconstruction of the Claude Mythos architecture, built from first principles using the available research literature.
60개 이상의 딥러닝 논문 구현 및 튜토리얼을 제공합니다. 트랜스포머, 옵티마이저, GAN, 강화학습 등 다양한 분야를 포함합니다.
🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠
분산된 학습과 추론을 위한 옵티마이저. GPU, TPU.
DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.
YOLOv5 객체 탐지 모델을 PyTorch, ONNX, CoreML, TFLite로 지원하는 오픈 소스 라이브러리입니다.
Ultralytics YOLOv5 in PyTorch > ONNX > CoreML > TFLite
AI 기술을 활용한 Quant 연구 및 생산화를 지원하는 AI-oriented Quant 투자 플랫폼. 다양한 ML 모델링 패러다임을 지원하고, https://github.com/microsoft/RD-Agent를 통해 R&D 프로세스를 자동화합니다.
Qlib is an AI-oriented Quant investment platform that aims to use AI tech to empower Quant Research, from exploring ideas to implementing productions. Qlib supports diverse ML modeling paradigms, including supervised learning, market dynamics modeling, and RL, and is now equipped with https://github.com/microsoft/RD-Agent to automate R&D process.
토크나이저 없이 다국어 음성을 생성하는 TTS 모델이다. 창의적인 음성 디자인 및 실제 같은 보이스 클로닝을 지원하여 폭넓게 활용된다.
VoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning
대화 기반 어시스턴트를 제공하는 오픈 소스 프로젝트.
OpenAssistant is a chat-based assistant that understands tasks, can interact with third-party systems, and retrieve information dynamically to do so.
데이터 파이프라인 오케스트레이션의 클래식. 잘 정의된 DAG로 ETL을 안정적으로.
Apache Airflow - A platform to programmatically author, schedule, and monitor workflows
ML 학습·서빙·하이퍼파라미터 튜닝을 분산 처리하는 통합 프레임워크.
Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.
Mixpanel·Amplitude의 오픈소스 대체. 셀프호스팅 가능하고 LLM 관측까지 추가됐어요.
🦔 PostHog is an all-in-one developer platform for building successful products. We offer product analytics, web analytics, session replay, error tracking, feature flags, experimentation, surveys, data warehouse, a CDP, and an AI product assistant to help debug your code, ship features faster, and keep all your usage and customer data in one stack.
문서를 스캔, 색인 및 보관하는 데 도움이 되는 문서 관리 시스템.
A community-supported supercharged document management system: scan, index and archive all your documents
실시간으로 음성을 복제하는 기술을 제공하는 프로젝트입니다.
Clone a voice in 5 seconds to generate arbitrary speech in real-time
GPT Image 2 / Gemini 2 Flash에 견줄 만한 오픈소스 편집 모델. API 비용이 부담스러우면 self-host 옵션.
A SOTA open-source image editing model, which aims to provide comparable performance against the closed-source models like GPT-4o and Gemini 2 Flash.
OpenMMLab에서 개발한 객체 탐지 툴박스이자 벤치마크이다. 다양한 최신 객체 탐지 알고리즘을 구현하고 평가하는 데 사용된다.
OpenMMLab Detection Toolbox and Benchmark
PyTorch 기반의 이미지-이미지 변환 모델인 CycleGAN과 pix2pix 구현체. 컴퓨터 비전 분야에서 이미지 스타일 변환 및 생성에 널리 사용된다.
Image-to-Image Translation in PyTorch
PDF·DOCX·PPTX·이미지·오디오 등 모든 걸 LLM에 먹이기 좋은 깨끗한 마크다운으로 변환. RAG 전처리에서 압도적으로 편함.
Python tool for converting files and office documents to Markdown.
LLM 벤치마크 표준. HellaSwag·MMLU 같은 평가를 한 번에 돌리는 프레임워크.
A framework for few-shot evaluation of language models.
텍스트를 음성으로 변환하는 도구입니다.
🚀Clone a voice in 5 seconds to generate arbitrary speech in real-time
MS의 그래프 기반 RAG. 일반 RAG보다 multi-hop 추론이 강해서 복잡 도메인에 적합.
A modular graph-based Retrieval-Augmented Generation (RAG) system
스마트폰에서도 돌아가는 vision LLM. 작지만 GPT-4V 수준 작업도 가능.
MiniCPM-V — strong multimodal LLM for end-side deployment.
Salesforce가 만든 비전-언어 모델 모음. BLIP·CLIP 등이 통합 인터페이스로 묶여있어요.
LAVIS — a Library for Language-Vision Intelligence.
데이터 asset 중심 오케스트레이터. 데이터 lineage·observability에 강해요.
Dagster — a data orchestrator for the modern data stack.
RAG 시작용으로 가장 쉬운 vector DB. Python에서 5줄로 임베딩 저장·검색.
Chroma — the open-source embedding database.
음성 인식의 표준. 99개 언어 지원하고 한국어 정확도가 매우 높아요.
Robust Speech Recognition via Large-Scale Weak Supervision
Karpathy의 GPT 학습 코드. 단순함이 무기이고 LLM 내부를 직접 보고 싶을 때.
The simplest, fastest repository for training/finetuning medium-sized GPTs.
딥러닝 연구자들을 위한 PyTorch 튜토리얼 모음이다. 기본적인 개념부터 다양한 모델 구현까지 실용적인 예제들을 제공하여 학습에 도움을 준다.
PyTorch Tutorial for Deep Learning Researchers
금융 데이터 플랫폼으로 사용됩니다.
Financial data platform for analysts, quants and AI agents.
전통적 ML 알고리즘의 표준 라이브러리. 분류·회귀·클러스터링 모두 한 곳에서.
scikit-learn: machine learning in Python
Stability AI가 직접 푸시하는 모델 코드. 새 모델이 나오면 가장 먼저 여기에.
Generative Models by Stability AI — SDXL, SD3, Stable Cascade.
인간이 이해할 수 있는 딥러닝을 위한 도구입니다.
Deep Learning for humans
ML 연구의 사실상 표준 프레임워크. dynamic graph·확장성·생태계 모두 1위.
Tensors and Dynamic neural networks in Python with strong GPU acceleration
Python 한 파일로 인터랙티브 데이터 앱 만드는 도구. PoC 만들기 가장 빠름.
Streamlit — A faster way to build and share data apps.
RAG 전처리할 때 진짜 편한 툴이다. 모든 포맷을 마크다운으로 변환해주니까 데이터 정리하기 좋다. 가성비 좋다.