AI架构学习资源索引

面向架构师的GitHub高星AI项目索引。
按架构主题分类，每个项目都有中文说明和适用场景。

一、系统架构设计

二、RAG架构与模式

三、推理引擎与优化

四、MCP协议与Agent

五、边缘AI与嵌入式部署

六、边缘AI架构专项

6.1 嵌入式AI参考架构

┌─────────────────────────────────────────────────────────────┐
│                    应用层                                    │
│  语音助手 / 设备诊断 / 产线监控 / 质量检测 / 客服机器人        │
├─────────────────────────────────────────────────────────────┤
│                    AI服务层                                  │
│  ┌──────────┐ ┌──────────┐ ┌──────────┐                    │
│  │ LLM推理   │ │ RAG检索   │ │ Agent编排 │                    │
│  │llama.cpp │ │SQLite+vec│ │本地工作流  │                    │
│  └──────────┘ └──────────┘ └──────────┘                    │
├─────────────────────────────────────────────────────────────┤
│                    模型层                                    │
│  Qwen-1.8B INT4 / Phi-3-mini INT4 / 自定义小模型             │
│  量化: GPTQ/AWQ | 大小: 1-3GB | 精度: INT4/INT8              │
├─────────────────────────────────────────────────────────────┤
│                    硬件层                                    │
│  ARM Cortex-A78 / NPU / GPU(Mali) / 内存4-8GB LPDDR5        │
└─────────────────────────────────────────────────────────────┘

6.2 嵌入式AI部署检查清单

• 模型选择：参数<3B，量化后大小<2GB
• 量化方案：INT4优先，精度损失<3%
• 推理框架：llama.cpp（C++，ARM友好）
• 内存管理：预分配内存池，避免运行时碎片
• 流式输出：Token-by-Token，降低首字延迟
• 本地知识库：SQLite + 轻量embedding模型
• 语音支持：Sherpa-ONNX / Whisper.cpp
• 功耗管理：按需唤醒，空闲时降频

七、学习路线图

第1周：建立架构认知
  ├── study8677/awesome-architecture（21张架构图）
  └── 本文档第二部分"核心架构模式"

第2-3周：深入RAG架构
  ├── sunilpradhansharma/production-rag-patterns-in-practice
  └── 搭建一个简单的RAG系统

第4-5周：Agent架构
  ├── FareedKhan-dev/all-agentic-architectures
  └── zeljkoavramovic/agentic-design-patterns

第6-7周：推理优化
  ├── ksm26/Efficiently-Serving-LLMs
  └── 部署一个开源模型（vLLM或llama.cpp）

第8周：MCP协议
  ├── microsoft/mcp-for-beginners
  └── 实现一个MCP Server

持续：边缘AI
  ├── Azure-Samples/Phi-3MiniSamples
  └── 在嵌入式设备上跑一个小模型