架构师决策矩阵：AI技术选型指南

嵌入式软件工程师做AI架构决策时的速查表。
每个决策点都有选项、trade-off分析和推荐方案。

一、模型选型决策

1.1 按场景选择模型类型

1.2 开源模型对比

二、部署架构决策

2.1 部署模式选择

是否允许数据外发？
  ├── 是 → 对延迟要求？
  │         ├── 低 → API调用（最简单）
  │         └── 高 → 边缘缓存 + API降级
  └── 否 → 有GPU资源？
            ├── 有 → vLLM/TensorRT-LLM 自部署
            └── 无 → llama.cpp CPU推理 或 NPU加速

2.2 推理引擎选择矩阵

2.3 量化策略选择

三、RAG架构决策

3.1 向量数据库选择

3.2 Embedding模型选择

3.3 RAG架构复杂度选择

四、Agent架构决策

4.1 Agent模式选择

4.2 工具集成决策

五、成本优化决策

5.1 成本构成分析

AI系统成本 = 模型推理成本 + 数据存储成本 + 开发维护成本

模型推理成本占比：70-85%
  ├── Token费用（API模式）
  ├── GPU费用（自部署模式）
  └── 边缘设备摊销（边缘模式）

数据存储成本占比：10-20%
  ├── 向量数据库
  ├── 文档存储
  └── 日志和监控

开发维护成本占比：10-15%
  ├── 架构设计
  ├── Prompt工程
  └── 评估和优化

5.2 降本策略

六、安全合规决策

6.1 数据安全分级

6.2 防护策略矩阵