跳到主要内容

RAG 工业方案笔记

本文目的:替换 RAG 原笔记(原 旧稿 只有 64 行文章链接,严重过时,已删除)。覆盖 2026 年工业级 RAG 全栈:范式演进、开源框架对比、文档解析、Embedding、向量数据库、评测体系、完整工业链路、场景化选型决策树。 配套笔记:Prompt工程笔记、Rerank笔记、上下文工程与Agent笔记 配套 demo:example/llm-demo/04_rag_evaluation

阅读地图​

§主题一句话定位
1RAG 范式演进Naive → Advanced → Modular 三阶段;Agentic RAG 四子流派
2工业级 RAG 引擎9 大开源框架对比(GitHub / 版本 / star / 定位 / 何时用)
3文档解析PDF/EPUB/Office → 结构化的工业级工具链
4Embedding 模型BGE / Qwen3-Embedding / bce / OpenAI / Cohere / Voyage / Jina 对比
5向量数据库Qdrant / Milvus / Weaviate / pgvector / ES / Chroma 选型
6RAG 评测体系RAGAS 4 大核心指标 + 5 大观测/评测工具
7完整工业链路数据 → 解析 → 切片 → Embedding → 索引 → 检索 → 重排 → 生成 → 评测
8选型决策树按场景给推荐(个人 / 企业 / 多模态 / Agent / 国内合规 / 学术)
9来源链接全部 GitHub 链接按章节分组

1. RAG 范式演进​

1.1 三阶段演进(Gao et al. Survey)​

阶段时间特征局限
Naive RAG2023 前索引 → 检索 → 生成三步走召回不准、生成幻觉、无后处理
Advanced RAG2023-2024Pre-retrieval(query rewrite / HyDE)+ Post-retrieval(rerank / compression)模块割裂、缺乏全局视角
Modular RAG2024-2026模块化重组 + Agent 编排 + 自适应路由复杂度高、需要更强的工程能力

参考:Retrieval-Augmented Generation for Large Language Models: A Survey(Gao et al., 2023,最新版本持续更新至 2025)。

1.2 Agentic RAG 四子流派(2024 论文)​

流派核心思路代表论文落地成本
Self-RAGtoken 级 reflection + critique tokens,按需触发检索Asai et al., ICLR 2024高(要 fine-tune critic token)
CRAG / Corrective-RAGretrieval evaluator + web search fallback;低置信度时触发重检索Yan et al., 2024中
Adaptive-RAG根据 query complexity 选择:单跳检索 / 多步检索 / 直接生成Jeong et al., 2024中
Agentic Tool-Use RAGAgent 自主决定调用 RAG / SQL / Web / API / 计算器LangGraph / LlamaIndex / Manus低-中(2026 主流)

2026 落地建议:CRAG + Adaptive-RAG 思路 + Agent 工具调用是工业级默认;Self-RAG 因 fine-tune 成本高,多数场景下不必上。


2. 工业级 RAG 引擎对比(9 大框架)​

2.1 全景对比表​

框架仓库最新版本发布时间StarsFork核心定位
RAGFlowinfiniflow/ragflowv0.26.22026 活跃84.1k9.8k深文档理解的 RAG 引擎 + Agent 融合
LightRAGHKUDS/LightRAGlightrag-hku (PyPI)活跃37.2k5.2k轻量级 KG-RAG,五种查询模式,多模态
GraphRAGmicrosoft/graphragv3.1.02026-05-2834.1k3.6k模块化图基 RAG 数据管线
Difylanggenius/difyv1.10.02025-05-20(持续小版本)147k23.2kLLM 应用生产平台(含 RAG + Agent + Workflow)
FastGPTlabring/FastGPTv4.15.02026-06-3028.8k7.2k知识库 + 可视化 AI 工作流(国内活跃)
MaxKB1Panel-dev/MaxKBv2.10.2-lts2026-06-1821.6k2.9k企业级 Agent + RAG + MCP
LangChainlangchain-ai/langchaincore 1.4.82026-06-18141k23.4kAgent 工程平台(已演化为通用框架)
LlamaIndexrun-llama/llama_indexv0.14.232026-06-2450.6k7.7k文档 Agent + OCR 平台(含 LlamaParse 商业版)
Haystackdeepset-ai/haystackv2.30.22026-06-1825.8k2.9k生产级 LLM 编排框架(pipeline + agent)

2.2 各框架"何时用"短评​

框架适用场景不适用场景一句话推荐
RAGFlow复杂 PDF(论文 / 财报 / 合同)+ 需要深文档理解(表格 / 公式)轻量场景、纯文本"深文档 RAG 引擎 + Agent 融合"国内最稳的选项
LightRAG需要 Graph + 向量混合检索;EMNLP 2025 论文加持不需要图检索的传统 RAG"5 种查询模式 + 图基 RAG"的轻量首选
GraphRAG全局摘要类问题("这批文档讲了哪些主题?");社区/警务/研究单点查找类问题("第 3 章第 2 节讲什么")全局型 / 关系型问答的图基方案
Dify需要可视化编排 Workflow + 多模型切换 + 企业内快速落地强定制、高性能"全功能 LLM 应用平台",国内企业私有化首选
FastGPT国内中小团队,需要开箱即用的知识库强定制"可视化 AI 工作流"国内中小团队首选
MaxKB企业内 IM 集成(飞书 / 钉钉 / 企微)+ MCP终端用户产品"1Panel 生态 + Agent + RAG"的开箱即用方案
LangChain复杂 Agent / 多工具调用 / 需要 LangSmith 配套纯检索任务(链式调用太重)"Agent 编排首选",但要小心 1.x 后的 API 变化
LlamaIndex文档 Agent / 数据连接器丰富 / LlamaParse OCR不需要 OCR 的纯文本场景"文档 Agent + OCR"最强,但商业 LlamaParse 已迁移 llama-cloud
Haystack生产级 pipeline 编排 / 需要 REST 服务化部署快速原型"Pipeline-first"的稳健生产选择

2.3 选型速记​

  • 国内中小团队 / 开箱即用:Dify > FastGPT > MaxKB
  • 深文档 / PDF 论文 / 财报:RAGFlow > LightRAG
  • 全局型 / 关系型问答:GraphRAG > LightRAG
  • 复杂 Agent / 多工具:LangChain + LangGraph > LlamaIndex
  • 生产级 Pipeline / 服务化:Haystack > 自研
  • 学术研究 / 复现论文:LightRAG(EMNLP 2025)/ GraphRAG(微软)

3. 文档解析(PDF / Office → 结构化)​

3.1 工具对比​

工具仓库最新版本发布时间Stars适用场景
Doclingdocling-project/doclingv2.108.02026-07-0162.5k多格式 + VLM + MCP server(IBM DS4SD,LF AI 托管)
Markerdatalab-to/marker3.42026-06-1837k中英文 PDF/EPUB/PPT;Hybrid Mode + LLM 增强
MinerUopendatalab/MinerU持续发布2026 活跃>10k学术论文 / 复杂版面(已被 LightRAG 集成)
MarkitDownmicrosoft/markitdown活跃持续—Office/PDF → MD(轻量、微软出品)
olmOCRallenai/olmocrv0.4.02025-10-21—RL 微调的 OLMo-based OCR(学术派)
LlamaParserun-llama/llama_cloud_services已迁移 llama-cloud维护至 2026-05-01—⚠️ 商业云 OCR,新版走 llama-cloud 包
unstructured.ioUnstructured-IO/unstructured持续发布持续15.1k通用 ingest + chunk + embed 流水线

3.2 推荐组合​

场景推荐组合
英文论文 / 学术Marker(PDF→MD)+ MinerU(复杂版面)
国内企业文档(合同/财报)Docling(IBM,LF AI 托管)+ VLM 增强
Office 全家桶MarkitDown(微软,开箱即用)
多模态 PDF(图文混排)Docling(VLM 集成)+ olmOCR(RL 增强)
快速原型MarkitDown / Unstructured
商业云 OCRLlamaParse(注意已迁移 llama-cloud)

3.3 关键工程点​

  • 版面分析:表格 / 公式 / 图片需要单独处理,不要当纯文本
  • OCR 后处理:扫描件必须先 OCR 再切片,否则 chunk 质量极差
  • 格式保留:Markdown / JSON / HTML 三选一,Markdown 是事实标准
  • chunk 边界:跨页/跨章节的段落要在解析阶段就合并,不要在切片阶段再处理

4. Embedding 模型(2026 SOTA)​

4.1 主流模型对比​

模型机构HF / 仓库维度上下文多语言何时用
BGE-M3BAAIBAAI/bge-m310248K✅ 中英 + 100 语言个人知识库首选;dense+sparse+multi-vec 三态
BGE-large-zh-v1.5BAAIBAAI/bge-large-zh-v1.51024512❌ 中文专用纯中文场景、轻量
Qwen3-Embedding-8B阿里QwenLM/Qwen3-Embedding可配置32K✅ 多语言 SOTAMTEB multilingual #1(2025-06),高精度需求
bce-embedding-base_v1网易FlagEmbedding v1.3.4 收录768512✅ 中英国内生产环境,已被多家大厂采用
text-embedding-3-largeOpenAIAPI30728K✅ 多语言商业 API 基线;按 token 计费
embed-multilingual-v3CohereAPI1024512✅ 100+ 语言商业 SaaS 场景
voyage-3-largeVoyageAPI102432K✅ 多语言长文本检索 SOTA
jina-embeddings-v4Jinajinaai/jina-embeddings-v4可配置8K✅ 多语言多模态(图文)检索
text-embedding-v5JinaAPI—8K✅ 多语言Jina 最新 API 版
gte-Qwen2-7B-instruct阿里Alibaba-NLP/gte-Qwen2-7B-instruct357632K✅ 多语言MTEB 榜单常年前列

⚠️ Conan-embedding(商汤) 仓库链接 404,可能已被取代。

4.2 FlagEmbedding 生态​

BAAI 的 FlagEmbedding v1.4.0(2026-04-22 发布)是中文 Embedding 的事实标准仓库,统一了:

  • BGE 系列(embedding + reranker)
  • bce-embedding(网易)
  • LLM Embedder(多任务)
  • BGE-Reasoner-preview(新增)

4.3 选型速记​

场景推荐
个人知识库BGE-M3(中文 + 8K 上下文 + 三态检索)
生产 RAG 服务bce-embedding-base_v1(国内稳定) / Qwen3-Embedding-8B(精度极致)
多语言 SOTAQwen3-Embedding-8B(MTEB #1)
长文本(32K+)voyage-3-large / gte-Qwen2-7B-instruct
多模态(图文)jina-embeddings-v4
API 快速集成OpenAI text-embedding-3-large(基线)/ Cohere / Voyage
极低成本(CPU 推理)bge-small-zh-v1.5 / bge-small-en-v1.5

4.4 工程要点​

  • 归一化:cosine 相似度需要向量归一化;dot product 不需要
  • batch 编码:大文档集必须 batch(32~128 条/批),单条编码效率极低
  • 量化:INT8 量化对召回率影响 < 1%,生产环境推荐
  • 混合检索:dense + sparse(BM25)+ multi-vec 三路召回 + RRF 融合是 2026 主流

5. 向量数据库​

5.1 全景对比​

数据库仓库最新版本发布时间Stars核心场景
Qdrantqdrant/qdrantv1.18.22026-06-0432.9kRust + 强过滤 + 混合检索(RRF/DBSF)+ Edge
Milvusmilvus-io/milvus2.6+(2.5.x LTS)持续45k+分布式万亿级,Woodpecker WAL,Lite/Standalone/Distributed
Weaviateweaviate/weaviatev1.38.22026-06-25—模块化向量 + 知识图谱混合
pgvectorpgvector/pgvector无 tag持续—Postgres 扩展,省运维;已有 PG 团队首选
Elasticsearchelastic/elasticsearchv9.4.32026-06-30—已有 ES 栈时复用 dense_vector
Chromachroma-core/chroma1.5.92026-05-05—Demo / 轻量本地
Vearchvearch/vearchv3.5.92025-02-04—⚠️ 更新停滞(一年半无新版),不推荐新项目

5.2 选型速记​

场景推荐理由
个人知识库 / 中小团队QdrantRust 性能强,单二进制部署,过滤能力一流
已有 PG 团队pgvector零运维成本,复用 PG 备份 / 主从
已有 ES 团队Elasticsearch dense_vector复用现有集群
企业级万亿规模Milvus分布式 + Woodpecker WAL + 多语言 SDK
需要混合(图+向量)Weaviate模块化设计,原生支持 hybrid search
Demo / 原型Chroma轻量、API 简单
边缘 / 端侧Qdrant EdgeRust 嵌入式,< 50MB 二进制

5.3 工程要点​

  • 混合检索:dense + BM25 + RRF 融合是 2026 标配(Qdrant / Milvus / Weaviate 都原生支持)
  • 过滤:metadata 过滤(如时间范围 / 文档类型)必须在向量检索前完成
  • 分片:亿级以上需要分片;Qdrant 推荐按 tenant 分片;Milvus 用 partition key
  • 备份:向量数据库的备份与关系数据库不同,需要单独设计(snapshot + 重建索引)
  • 量化:SQ(Scalar Quantization)/ PQ(Product Quantization)/ Binary 各有取舍

6. RAG 评测体系​

6.1 评测工具对比​

工具仓库最新版本发布时间Stars定位
RAGASvibrantlabsai/ragasv0.4.32026-01-1314.6kRAG 评测事实标准;4 大核心指标
DeepEvalconfident-ai/deepevalv4.0.52026-05-2816.6kAgent-native 评测,本地 TUI trace 检查
TruLenstruera/trulens2.8.12026-05-143.4k评测 + GEPA 遗传 prompt 优化
PhoenixArize-ai/phoenixv17.15.02026-07-01—可观测性 + LLM-as-judge
LangSmith SDKlangchain-ai/langsmith-sdkv0.9.52026-07-01951LangChain 生态 tracing/eval

6.2 RAGAS 4 大核心指标​

指标含义范围何时关注
Context Precision检索到的 context 中相关条目的占比0-1检索器质量差(噪音多)时
Context Recallground-truth 答案能被检索 context 覆盖的比例0-1召回不足、漏检时
Faithfulness答案中的事实是否都能在 context 中找到依据0-1幻觉严重、编造内容时
Answer Relevancy答案与问题的相关程度(不看正确性)0-1答非所问、跑题时

2026 实战经验:

  • 4 个指标都要看,单独看任何一个都会失真
  • Faithfulness < 0.8 必须修(幻觉风险高)
  • Context Recall < 0.7 要先扩检索(top_k / 加 HyDE / 换 embedding)
  • Context Precision 低 + Recall 高 = 检索器太松,加 rerank
  • Context Precision 高 + Recall 低 = 检索器太严,加多路召回

6.3 评测体系选择​

场景推荐
RAG 系统评测(事实标准)RAGAS
Agent / 多步推理评测DeepEval(Agent-native)
Prompt + RAG 联合优化TruLens(GEPA 算法)
生产可观测 + 评测Phoenix(自托管)或 LangSmith(云托管)
LangChain 生态全套LangSmith(trace + eval + prompt 注册)
多模型 + 多场景对比RAGAS + Phoenix 双跑

6.4 测试集设计​

  • 领域内:从业务真实日志采样 100~500 条问答对
  • 领域外:用 LLM 生成对抗样本(无关问题 / 陷阱问题 / 越狱 prompt)
  • 黄金集:人工标注 50~100 条高质量答案作 ground truth
  • 回归集:每次发版必须跑同一份测试集,防止性能回退

7. 完整工业链路​

7.1 9 步全链路​

┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
│ 1. 数据源 │ → │ 2. 文档解析│ → │ 3. 切片 │ → │ 4. Embedding │
└──────────┘ └──────────┘ └──────────┘ └──────────┘
↓
┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
│ 9. 评测 │ ← │ 8. 生成 │ ← │ 7. 重排序 │ ← │ 6. 检索 │
└──────────┘ └──────────┘ └──────────┘ └──────────┘
↑ ↑
│ ┌──────────┐ │
└──────────────│ 5. 索引 │────┘
└──────────┘

7.2 各步骤推荐工具与关键参数​

步骤推荐工具关键参数
1. 数据源文件 / S3 / OSS / Notion / 飞书 / Confluence增量同步、版本控制、去重
2. 文档解析Docling / Marker / MinerU表格识别、公式 OCR、版面分析
3. 切片LangChain / LlamaIndex / 自研(Recursive / Semantic / LLM-based)chunk_size 512~1024、overlap 10%~20%
4. EmbeddingBGE-M3 / Qwen3-Embedding / bcebatch_size 32~128、归一化
5. 索引Qdrant / Milvus / pgvectorHNSW ef_construction 200、M 16
6. 检索dense + BM25 + RRFtop_k 20~100、加 metadata 过滤
7. 重排序BGE-reranker-v2-m3 / Cohere v3.5取 top 5~10,详见 Rerank笔记
8. 生成Claude Sonnet 5 / GPT / Qwen3温度 0、引用标注、拒绝回答机制
9. 评测RAGAS / DeepEval4 大指标 + 回归集 + A/B

7.3 关键工程原则​

  • 每步可观测:每一步的输入输出都要 trace(LangSmith / Phoenix)
  • 每步可降级:Embedding 服务挂了要能 fallback 到 BM25;LLM 服务挂了要能切备用模型
  • 每步可缓存:Embedding 结果按 (model, text_hash) 缓存;Rerank 结果按 (model, query, doc_id) 缓存
  • 每步可回滚:向量索引要支持快照回滚;prompt 版本要可回退

8. 选型决策树​

8.1 按场景推荐​

场景推荐组合理由
个人知识库(Obsidian / Notion)BGE-M3 + Qdrant + BGE-reranker-v2-m3 + RAGFlow 或 LightRAG轻量、本地可跑、不依赖云
企业文档库(合同/财报/手册)Docling + bce-embedding + Milvus + BGE-reranker + RAGFlow深文档理解、企业级分布式
多模态(图文混排)Docling(VLM)+ jina-embeddings-v4 + Qdrant + jina-reranker-m0原生多模态支持
Agent 融合 RAGLangChain + LangGraph + Qdrant + RAGASAgent 编排 + 多工具调用
国内合规(数据不出境)bce-embedding + MaxKB + 达梦 / OceanBase + 本地 BGE-reranker全栈国内合规
学术研究(复现论文)LightRAG(EMNLP 2025)/ GraphRAG + LlamaIndex + RAGAS论文复现、生态完整
快速原型 / DemoDify / FastGPT + Chroma + OpenAI Embedding5 分钟搭起来
企业 IM 集成(飞书/钉钉)MaxKB + Dify + pgvector开箱即用 IM 集成

8.2 常见误区​

  • ❌ Embedding 越新越好:Qwen3-Embedding-8B 不一定比 BGE-M3 在你的场景好,必须 A/B 测试
  • ❌ 向量库越大越好:个人知识库用 Chroma / Qdrant 就够,Milvus 是给万亿级准备的
  • ❌ Rerank 一定要上:如果 Context Precision 已经 > 0.9,可以暂时不 rerank 省成本
  • ❌ Embedding 一定要 GPU 推理:BGE-M3 / bce 都能 CPU 跑,吞吐量要求不高时不必上 GPU
  • ❌ Chunk 越小越好:512 token 是经验值;要看下游 LLM 的 context window 和检索粒度

9. 来源链接(按章节分组)​

9.1 RAG 范式​

9.2 RAG 框架​

9.3 文档解析​

9.4 Embedding​

9.5 向量数据库​

9.6 评测​