跳到主要内容

Rerank 重排序笔记

本文目的:替换 Rerank 原笔记(原 旧稿 仅 38 行 + 一段 Claude 回答,缺主流模型,已删除)。覆盖 2026 年工业级 Rerank:4 种范式对比、5 大模型系列对比、LLM-based 重排序、工业部署、选型决策树。 配套笔记:RAG工业方案笔记、Prompt工程笔记、上下文工程与Agent笔记 配套 demo:example/llm-demo/04_rag_evaluation

阅读地图​

§主题一句话定位
1为什么需要重排序Recall vs Precision;向量召回的"浅层相似"局限
2重排序范式对比4 种范式(Bi-encoder / Cross-encoder / Late Interaction / LLM-based)的性能/精度矩阵
3主流 Rerank 模型5 大系列对比(BGE / Cohere / Jina / Qwen3-Reranker / gte-rerank)
4LLM-based 重排序RankGPT / RankZephyr / PRP / RankT5;listwise / pairwise / setwise
5工业级部署TEI / vLLM / SGLang / ONNX Runtime / TensorRT-LLM 推理对比
6选型决策树按场景给推荐(中文 / 多语言 / 多模态 / 成本敏感 / 精度极致)
7来源链接全部 GitHub/HF 链接按章节分组

1. 为什么需要重排序​

1.1 向量召回的局限性​

向量数据库用 cosine / L2 / dot product 等数学距离做相似度,本质是浅层相似:

  • 基于预计算的 embedding,query 和 doc 在向量空间中的几何距离
  • 缺乏细粒度的 query-doc 交互建模
  • 难以捕捉复杂的语义匹配(同义词、反义词、蕴含、否定、条件、因果)

1.2 两阶段检索范式​

┌──────────────┐ ┌──────────────┐ ┌──────────────┐
│ 第一阶段 │ │ 第二阶段 │ │ 输出 │
│ 向量召回 │ → │ Rerank 精排 │ → │ Top-N(5~10) │
│ Top-K(50~100)│ │ Cross-encoder │ │ 喂给 LLM │
└──────────────┘ └──────────────┘ └──────────────┘
阶段目标候选数精度速度模型
召回(Recall)不漏,宁可多50~100中极快(ms 级)Bi-encoder(Embedding 模型)
精排(Precision)准,去噪音5~10高慢(10ms~1s)Cross-encoder / LLM-based

经验数据:重排序通常能将搜索结果的相关性提升 10%~30%(参考 Claude 原始回答 + Cohere 官方 benchmark)。

1.3 何时需要 Rerank​

信号是否需要 Rerank
Context Precision < 0.7✅ 强烈需要
Context Precision 0.7~0.9⚠️ 看延迟预算
Context Precision > 0.9❌ 可以暂时不上,省成本
检索召回 100+ 候选但只用 top 5✅ 强烈需要
检索召回 10 候选直接用❌ 不需要
用户对结果敏感(客服 / 医疗 / 法律)✅ 必上
用户对结果容忍度高(闲聊 / 创意)⚠️ 看场景

2. 重排序范式对比​

2.1 4 种范式​

范式原理精度速度成本代表模型
Bi-encoder(双塔)query 和 doc 独立编码 → cosine 相似度低-中极快低BGE-M3 / 所有 Embedding 模型
Cross-encoder(交叉)query 和 doc 拼接输入 BERT → 直接输出相关性分数高慢(10~50ms/对)中BGE Reranker / Cohere / Jina / gte-rerank
Late Interaction(ColBERT 风格)query 和 doc 独立编码但保留所有 token → MaxSim 聚合中-高中中ColBERT / BGE-M3(多向量)
LLM-based用 LLM 本身做精排(listwise / pairwise / setwise)最高极慢(1~5s/查询)高RankGPT / RankZephyr / PRP / GPT-4 / Claude

2.2 性能/精度矩阵​

精度 ↑
│
LLM-based ●
│
Cross-encoder ●
│
Late Interaction ●
│
Bi-encoder ●
│
└────────────────→ 速度

2.3 各范式适用场景​

范式适用场景不适用场景
Bi-encoder海量候选召回(百万级);第一阶段精排(精度不够)
Cross-encoder主流精排方案;top 100 → top 5海量候选(计算成本爆炸)
Late Interaction召回 + 精排都可;中等规模工业级超大规模(存储压力)
LLM-based高价值 / 低 QPS;评测 / 仲裁高 QPS 生产环境(成本 + 延迟)

3. 主流 Rerank 模型​

3.1 5 大系列对比​

模型机构HF / 仓库上下文多语言多模态部署方式何时用
BGE Reranker v2-m3BAAIBAAI/bge-reranker-v2-m38K✅ 多语言❌本地 / TEI / vLLM个人知识库 + 中文生产首选
BGE Reranker v2-gemmaBAAIBAAI/bge-reranker-v2-gemma8K✅ 多语言❌本地高精度需求
BGE Reranker v2-minicpm-layerwiseBAAIBAAI/bge-reranker-v2-minicpm-layerwise8K✅ 多语言❌本地可调节层数平衡精度/速度
Cohere Rerank v3.5CohereAPI—✅ 100+ 语言❌商业 APISaaS 场景,开箱即用
Jina Reranker m0Jinajinaai/jina-reranker-m0—✅ 多语言✅ 图文本地 / API多模态重排序
Qwen3-Reranker阿里QwenLM 系列32K✅ 多语言❌本地 / vLLM长文本 + 多语言
gte-rerank阿里Alibaba-NLP/gte-multilingual-reranker-base32K✅ 多语言❌本地MTEB 榜单前列
Pinecone RerankPineconeAPI—✅ 多语言❌商业 APIPinecone 生态

3.2 BGE Reranker v2 全系对比​

BAAI FlagEmbedding v1.4.0(2026-04-22)统一收录:

子模型Backbone参数量速度精度适用场景
bge-reranker-v2-m3XLM-RoBERTa568M快高通用首选
bge-reranker-v2-gemmaGemma-2-9B9B慢极高精度极致
bge-reranker-v2-minicpm-layerwiseMiniCPM2.4B可调(6/12/24/36 层)高平衡精度/速度

3.3 选型速记​

场景推荐理由
中文生产环境BGE Reranker v2-m3中文 SOTA + 本地可跑 + 多语言
多语言 + 长文本gte-multilingual-reranker / Qwen3-Reranker32K 上下文 + 多语言
多模态(图文)Jina Reranker m0原生多模态
SaaS 快速集成Cohere Rerank v3.5开箱即用,按 query 计费
精度极致(不在乎成本)BGE Reranker v2-gemma9B 参数
平衡精度/速度BGE Reranker v2-minicpm-layerwise(调节层数)灵活
个人知识库 / DemoBGE Reranker v2-m3CPU 可跑

4. LLM-based 重排序​

4.1 三种范式​

范式Prompt 示例复杂度适用场景
Pointwise"Q: ... D: ... 相关吗?输出 0/1"O(N) 次 LLM 调用最简单但精度最低
Pairwise"Q: ... A: ... B: ... 哪个更相关?"O(N²) 次 LLM 调用精度高,常用于 Arena
Listwise"Q: ... [A, B, C, D, E] 按相关性排序"O(1) 次 LLM 调用效率高,但 prompt 长

4.2 主流 LLM-based 重排序模型​

模型类型代表论文仓库
RankGPTlistwise,用 GPT-4 sliding windowSun et al., 2023RUCAIBox/RankGPT
RankZephyrlistwise,用 Zephyr 微调Pradeep et al., 2023castorini/rank_llm
PRP(Pairwise Ranking Prompting)pairwiseQin et al., 2024valohai/prp
RankT5listwise,用 T5 微调Zhuang et al., 2023google-research/rank_llm
Setwisesetwise(RankGPT 改进)Hwang et al., 2024同 RankGPT

4.3 何时用 LLM-based​

场景推荐
候选 ≤ 20 个✅ listwise(RankGPT)
候选 20~50 个✅ setwise / sliding window
候选 50~100 个⚠️ 先 Cross-encoder 粗排到 20 再 LLM 精排
高价值(法律 / 医疗 / 金融)✅ GPT-4 / Claude Opus 4.8 精排
实时高 QPS❌ 用 Cross-encoder
多模型对比评测✅ LLM-based 更公平

4.4 成本分析​

假设每条 query 20 候选、用 Claude Sonnet 5:

范式LLM 调用次数输入 token输出 token成本估算
Pointwise2020 × 200 = 4K20 × 5 = 100~$0.025
Pairwise190(C(20,2))190 × 400 = 76K190 × 5 = 950~$0.45
Listwise15K200~$0.025

结论:listwise + sliding window 是性价比最高的 LLM-based 方案。


5. 工业级部署​

5.1 推理引擎对比​

引擎仓库适配模型性能何时用
TEI(Text Embeddings Inference)huggingface/text-embeddings-inferenceBGE / gte-rerank / Jina 等 BERT 类高吞吐、CPU/GPU 均可HuggingFace 生态首选
vLLMvllm-project/vllmCross-encoder / LLM-basedGPU 高吞吐已有 vLLM 部署栈
SGLangsgl-project/sglangCross-encoder / LLM-basedGPU 高吞吐 + RadixAttention复杂调用 + LLM-based
ONNX Runtimemicrosoft/onnxruntime任何 ONNX 模型通用CPU / 边缘部署
TensorRT-LLMNVIDIA/TensorRT-LLMNVIDIA 优化极致 GPU 性能生产级 NVIDIA GPU
Infinitymicrosoft/infinity任何 ONNX 模型高吞吐 C++微软 ONNX 生态

5.2 部署模式​

模式 1:独立 Rerank 服务

Vector DB → recall top 100 → Rerank Service(TEI/vLLM) → top 5 → LLM
  • 优点:解耦、可独立扩展
  • 缺点:多一跳网络

模式 2:与应用一起部署

Application → 调用 rerank.py 函数 → 同进程 Rerank
  • 优点:低延迟
  • 缺点:绑死部署

模式 3:Serverless API

Application → Cohere / Jina / Pinecone API → 返回 rerank 结果
  • 优点:零运维
  • 缺点:数据出境 + 按量计费 + 延迟不稳定

5.3 性能优化​

  • 批量请求:Cross-encoder 适合 batch(32~64 条/批),单条延迟高
  • 异步并发:用 asyncio + aiohttp 同时处理多个 query
  • 预排序:先按 embedding 距离粗排,去掉明显不相关的,再喂 rerank
  • 缓存:同一 query 的 rerank 结果可缓存(注意 doc 变化时失效)
  • 量化:INT8 量化对 Cross-encoder 影响 < 2%,生产环境推荐

6. 选型决策树​

6.1 按场景推荐​

场景推荐组合理由
个人知识库 / 中文为主BGE Reranker v2-m3(本地 TEI)中文 SOTA + CPU/GPU 均可跑
多语言(中英欧)gte-multilingual-reranker-base / BGE v2-m332K 上下文 + 多语言
多模态(图文混排)Jina Reranker m0原生多模态
成本敏感 / 高 QPSBGE Reranker v2-m3 + TEI + INT8 量化极致性价比
精度极致 / 低 QPSBGE Reranker v2-gemma + LLM-based 双精排9B 模型 + GPT-4 仲裁
SaaS 快速集成(不想自建)Cohere Rerank v3.5 / Pinecone Rerank开箱即用,按 query 计费
长文本(10K+ context)gte-multilingual-reranker / Qwen3-Reranker32K 上下文
学术评测 / 高价值RankGPT(GPT-4 listwise sliding window)LLM-as-judge 公平性

6.2 调参建议​

参数经验值备注
Recall top_K50~100太小漏召回,太大 Rerank 慢
Rerank output top_N5~10喂给 LLM 的最终候选
batch_size32~64视 GPU 显存调整
max_length512BGE 默认 512,可调到 8K
Rerank 触发阈值Context Precision < 0.9 时启用动态启用省成本

6.3 常见误区​

  • ❌ Rerank 一定能提精度:候选召回太差时,Rerank 也救不回来
  • ❌ Rerank 模型越大越好:9B 模型延迟高、显存贵,多数场景 568M 的 BGE v2-m3 就够
  • ❌ 必须用 LLM-based:高 QPS 生产环境不现实,Cross-encoder 是事实标准
  • ❌ 忽略延迟:Rerank 是检索链路中的额外一跳,端到端延迟必须监控
  • ❌ Rerank 后直接用:仍要 prompt LLM "只根据上下文回答,不要编造"

7. 来源链接(按章节分组)​

7.1 Rerank 模型​

7.2 LLM-based 重排序​

7.3 部署引擎​