张芷铭的个人博客Reranker通过Cross-Encoder深度建模查询与文档的语义匹配，对初步召回结果精排，在RAG场景中提升检索准确性20%-50%。
核心定位
| 阶段 | 方法 | 目标 |
|---|---|---|
| 召回 | Bi-Encoder/稀疏检索 | 高召回率、低延迟 |
| 重排序 | Cross-Encoder | 高精度、可控成本 |
架构对比
| 架构 | 输入方式 | 交互粒度 | 效率 | 适用阶段 |
|---|---|---|---|---|
| Bi-Encoder | query与doc分别编码 | 无交互 | 高（毫秒级） | 粗筛 |
| Cross-Encoder | [query; doc]拼接 | 细粒度交互 | 中（百毫秒级） | 精排 |
训练方式
| 方式 | 说明 |
|---|---|
| 监督训练 | 最小化交叉熵损失 |
| 对比学习 | 最大化正负样本分数差 |
| 蒸馏学习 | 大模型蒸馏小模型 |
主流模型
| 模型 | 特点 | 适用场景 |
|---|---|---|
| ms-marco-MiniLM-L-6-v2 | 轻量、速度快 | 在线检索、实时RAG |
| ms-marco-RoBERTa-L-12-v2 | 精度高 | 离线重排 |
| BGE-Reranker | 中文优化 | 中文RAG |
应用场景
- RAG系统：向量检索后精排，减少上下文噪声
- 搜索引擎：解决歧义与语义匹配问题
- 推荐系统：提升点击率与转化率
[[query和doc]]
Comments