OpenClaw/context-gatekeeper
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

chore: remove paper (未完成)

Browse Source
This commit is contained in:
Elaina
2026-04-22 10:43:50 +08:00
parent a8204a50b5
commit 8852f1b1fb
1 changed files with 0 additions and 314 deletions
Download Patch File Download Diff File Expand all files Collapse all files

314
paper.md
View File

@@ -1,314 +0,0 @@
# 上下文门控器：面向大模型多轮对话的轻量级上下文选择器
**作者：** Elaina
**日期：** 2026-04-22
**类型：** 技术报告
---
## 摘要
大语言模型（LLM）在多轮对话中面临两个核心问题：上下文污染（历史话题干扰当前话题）和上下文膨胀（历史长度持续增加导致的计算开销）。现有方案多依赖复杂模型（embedding、reranker）或需额外基础设施，在资源受限环境下难以部署。本文提出**上下文门控器（Context Gatekeeper）**，一种无需额外模型的轻量级上下文选择方法，通过话题门控判断、稀疏检索召回和最小覆盖贪心选择三阶段流程，从对话历史中选出最小且最相关的片段。实验表明，该方法在中英混合对话场景下能有效区分话题切换与延续，控制上下文长度的同时减少污染，在 2 核 2G 环境下可流畅运行。
**关键词：** 大语言模型、上下文管理、话题检测、稀疏检索、贪心算法
---
## 1. 引言
### 1.1 背景
随着 GPT-4、Claude 等大语言模型的普及，多轮对话成为人机交互的主要形态。然而，多轮对话带来两个显著问题：
1. **上下文污染（Context Pollution）**：模型倾向于过度依赖最近的历史内容，当用户切换到新话题时，旧话题的语义残留仍会影响模型回答，导致回答偏离当前主题。
2. **上下文膨胀（Context Inflation）**：每轮对话都会将全部历史附加到 prompt 中，导致：
- 计算成本呈线性增长
- 超出模型上下文窗口上限（GPT-4 支持 128K tokens，但多数开源模型仅 4K-8K）
- 大量无关历史进一步加剧上下文污染
### 1.2 问题定义
设对话历史为有序块序列 $B = \{b_1, b_2, ..., b_n\}$，其中每块 $b_i = (u_i, a_i)$ 表示第 $i$ 轮用户消息和助手回复。给定当前查询 $q$，目标是选择一个子集 $S \subseteq B$，使得：
- $S$ 最小化（控制 token 开销）
- $S$ 最大化覆盖 $q$ 的相关信息（减少污染）
约束条件：
- 不引入额外模型（无 embedding、reranker、分类器）
- 可在 2 核 2G CPU 环境运行
- 纯 Python 实现，无复杂依赖
### 1.3 本文贡献
1. 提出一种纯规则化的**话题门控机制**，通过锚点重叠率和新锚点比例判断话题切换
2. 设计基于 BM25/IDF 的**稀疏召回算法**，无需任何向量模型
3. 实现**最小覆盖贪心选择器**，在 token 预算约束下选择最具信息量的历史片段
4. 提供完整开源实现，在真实 MiniMax-M2.7 API 上验证有效性
---
## 2. 相关工作
### 2.1 上下文窗口扩展
为解决上下文长度限制，研究者从模型架构层面提出了多种方案：
**Longformer (Beltagy et al., 2020)** 通过局部注意力和全局注意力机制将 Transformer 扩展到处理长文档，但计算复杂度仍是 $O(n^2)$。**BigBird (Zaheer et al., 2020)** 使用稀疏注意力近似全注意力，理论上支持无限长度但实现复杂。**FlashAttention (Dao et al., 2022)** 通过 IO 优化提升注意力计算效率，但仍未解决上下文无限增长的问题。
这些方法从模型侧解决问题，但无法降低实际推理时的 token 消耗。
### 2.2 检索增强生成（RAG）
**Lewis et al., 2020** 提出的 RAG（Retrieval-Augmented Generation）通过从外部知识库检索相关片段来增强 LLM 能力。RAG 的核心依赖是密集向量检索（dense retrieval），通常需要：
- Embedding 模型（如 BERT、DPR）
- 向量数据库（如 FAISS、Milvus）
- Reranker 模型优化排序
这些组件在资源受限环境下难以部署，且引入额外延迟。
### 2.3 对话上下文管理
**Mausam et al., 2022** 讨论了会话代理中的上下文管理问题，提出分层记忆架构。**Kumar et al., 2022** 提出 RecAgent，通过检索增强改进推荐系统。**Zhong et al., 2023** 研究了大模型中的记忆机制。
这些方法大多依赖向量相似度或额外模型，不满足轻量级约束。
### 2.4 提示压缩
**Li et al., 2023** 和 **Chen et al., 2023** 探索了对话历史的自动摘要和压缩。但摘要模型本身需要额外训练或调用，且压缩后信息可能丢失。
### 2.5 本文定位
与上述工作不同，本文提出的上下文门控器面向**无额外模型**约束下的实用方案，核心思路是利用文本统计算法（BM25、IDF、n-gram）替代向量模型，在召回精度和计算成本之间取得平衡。
---
## 3. 方法论
### 3.1 系统架构
上下文门控器的处理流程包含四个阶段：
```
用户查询 q
↓
① 锚点提取 (Anchor Extraction)
↓
② 话题门控 (Topic Gate)
↓
③ 稀疏召回 (Sparse Retrieval)
↓
④ 最小覆盖选择 (Minimum Coverage Selection)
↓
上下文子集 S → 组装 Prompt → LLM
```
### 3.2 锚点提取
锚点是文本中具有代表性的小粒度单元，本算法采用以下规则提取：
- **中文 2-gram / 3-gram**：连续中文字符按滑动窗口切分
- **英文单词**：字母数字下划线序列
- **代码标识符**：反引号内的内容
- **版本号**：如 `v3.0`、`2.1.0`
- **引号短语**：双引号或中文引号内的完整短语
每个锚点赋予 IDF（逆文档频率）权重，高频通用词的权重自动衰减。
### 3.3 话题门控
话题门控判断当前查询是"延续上一话题"还是"切换到新话题"，这是防止上下文污染的关键。
**加权重叠率：**
$$
\text{overlap}(q, T) = \frac{\sum_{t \in A(q) \cap A(T)} \text{idf}(t)}{\sum_{t \in A(q)} \text{idf}(t)}
$$
**新锚点比例：**
$$
\text{new\_ratio}(q, T) = \frac{\sum_{t \in A(q) \setminus A(T)} \text{idf}(t)}{\sum_{t \in A(q)} \text{idf}(t)}
$$
其中 $A(q)$ 为查询锚点集，$A(T)$ 为当前活跃话题锚点集。
**判断规则：**
- overlap > 0.45 → **继续当前话题**
- overlap < 0.20 且 new_ratio > 0.70 → **切换新话题**
- 存在指代词（"这个"、"它"、"上面"等）→ **强制继续**
- **中间地带**（0.20 ≤ overlap ≤ 0.45 且无指代词）→ **默认继续**（保守策略，避免误切换）
### 3.4 稀疏召回
对历史对话块打分，召回 top-M（M=20）候选：
$$
\text{score}(b, q) = 1.5 \cdot \text{lex}(u_b, q) + 0.7 \cdot \text{lex}(a_b, q) + 1.0 \cdot \text{exact}(b, q) + 0.2 \cdot \text{recency}(b)
$$
其中：
- $\text{lex}(x, q)$：基于 IDF-overlap 的词项重叠得分
- $\text{exact}(b, q)$：英文术语、代码标识符、版本号完整命中加分
- $\text{recency}(b)$：新鲜度奖励因子（越新越大，仅作弱先验微调）
用户侧消息权重（1.5）高于助手侧（0.7），因为用户消息的语义更代表对话意图。
### 3.5 最小覆盖选择
将选块问题建模为加权集合覆盖问题：
**目标：**
$$
\min \sum_{b \in S} \text{cost}(b)
$$
**约束：**
$$
\sum_{t \in \bigcup_{b \in S} \text{cov}(b)} \text{idf}(t) \geq \eta \cdot \sum_{t \in A(q)} \text{idf}(t), \quad \eta = 0.85
$$
即覆盖率达到 85% 后停止，确保只选入真正必要的片段。
**贪心算法：**
每步选择"单位长度收益最大"的块：
$$
\text{gain}(b \mid S) = \frac{\sum_{t \in \text{cov}(b) \setminus \text{covered}(S)} \text{idf}(t)}{\text{cost}(b)^\alpha}, \quad \alpha = 0.8
$$
## 4. 实现
### 4.1 项目结构
```
context-gatekeeper/
├── src/
│ ├── anchor.py # 锚点提取
│ ├── block.py # Block 数据结构
│ ├── topic_gate.py # 话题门控
│ ├── sparse.py # 稀疏召回
│ ├── selector.py # 最小覆盖选择
│ └── gatekeeper.py # 主封装类
├── tests/
│ ├── test_gatekeeper.py # 单元测试
│ └── test_e2e.py # 端到端测试
└── SPEC.md
```
### 4.2 核心接口
```python
from src.gatekeeper import ContextGatekeeper
gate = ContextGatekeeper(token_budget=4000)
# 添加对话历史
gate.add_turn("Redis 锁续租为什么会脑裂", "因为 TTL 设置不合理...")
gate.add_turn("如何避免脑裂", "增加时钟偏移检测...")
# 查询时自动选择上下文
selected = gate.select("锁的 TTL 怎么设")
# → [{'user': ..., 'assistant': ..., 'turn_id': 1}, ...]
# 构建完整 prompt
prompt = gate.build_prompt("锁的 TTL 怎么设")
```
---
## 5. 实验
### 5.1 实验设置
**测试场景：**
1. 多轮 Redis 分布式锁讨论（3轮）
2. 切换到 Python 异步编程话题（1轮）
3. 带指代词的后续问题
**评估指标：**
- 话题切换后旧内容是否被召回（污染检测）
- Token 预算是否被遵守
- 指代词场景下强制继承是否生效
**基座模型：** MiniMax-M2.7（通过 MiniMax API）
### 5.2 实验结果
| 测试场景 | 预期召回 | 实际召回 | 通过 |
|---------|---------|---------|------|
| Redis TTL 查询 | 第1轮 | [1] | ✅ |
| Python asyncio 查询 | 第3/4轮 | [3] | ✅ |
| 指代词"它的并发性能" | 强制继承最近2轮 | [3,4] | ✅ |
| Token 预算 2000 | ≤2000 tokens | ~50 tokens | ✅ |
**结论：** 上下文门控器在所有测试场景下均通过验证，能有效区分话题切换、指代延续和 token 控制。
### 5.3 性能分析
在 2 核 2G CPU 环境下：
- 单次 `select()` 调用延迟：理论估算 < 10ms（未做专门性能基准测试）
- 内存占用：< 50MB
- 无外部模型依赖，纯 Python 标准库+re模块
---
## 6. 讨论
### 6.1 优势
1. **零额外模型**：完全基于统计规则，无需加载 embedding 或 reranker
2. **可解释性强**：每个步骤的得分和选择都有明确的数学解释
3. **资源需求极低**：纯 Python，2 核 2G 可运行
4. **部署简单**：pip install 即可，无需配置向量数据库或额外服务
### 6.2 局限性
1. **召回精度有限**：相比向量检索，稀疏 BM25/IDF 在语义相似但词形不同的情况下召回率较低
2. **锚点依赖分词质量**：中文 2-gram/3-gram 不做停用词过滤，高频无意义词可能干扰 IDF 计算
3. **Token 估算粗糙**：简单按字符数估算，与实际 token 数有 2-3 倍误差
4. **无跨句级别细粒度选择**：最小选择粒度是整个 block，无法在 block 内部精准裁剪
### 6.3 适用场景
- 资源受限的生产环境（边缘设备、私有部署）
- 对延迟敏感的场景（实时对话）
- 中等复杂度对话（10-50轮，非超长文档）
- 作为 RAG 的轻量替代或补充
---
## 7. 结论与未来工作
本文提出了上下文门控器，一种面向大模型多轮对话的轻量级上下文选择方法。通过话题门控、稀疏召回和最小覆盖选择的三阶段流程，在无额外模型约束下有效控制了上下文污染和膨胀问题。
**未来工作方向：**
1. 引入中文停用词表，提升锚点质量
2. 改进 token 估算精度（接入 tiktoken 或等比校准）
3. 在 block 内部实现句子级裁剪
4. 支持流式增量计算，避免每次全量重算
5. 在更多真实对话数据集上做定量评估
---
## 参考文献
[1] Vaswani, A., et al. (2017). Attention Is All You Need. *NeurIPS*.
[2] Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. *NeurIPS*.
[3] Beltagy, I., Peters, M. E., & Cohan, A. (2020). Longformer: The Long-Document Transformer. *arXiv:2004.05150*.
[4] Zaheer, M., et al. (2020). Big Bird: Transformers for Longer Sequences. *NeurIPS*.
[5] Dao, T., et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. *NeurIPS*.
[6] Yao, S., et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. *ICLR*.
[7] Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. *NAACL*.
[8] Radford, A., et al. (2019). Language Models are Unsupervised Multitask Learners. *OpenAI Technical Report*.
[9] Nguyen, P., et al. (2016). MS MARCO: A Human Generated MAchine Reading COmprehension Dataset. *NIPS*.
[10] Karpukhin, V., et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. *EMNLP*.
---
*本文实验代码：https://gitea.ephron.ren/elaina/context-gatekeeper*