# PRD：AI 日报语义重复召回修复

## 1. 背景

2026-06-10 发布的 AI 日报出现多条语义上重复或高度重叠的新闻。用户反馈后，对发布页面与本地运行产物进行排查：

- 发布页面：`https://blog.ephron.ren/posts/ai-2026-06-10`
- 本地 Markdown：`~/.hermes/scripts/ai_morning_out/2026-06-10/blog_markdown.md`
- 本地运行报告：`~/.hermes/scripts/ai_morning_out/2026-06-10/run_report.json`

## 2. 当前问题

### 2.1 直接现象

6/10 日报中至少存在以下重复/高度重叠样本：

| 编号 | 标题 | 问题类型 |
|---|---|---|
| 1 | Anthropic 发布 Claude Fable 5 与 Claude Mythos 5 | 与 7、8 属于同一模型发布事件链，信息重叠 |
| 7 | Claude Mythos 与 Claude Fable 即将发布消息流出 | 与 1、8 重叠，且“即将发布”在正式发布后应被合并或降级 |
| 8 | Claude Mythos 5 发布，主打更强代码能力 | 与 1 属于同一发布事件的补充报道 |
| 18 | OpenRouter 推出 Advisor 工具 | 与 37 同属 OpenRouter 产品/集成动态，需判断是否合并为一条 OpenRouter 动态 |
| 37 | OpenRouter 发布 Cursor 集成指南 | 与 18 弱相关，至少应进入语义去重/合并审查候选 |

> 注：18/37 是否最终合并需要 LLM 或规则判断，但它们不应完全绕过去重审查。

### 2.2 运行报告暴露的问题

`run_report.json` 中关键字段：

```json
"stage2": {
  "input_count": 50,
  "output_count": 50,
  "removed_count": 0,
  "groups": [],
  "possible_duplicates": []
},
"stage3": {
  "input_count": 41,
  "candidate_group_count": 0,
  "removed_count": 0,
  "duplicate_groups": [],
  "uncertain": [],
  "errors": []
}
```

含义：

1. Stage 2 没有召回任何可能重复候选；
2. Stage 3 语义去重完全没有候选可审；
3. 因此当天所有语义重复都不是 LLM 判断错误，而是候选召回阶段失败。

## 3. 根因分析

### 3.1 Stage 3 被 Stage 2 候选完全限制

当前流水线：

```python
# ai_daily_report/pipeline.py
candidates = [
    candidate
    for candidate in stage2_5_result["reports"]["stage2"].get("possible_duplicates", [])
    if set(candidate.get("item_ids", [])).issubset(remaining_ids)
]
semantic_items, stage3_report = semantic_dedup_items(items, candidates, ...)
```

Stage 3 只处理 Stage 2 的 `possible_duplicates`。如果 Stage 2 召回为 0，Stage 3 不会主动发现任何语义重复。

### 3.2 Stage 2 召回方式过窄

当前 Stage 2 候选召回只基于标题字符串相似度：

```python
TITLE_SIMILARITY_THRESHOLD = 0.50
TOKEN_JACCARD_THRESHOLD = 0.40
TOKEN_EDIT_DISTANCE_THRESHOLD = 0.40

if ratio >= 0.50 or (ratio >= 0.40 and jaccard >= 0.40):
    possible.append(...)
```

问题：

- 对中文标题改写、英文品牌词、爆料/正式发布/媒体解读这种同事件不同表述不敏感；
- 只看标题，不看摘要、URL 域名、实体、模型名、公司名；
- 阈值实际代码为 `TOKEN_JACCARD_THRESHOLD = 0.40`，高于技能文档里曾记录的 0.25，召回更保守；
- 只在改写前做召回，Stage 4 改写后标题更统一、更容易看出重复，但没有二次复检。

### 3.3 缺少“同事件合并”概念

当前去重只删除“同一新闻”，没有明确处理：

- 爆料 + 正式发布；
- 官方发布 + 媒体补充；
- 同一模型/产品的多个角度；
- 同一公司当天多个弱相关小动态。

因此，系统倾向于保留所有不同 URL，即使读者看到的是同一事件的拆碎版本。

## 4. 产品目标

### 4.1 目标

将 AI 日报的去重从“标题相似去重”升级为“候选召回 + 语义审查 + 同事件合并”的两层机制：

1. 提高语义重复候选召回率；
2. 让 Stage 3 审查更多合理候选，而不是 0 候选直接跳过；
3. 对同一事件的爆料、发布、媒体解读进行合并或主次处理；
4. 保持用户偏好：不做精选，不按重要性删新闻，只删除/合并重复信息。

### 4.2 非目标

- 不引入主观新闻精选；
- 不按重要性筛掉独立新闻；
- 不为了减少条数而牺牲覆盖率；
- 不做跨天语义去重，跨天仍以 URL 历史去重为主，避免误删后续进展。

## 5. 需求设计

### 5.1 新增 Stage 2.8：语义候选召回

在 Stage 2.5 之后、Stage 3 之前新增候选召回层：

```text
Stage 0 采集
Stage 1 归一化
Stage 2 硬去重 + 标题候选
Stage 2.5 跨天 URL 去重
Stage 2.8 语义候选召回（新增）
Stage 3 LLM 语义去重/合并
Stage 4 改写
...
```

Stage 2.8 输入：Stage 2.5 后剩余 items。  
Stage 2.8 输出：候选 pair/group，合并进 Stage 3 的 candidates。

### 5.2 候选召回特征

Stage 2.8 应至少使用以下非 LLM 特征：

| 特征 | 用途 |
|---|---|
| 标题字符相似度 | 保留现有能力 |
| 标题 token Jaccard | 保留现有能力，但阈值可调 |
| 摘要 token Jaccard | 识别标题不同但摘要实体重叠的新闻 |
| 公司/产品/模型实体重叠 | 识别 Claude Fable/Mythos、OpenRouter、Cursor 等同主题事件 |
| URL 域名与来源类型 | 区分官方源、媒体源、社交源 |
| 时间/状态词 | 识别“即将发布 / 发布 / 亮相 / 报道称”等事件阶段 |

### 5.3 实体抽取规则（第一版）

先用规则实现，不新增 LLM 调用：

- 英文连续词/型号：`Claude Fable 5`、`Claude Mythos 5`、`OpenRouter Advisor`、`Gemma 4 12B`；
- 常见公司/平台词典：OpenAI、Anthropic、Google DeepMind、Cohere、OpenRouter、Cursor、Claude、Gemini、Gemma、MiMo；
- 中文产品/公司可从标题和摘要中按词典匹配；
- 同一 pair 满足以下任一条件进入候选：
  - 共享 2 个以上强实体；
  - 共享 1 个强实体，且摘要 Jaccard 超过阈值；
  - 同公司 + 同产品家族 + 标题/摘要出现发布阶段词。

### 5.4 候选数量控制

为避免 Stage 3 prompt 过大：

- 每条新闻最多关联 5 个候选；
- 全局候选 pair 默认上限 80；
- 候选按分数排序：实体重叠 > 摘要相似 > 标题相似；
- 分数低于阈值的 pair 不进入 Stage 3；
- run_report 记录被截断数量。

### 5.5 Stage 3 输出语义增强

Stage 3 prompt 需要区分三类结果：

```json
{
  "duplicate_groups": [],
  "merge_groups": [],
  "not_duplicates": [],
  "uncertain": []
}
```

含义：

- `duplicate_groups`：同一新闻，删除重复项；
- `merge_groups`：同一事件不同角度，保留一条主项，并把其他来源作为补充来源/补充要点；
- `not_duplicates`：独立新闻；
- `uncertain`：不确定，默认保留。

### 5.6 同事件合并策略

当 Stage 3 返回 `merge_groups`：

- 选择官方源或信息更完整的项作为主项；
- 被合并项不单独出现在日报条目中；
- 主项 summary 增加一两句补充信息；
- 主项链接保留主链接，并在 `duplicate_sources` 或新增 `merged_sources` 中记录补充来源；
- 不改变“只去重不精选”的原则：这是合并重复信息，不是筛选新闻。

## 6. 6/10 样本验收用例

实现后，使用 2026-06-10 的 41 条最终样本回放：

### 6.1 必须进入候选审查

| 样本 | 期望 |
|---|---|
| 1 Anthropic 发布 Claude Fable 5 与 Claude Mythos 5 + 7 Claude Mythos 与 Claude Fable 即将发布消息流出 | 必须进入 Stage 3 候选 |
| 1 Anthropic 发布 Claude Fable 5 与 Claude Mythos 5 + 8 Claude Mythos 5 发布，主打更强代码能力 | 必须进入 Stage 3 候选 |
| 7 Claude Mythos 与 Claude Fable 即将发布消息流出 + 8 Claude Mythos 5 发布，主打更强代码能力 | 必须进入 Stage 3 候选 |
| 18 OpenRouter 推出 Advisor 工具 + 37 OpenRouter 发布 Cursor 集成指南 | 应进入 Stage 3 候选，由 LLM 判断是否合并或保留 |

### 6.2 必须合并或删除

| 样本 | 期望 |
|---|---|
| 7 + 1 | 7 作为爆料消息，在 1 官方发布存在时不应独立成条 |
| 8 + 1 | 8 如果只是 1 的媒体补充，应合并进 1；如含独立重要信息，也应作为 1 的补充来源而非独立条目 |

### 6.3 必须保留

以下不能因为共享公司/平台词而误删：

| 样本 | 原因 |
|---|---|
| 4 Gemini 3.5 Live Translate + 5 Gemma 4 12B | 同公司但不同模型、不同能力，必须保留 |
| 20 Claude Managed Agents + 35 AgentsView 可为 Claude Fable 5 设置自定义价格 | 都含 Claude，但一个是平台功能，一个是第三方工具，必须保留 |
| 21 Cursor Evals + 27 Cursor 欧洲总部 | 同公司但一个是产品功能，一个是组织扩张，必须保留 |

## 7. 报告与可观测性

`run_report.json` 需新增：

```json
"stage2_8": {
  "input_count": 41,
  "candidate_pair_count": 12,
  "candidate_group_count": 5,
  "truncated_count": 0,
  "reasons": {
    "entity_overlap": 6,
    "summary_similarity": 3,
    "title_similarity": 3
  },
  "candidates": [
    {
      "item_ids": ["...", "..."],
      "reason": "entity_overlap",
      "score": 0.78,
      "shared_entities": ["Claude Mythos 5", "Claude Fable 5"]
    }
  ]
}
```

Stage 3 报告需新增：

```json
"merge_group_count": 1,
"merged_count": 2,
"not_duplicate_count": 8,
"uncertain_count": 0
```

## 8. 配置项

在 `config/pipeline.json` 增加：

```json
{
  "semantic_candidate_recall": {
    "enabled": true,
    "max_pairs": 80,
    "max_pairs_per_item": 5,
    "title_similarity_threshold": 0.45,
    "title_jaccard_threshold": 0.25,
    "summary_jaccard_threshold": 0.18,
    "strong_entity_overlap_threshold": 2,
    "weak_entity_with_summary_threshold": 0.12
  }
}
```

## 9. 实施建议

### 9.1 模块拆分

新增模块：

```text
ai_daily_report/candidate_recall.py
```

建议函数：

```python
def build_semantic_candidates(items: list[NewsItem], config: CandidateRecallConfig) -> tuple[list[dict], dict]:
    ...
```

### 9.2 与现有 Stage 2 兼容

- 保留 `dedupe.py` 中硬去重逻辑；
- `stage2.possible_duplicates` 继续存在；
- Stage 2.8 合并 Stage 2 的标题候选与新增语义候选，去重后传入 Stage 3；
- 不在 Stage 2.8 直接删除任何新闻。

### 9.3 测试

新增测试：

```text
tests/test_stage2_8_candidate_recall.py
tests/test_stage3_merge_groups.py
tests/test_pipeline_semantic_duplicate_regression.py
```

必须覆盖：

- Claude Fable/Mythos 三条样本；
- Google DeepMind 同公司不同模型不得误删；
- Cursor 产品功能与公司扩张不得误删；
- 候选数上限与 report 字段；
- Stage 3 返回 `merge_groups` 后 Markdown 只出现主条目。

## 10. 验收标准

1. 6/10 回放中，Stage 3 `candidate_group_count` 不再为 0；
2. Claude Fable/Mythos 三条不会全部独立出现在最终日报；
3. Google DeepMind Gemini/Gemma 两条仍独立保留；
4. `run_report.json` 能解释每个候选的召回原因；
5. 新增测试全部通过；
6. 不增加默认 LLM 调用次数，仍使用现有 Stage 3 LLM 调用完成语义判断；
7. 当 Stage 2.8 失败时，流水线应降级为原逻辑并在 report 中记录错误，不阻断发布。

## 11. 风险与防护

| 风险 | 防护 |
|---|---|
| 实体重叠导致误合并 | Stage 2.8 只召回不删除，最终由 Stage 3 判断 |
| 候选过多导致 prompt 过长 | 全局和单 item 上限、按分数截断 |
| LLM 过度合并 | 只接受 high confidence；uncertain 默认保留 |
| 官方发布与媒体深度解读被误合并 | prompt 明确：有独立新增事实/分析角度则保留 |
| 报告不可审计 | report 记录 shared_entities、score、reason |

## 12. 优先级

P0。该问题直接影响 AI 日报质量，且当前 Stage 3 在候选为 0 时完全失效，属于去重链路架构缺陷。