RAG 架构横向对比看板

LightRAG / Graph RAG / Production RAG，面向 Markdown 第二大脑与研究助手 · clean 24 问只读评估更新 2026-06-09 07:54

当前摘要 结论：no_go_relationship_layer_not_enough_gain 数据时间：2026-06-09 07:54 +08:00 本页是展示摘要；权威依据为母报告 F:\codex\reports\workflow-runs\2026-06-08-rag-architecture-comparison\final-rag-comparison-report.md 和 evidence index F:\codex\reports\workflow-runs\2026-06-08-rag-architecture-comparison\evidence-index.md。

Graph RAG

严格排名 #1
3.70/ 5

原生关系、路径、社区发现最强。适合深层概念拓扑，但成本、更新、出处回链风险最高。

LightRAG

第一 pilot
3.65/ 5

轻量关系层，适合先验证概念关系发现价值。不能单独承担引用、出处和生产底座。

Production RAG

必需底座
2.725/ 5 strict

不是关系发现赢家，但最不能缺。负责 Markdown ingestion、检索、引用、更新、eval 和观测。

最终判断

实际最佳方案：Production RAG 做底座；LightRAG / broader Graph RAG 继续作为受控关系层候选，但不进入当前 corpus 的部署升级。

如果只按“概念关系发现”排序，Graph RAG 最强。如果按“最快低风险试起来”，LightRAG 最合适。如果按“系统不能缺什么”，Production RAG 最关键。

证据数据库已修订：661 条 source records 完整建库；真实 Markdown pilot、Memory-carry 181-note pilot、expanded G1-G3 precheck 和 fixed 24-question read-only eval 均已落盘。最新 clean 300-doc / 24-question 结果为 no_go_relationship_layer_not_enough_gain：关系层增加 citation/context，但没有达到预注册覆盖率增益门槛。

横向维度矩阵

维度LightRAGGraph RAGProduction RAG结论
概念关系发现强，轻量图增强最强，原生图结构弱，非 native graphGraph RAG 胜；LightRAG 最适合先试
跨笔记综合强，需要源 chunk强，适合 community/global中，需要 diversity/rerankGraph/LightRAG 胜
精准引用出处弱到中，需底座中，需 provenance强，最适合做 source layerProduction RAG 胜
长期记忆召回中，关系记忆中强，memory graph 潜力中强，稳定检索记忆组合最好
更新增量成本较好，但需实测偏高，尤其重型图较好，工程成熟Production/LightRAG 更适合动态笔记
运维成熟度中中低高Production RAG 胜
CJK Markdown需重点 pilot需重点 pilot较可控任何图层都要 CJK 验收
本地+云端混合可行但 extraction 成本待测可行但隐私/成本 gate 更重最自然Production RAG 定边界
第一阶段落地风险中高低到中先底座，再 LightRAG

推荐架构

Layer 0Markdown canonical layer
doc_id、file_path、heading、chunk、hash
Layer 1Production RAG substrate
BM25、vector、metadata、rerank、citation、eval
Layer 2LightRAG relationship pilot
entity、relation、graph context、source back-link
Layer 3Broader Graph RAG option
community、path、KG、memory graph

不要单独上图谱

  • 图边不是引用。
  • 抽取错误会变成错误路径。
  • 更新和 CJK 别名需要实测。

不要只做向量库

  • 向量相似不等于关系解释。
  • 跨笔记综合容易变成片段列表。
  • 第二大脑需要概念拓扑。

真实低风险 pilot 已完成并扩大复验

2026-06-09，已在只读 BrainVault Markdown 样本上完成 Production baseline、reviewed wikilink/semantic edges、adoption gate、answer-quality pilot 和 controlled rerun；随后在 Memory-carry 181-note corpus 上完成只读扩大 pilot。原始笔记未修改，BrainVault writeback = 0。

样本笔记28
citation chunks256
平均覆盖0.822
关系候选240
reviewed wikilink edges108
reviewed semantic edges47
controlled final coverage0.793
encoding-risk finals0

结论：Production RAG 继续做第一可部署底座；reviewed wikilink 是更明确的只读增强候选；reviewed semantic edges 目前只是 28-doc / 10-question 单一小样本的 provisional 信号。raw co-mention 自动构图、BrainVault 写回、直接扩到几千篇均为 NO-GO。

Controlled adoption evidence

阶段平均覆盖平均 citations最大 citations平均 source docs最大 source docs
Production retrieval0.7105.053.65
Controlled + reviewed wikilinks0.7606.585.17
Controlled + reviewed wikilinks + reviewed semantic edges0.7937.495.57

Controlled rerun 全部 acceptance targets 通过：raw co-mention answer usage = 0，BrainVault writeback = 0，encoding-risk final citations = 0，final chunks <= 9，final source docs <= 7。

注意：0.793 是 expected-term retrieval coverage，不是人工事实正确性评分；这些 delta 来自 6-10 个问题的小样本，属于方向性工程信号，未做显著性检验。

Memory-carry 181-note expansion pilot

该扩大 pilot 用于验证 100-300 篇只读 Markdown 的低风险扩展可行性。结果是 Production RAG baseline 能跑通，但由于 corpus 非链接密集且 wikilink candidates = 0，导航层没有输入，因此应表述为 navigation untestable / no-op。

locked docs181
derived chunks4322
baseline coverage0.611
navigation coverage0.611
coverage delta0
wikilink candidates0
accepted nav edges0
writeback / embedding / graph DB0

结论：Production RAG 仍是底座；LightRAG / Graph RAG 关系层只在有显式链接、稳定主题关系或可审计关系证据时继续验证。该 pilot 不支持更强的 graph/navigation-layer、semantic graph 或 embedding 结论，也不能被解读为导航方法已经失败。

Fixed 24-question relationship-dense eval

已在 expanded corpus 上执行最终 clean 只读评估：`private Markdown corpus A` + `memory-carry corpus B`，300 docs、3795 chunks、543 relationship records、24 fixed questions。结论为 no_go_relationship_layer_not_enough_gain。

Stage含义平均覆盖Delta平均 citations最大 citations最大 source docsPass
AProduction-only lexical/BM25-style retrieval0.492n/a555n/a
BProduction + explicit wikilink navigation0.500+0.008 vs A6.41787false
CStage B + explicit Markdown tag/link semantic signals0.500+0 vs B7.04297false

双 O 审后已做 clean rerun：旧 295-doc run 被 supersede；最终 manifest 保护路径命中 0，source chunk 高风险保护词内容命中 0，path/target 字段保护命中 0。该结果是 deterministic lexical/BM25-style overlay simulation，不是 LightRAG / Graph RAG engine benchmark，也不是人工事实正确性评分。

Phase A：Production Baseline

  • 100-300 篇 Markdown
  • 全文/BM25 + vector
  • metadata + rerank
  • 引用 QA
  • update/delete/reindex

Phase B：LightRAG Pilot

  • 10-30 篇高关系密度笔记
  • 1/3/10/30 分阶段 ingest
  • relation -> chunk 回链
  • CJK alias audit
  • 成本和延迟记录

Phase C：Graph RAG Deep Pilot

  • 100-300 篇稳定主题域
  • community / path / KG
  • 多跳关系问答
  • 人工边质量审计
  • 不替代 citation substrate

通过标准

类型最低要求
关系质量每条 sampled relation 能追溯到原始 Markdown chunk。
引用质量答案中的关键 claim 带文件路径、标题、heading/chunk。
CJK中文实体、别名、短名、日期不丢失不过度合并。
更新新增、修改、删除、重命名后无明显 stale relation。
对比关系问题明显优于 Production RAG baseline。

证据与产物

类别路径 / 状态
Markdown 母报告F:\codex\reports\workflow-runs\2026-06-08-rag-architecture-comparison\final-rag-comparison-report.md
SynthesisF:\codex\reports\workflow-runs\2026-06-08-rag-architecture-comparison\synthesis.md
当前审计F:\codex\reports\workflow-runs\2026-06-08-rag-architecture-comparison\rag-comparison-evidence-post-merge-audit.md
Source recordsLightRAG 251；Graph RAG 200；Production RAG 210；合计 661
Final deep-readLightRAG 251；Graph RAG 200；Production RAG 210；合计 661。历史 Batch 4 口径曾为 Production 150 deep-read / 14 follow-up，现已被 final resolution pass 收敛。
Final validationLightRAG 122 validated + 129 local_path；Graph RAG 200 validated；Production RAG 190 validated + 10 local_path + 10 unverified。
Actionable backlog当前 backlog = 0；Production RAG 有 10 条来源被 evidence resolution ledger 保守排除在 final-claim 支撑之外。
真实 Markdown pilot28 docs、256 chunks、6 queries、avg coverage 0.822、240 relationship candidates；private/system/image path matches = 0。
Reviewed edges140 explicit wikilinks reviewed -> 108 document_navigation edges；100 co-mentions reviewed -> 47 accepted semantic edges；raw co_occurs_with accepted = 0。
Controlled answer-quality rerun10 questions；final avg expected-term coverage 0.793；avg citations 7.4；max citations 9；max source docs 7；all acceptance targets passed。0.793 是检索覆盖率，不是人工事实正确性评分。
Memory-carry 181-note pilot181 docs；4322 chunks；baseline coverage 0.611；navigation coverage 0.611；delta 0；wikilink candidates 0；结论为 navigation_untestable_zero_links / no-op，不是导航失败；BrainVault writeback / embedding / graph DB / source mutation = 0。
Fixed 24-question evalfinal clean run：300 docs；3795 chunks；543 relationship records；24 questions；Stage A coverage 0.492；Stage B coverage 0.500，delta +0.008，pass false；Stage C coverage 0.500，delta 0，pass false；verdict = no_go_relationship_layer_not_enough_gain；all protected/writeback/embedding/graph/runtime boundaries = 0。
Fixed eval 产物F:\codex\reports\workflow-runs\2026-06-08-rag-architecture-comparison\relationship-dense-eval-run
Pilot 产物F:\codex\reports\workflow-runs\2026-06-08-rag-architecture-comparison\pilot-real-markdown
关键 caveatProduction RAG 的证据 caveat 已显著降低，但被 ledger 排除的来源仍不能作为高影响 claim 的唯一支撑；LightRAG/Graph RAG 必须保留 source chunk provenance；raw co-mention 不允许自动入图或写回。

最终使用说明

严格排名用于判断“关系发现谁最强”；实施架构用于真正落地。不要把 strict score 当成直接部署顺序。