「能跑」和「可用」的差距

一个 demo 级 RAG 十分钟就能搭，但生产环境要扛住：召回不准、答非所问、幻觉、引用不可追溯。差距全在工程细节。

关键 5 件

  • 分块：按语义切，别按 512 token 硬切；保留标题层级做上下文。
  • 召回 + 重排：向量粗排 top-50，再用 cross-encoder 精排 top-5，效果提升肉眼可见。
  • 向量库：中小规模用 pgvector 够（Supabase 就带），大规模再上专用引擎。
  • 引用可追溯：每个回答挂回原文 chunk，可点、可审计。
  • 评测闭环：建 200 条真实问答集，每次换模型/调分块都回归测 R@5。

私有化怎么做

vLLM 本地推理，模型与语料全在你机房，数据不出内网，满足金融/医疗合规。