RAG 技术目录19 项技术

按固定 token 数分割文档，支持重叠窗口。最基础的分块策略。

使用多级分隔符（段落→句子→字符）递归分割，优先在高层级边界切分。

计算相邻句子的嵌入相似度，在语义突变点切分。每个块保持主题一致。

解析 Markdown 标题层级，按文档结构切分。每个块携带标题路径元数据。

Anthropic 提出的技术。LLM 为每个块生成上下文前缀，描述其在文档中的位置和主题。

将查询和文档编码为向量，通过余弦相似度匹配最相关的内容。

使用 PostgreSQL 全文检索和 BM25 排序算法，精确匹配关键词。

同时运行语义和关键词检索，用 Reciprocal Rank Fusion 融合排序结果。

用小块做精准匹配，返回时扩展到相邻块，提供更完整的上下文。

LLM 将用户口语化的问题改写为更规范、更适合检索的表述。

LLM 先生成一篇假设性回答文档，再对其做嵌入检索。文档级嵌入比问题级更接近目标。

将一个问题分解为 3-5 个语义变体，分别检索后去重合并结果。

LLM 分类问题类型（简单/分析/对比/无需检索），自动选择最优管道配置。

将复杂的多部分问题分解为可独立回答的子问题，分别检索回答后合成。

用 LLM 评估每个候选文档与问题的相关性，重新排序并过滤不相关结果。

生成前评估检索质量。如果检索不充分，自动优化查询并重新检索。

生成后逐段自我反思：是否相关？是否有依据？是否完整？不合格则自动修订。

回答中使用 [1][2] 内联引用标注，每个论点都链接到具体的源文档。

LLM 从相关性、忠实性、完整性三个维度评分（0-1），全面衡量回答质量。