Knowledge
现代 Agent Engineering 学习路线:Knowledge
0 子目录4 文档
文档
4RAG 推荐阅读RAG 推荐阅读 RAG 原始论文:理解参数记忆与外部非参数记忆结合的出发点。 LlamaIndex RAG:数据摄取、索引、查询与 Agent 组合。 LangChain Retrieval:retriever、vector store 和 RAG 架构。 OpenAI Embeddings:向量表示、相似度与应用实践。 RAGFlow:适合研究文档解析、切分、检索与 grounded answer 的完整产品链路。 StanfordRAG 完整链路:从数据摄取到带引用回答RAG 完整链路:从数据摄取到带引用回答 RAG(Retrieval Augmented Generation)把外部知识检索结果放入模型上下文,让回答基于可更新、可追溯的数据。生产链路不是“向量搜索 + prompt”两个步骤,而是多个可评测阶段。 1. 离线摄取 Source discovery :文件、网页、数据库、代码仓库、工单等。 Parse :提取正文、标题、表格、层级和链接,保留原始定位。 Normalize :处理编码、Chunk、Embed、Retrieve 与 Rerank 详解Chunk、Embed、Retrieve 与 Rerank 详解 1. Chunk:确定检索的最小语义单元 切得太小,片段缺少上下文;切得太大,相似度被无关内容稀释并浪费 token。评估 chunk 时不要只看平均长度,要抽样检查: 一个片段是否表达完整事实; 标题和表头是否被继承; 引用定位是否能回到原文; 相邻重叠是否造成大量重复; 更新一个小段时是否需要重建整个索引。 建议保存 document id 、 chunk id 、 引用、Grounded Answer 与 RAG 失败处理引用、Grounded Answer 与 RAG 失败处理 1. 引用不是装饰 可靠引用需要满足: 存在性 :URL、文件或查询结果确实存在; 蕴含性 :引用内容支持对应陈述; 精确性 :定位到页码、段落、行号或 chunk; 完整性 :重要事实都有依据; 新鲜度 :版本和时间符合问题; 权限一致性 :用户可访问对应来源。 模型生成一个看似真实的 URL 不算引用。引用必须来自检索阶段创建的 EvidenceItem。 2. 生成协议