检索增强生成 和表增强生成 都是提高人工智能 利用外部数据生成准确且相关信息的能力的技术。其他选择包括检索增强微调 和检索中心生成 (RCG)。
了解何时使用 RAG、TAG、RAFT 和 RCG 对于成功和高效的 AI 实施至关重要。所有这些都专注于提高大型语言模型 (LLM) 的性能。LLM 根据可能过时或不完整的训练数据生成响应。RAG、TAG、RAFT 和 RCG 是解决这些限制的方法。
RAG 专注于从文档和网页等非结构化数据源检索和合并信息。TAG 专注于查询和利用数据库中的结构化数据。
RAG 首先添加原始训练数据集之外的新信息,这些信息通常从外部来源收集。提交查询后,它会转换为向量表示形式,就像通用 LLM 的作一样。向量表示与知识数据库中存储的向量相匹配。
LLM 本质上是不确定的,可能不会为给定查询生成相同的输出。需要及时工程来产生一致的响应。在 RAG 中,提示工程用于合并相关的外部数据,以增强模型的上下文理解,目标是生成更详细和(希望)富有洞察力的响应。
最佳 RAG作的关键是通过定期更新使外部数据库尽可能保持最新状态。这使系统能够提供最相关的响应,即使没有耗时且昂贵的培训更新(图 1)。

图 1.RAG作流程图。(图片:GeeksforGeeks)
虽然 RAG 对于访问原始训练数据集中不存在的信息特别有用,但 TAG 可用于增强搜索引擎功能等应用,特别是在涉及结构化数据和复杂查询的场景中。TAG 通过一系列步骤实现(图 2)。
例如,用户向搜索引擎提交查询。
系统识别并检索相关数据,可能使用 SQL 查询在表或数据库中查找特定信息。
提示工程用于将检索到的数据合并到用户查询中,从而创建更详细的“增强提示”。
LLM 使用增强的提示来生成比仅使用原始查询更精确、更集中的响应。

图 2.TAG 实现和数据流的示例。(图片:K2view)