当前位置: 首页 > news >正文

12. 模型RAG评测 - Rainbow

12. 模型RAG评测

@

目录
  • 12. 模型RAG评测
    • 模型理解力评测
      • 现实中出现事实性幻觉的常见场景
      • RAG幻觉评测
  • 最后:

模型理解力评测

RAG 之所以广受欢迎,是因为它(基于检索到的真实资料)能够减少幻觉。然而, RAG 并不一定意味着幻觉会被完全消除。

现实中出现事实性幻觉的常见场景

  1. 上下文提供了明确事实,但模型未读取或匹配,凭常识胡乱生成。
  2. 模型“看”到的背景信息有限,但它仍然自信地“虚构”细节回答问题。

问:马云在阿里巴巴创办初期遇到了哪些具体困难?

RAG:马云,著名企业家,阿里巴巴创始人。

答A(幻觉):

马云在阿里巴巴创立初期曾因办公楼失火导致数据全部丢失,团队一度陷入危机。

  1. 多个相似案例混淆,模型输出了正确格式但内容错误的事实

怎么你确定是否有这些问题:

事实性的评估

评估器主要用于以下场景:

  1. 开发和测试阶段:在集成测试中验证 RAG 系统的质量
  2. 批量质量检查:对一批历史对话进行离线评估
  3. 系统监控:定期抽样评估生产环境中的对话质量,比如每100次对话评估1次
  4. 模型验证:当更换 AI 模型或调整 RAG 配置时,用于验证新配置的效果
@SpringBootTest
public class FactCheckingTest {@Testvoid testFactChecking(@Autowired OllamaChatModel chatModel) {// 创建 FactCheckingEvaluatorvar factCheckingEvaluator = new FactCheckingEvaluator(ChatClient.builder(chatModel));// 示例上下文和声明String context = "地球是仅次于太阳的第三颗行星,也是已知唯一孕育生命的天文物体。";String claim = "地球是距离太阳第三大行星。";// 创建 EvaluationRequestEvaluationRequest evaluationRequest = new EvaluationRequest(context, Collections.emptyList(), claim);// 执行评估EvaluationResponse evaluationResponse = factCheckingEvaluator.evaluate(evaluationRequest);Assertions.assertTrue(evaluationResponse.isPass(), "The claim should not be supported by the context");}}

解决:

  • 高风险领域(医疗、法律、金融等)必须进行事实性幻觉定期评估
  • 限定上下文范围:通过系统提示词让模型明确只能在指定背景或文档内容中作答,禁止引用未检索到的信息。
  • "回答不确定"机制
  • 调整分数、定义精确RAG相似性搜索能力

RAG幻觉评测

当我们发现大模型回答的内容并没有按照检索的documents进行有效回答, 就可以通过这种方式进行测试,评估 AI 生成的响应的事实准确性。该评估器通过验证给定的语句(responseContent)是否在逻辑上得到提供的上下文(文档)的支持,帮助检测并减少 AI 输出中的错觉。

responseContent”和“document”将提交给人工智能模型进行评估。目前已有更小、更高效的人工智能模型专门用于此目的,例如 Bespoke 的 Minicheck,与 GPT-4 等旗舰模型相比,它有助于降低执行这些检查的成本。Minicheck 也可通过 Ollama 使用。

什么时候需要用到:

  • 验证已构建的RAG系统的响应质量
  • 在集成测试中自动化质量检查
  • 调试和优化RAG配置时评估效果
@SpringBootTest
public class RagEvalTest {@Testpublic void testRag(@Autowired VectorStore vectorStore,@Autowired DashScopeChatModel dashScopeChatModel) {List<Document> documents = List.of(new Document("""1. 预订航班- 通过我们的网站或移动应用程序预订。- 预订时需要全额付款。- 确保个人信息(姓名、ID 等)的准确性,因为更正可能会产生 25 的费用。"""),new Document("""2. 更改预订- 允许在航班起飞前 24 小时更改。- 通过在线更改或联系我们的支持人员。- 改签费:经济舱 50,豪华经济舱 30,商务舱免费。"""),new Document("""3. 取消预订- 最晚在航班起飞前 48 小时取消。- 取消费用:经济舱 75 美元,豪华经济舱50美元,商务舱25美元。- 退款将在 7 个工作日内处理。"""));vectorStore.add(documents);RetrievalAugmentationAdvisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder().documentRetriever(VectorStoreDocumentRetriever.builder().vectorStore(vectorStore).build()).build();String query = "退票费用";ChatResponse chatResponse = ChatClient.builder(dashScopeChatModel).build().prompt(query).advisors(retrievalAugmentationAdvisor).call().chatResponse();EvaluationRequest evaluationRequest = new EvaluationRequest(// The original user questionquery,// The retrieved context from the RAG flowchatResponse.getMetadata().get(RetrievalAugmentationAdvisor.DOCUMENT_CONTEXT),// The AI model's responsechatResponse.getResult().getOutput().getText());RelevancyEvaluator evaluator = new RelevancyEvaluator(ChatClient.builder(dashScopeChatModel));EvaluationResponse evaluationResponse = evaluator.evaluate(evaluationRequest);System.out.println(evaluationResponse);System.out.println(chatResponse.getResult().getOutput().getText());}
}


query = "我叫什么名字";

最后:

“在这个最后的篇章中,我要表达我对每一位读者的感激之情。你们的关注和回复是我创作的动力源泉,我从你们身上吸取了无尽的灵感与勇气。我会将你们的鼓励留在心底,继续在其他的领域奋斗。感谢你们,我们总会在某个时刻再次相遇。”

在这里插入图片描述

http://www.hskmm.com/?act=detail&tid=34181

相关文章:

  • 2025年不锈钢清洗钝化液厂家推荐排行榜,环保型不锈钢管酸洗钝化液,不锈钢清洗剂公司精选!
  • 2025年安恒信息深度解析:AI与数据安全双轮驱动的技术跃迁
  • 2025年10月运动木地板厂家推荐:对比评测榜单助力场馆精准选材
  • 22-envoy-proxy-Ubuntu安装
  • 11. Spring AI + ELT - Rainbow
  • 2025年10月长白山亲子酒店推荐:松果里领衔对比评测排行榜
  • 2025年10月长白山亲子酒店推荐:松果里领衔对比评测榜
  • 2025年10月石墨电极厂家推荐榜:河北晶碳科技深度评测与对比
  • 2025年10月抗老精华产品推荐榜:十款热门单品对比评测与排名解析
  • 2025年10月美白精华推荐榜:OLAY水光小白瓶领衔对比评测排行
  • 2025年羽绒服厂家推荐排行榜,保暖轻盈时尚羽绒服,冬季必备高品质羽绒服公司推荐!
  • 2025年10月智能体公司推荐:五强对比评测榜助企业选型
  • 2025年棒球帽厂家推荐排行榜,运动棒球帽,时尚棒球帽,定制棒球帽,防晒棒球帽公司推荐!
  • 2025年10月留香沐浴露推荐:五强对比评测榜助你锁定24小时体香方案
  • 2025年10月智能体公司推荐:行胜领衔五强榜对比评测
  • 2025年10月留香沐浴露推荐:五强对比评测榜助你精准锁定持久体香
  • 2025年10月国际集运公司推荐:全链路对比评测榜与避坑指南
  • 奶奶都能看懂的 C++ —— const 限定符与指针
  • 2025年10月工程管理系统推荐:十强榜单全维度对比评测
  • 2025年10月制冰机产品推荐:十款热门机型对比评测榜
  • 2025年10月除甲醛空气净化器产品对比评测排行榜
  • 2025年棒球帽厂家推荐排行榜,时尚潮流/运动休闲/户外防晒棒球帽公司精选推荐
  • 2025年10月深圳酒店综合对比与实用排行榜解析
  • 2025年10月北京金融街附近豪华酒店综合对比与排行榜单
  • 2025年10月北京金融街附近豪华酒店对比排行与实用评测指南
  • 2025年10月金融街附近豪华酒店对比排行与评测分析
  • 2025年10月深圳酒店综合对比与排行评测指南
  • 2025年10月深圳酒店住宿选择对比与排名指南
  • 2025年10月北京治疗肺癌医生综合对比与实力排行榜分析
  • 2025年10月北京治疗肺癌医生排行榜与专业能力深度评测