理论篇:RAG评估指标,检索指标与生成指标①

RAG 评估指标:Retrieval、Generation 与端到端质量衡量 RAG(检索增强生成)不仅要回答“生成得好不好”,还要回答“检索得准不准”。任一环节掉链子,最终答案都会失真。因此业界常将 检索器(R) 与 生成器(G) 分别度量,再用端到端指标把关整体体验。 阅读详情


本系列阅读:
理论篇:RAG评估指标,检索指标与生成指标①
实践篇:利用ragas在自己RAG上实现LLM评估②

RAG评估

如果RAG没有系统性的评估,你永远不知道:

  • 你的系统是否是最优的
  • 你的修改是否真的带来了改进
  • 问题到底出在检索环节还是生成环节

RAG系统的核心流程可以简化为检索组件和答案生成组件,评估RAG即对两部分组件效果进行评估。

若检索组件效果不好,我们优化方案:rank模型+混合检索
若答案生成效果不好,我们的优化方案是:选更大的大模型

检索指标:评估"找到正确信息"的能力

在RAG的检索评估中,我们基本上是在做一个二分类:文档是否与查询相关。

实际相关实际不相关
被系统检索真正例(TP)假正例(FP)
未被检索假负例(FN)真负例(TN)

检索组件负责从知识库中找到与用户问题相关的信息。以下是我常用的几个指标:

1. 精确度(Precision)—常用

精确度(Precision):检索到的文档中有多大比例是真正相关的?
公式: P r e c i s i o n = 真正例 ( T P ) 真正例 ( T P ) + 假正例 ( F P ) Precision = \frac{真正例(TP)}{真正例(TP) + 假正例(FP)} Precision=真正例(TP)+假正例(FP)真正例(TP)​

做医疗诊断工具会特别关注这个指标,因为误报(错误信息)可能导致严重后果。

2. 召回率(Recall)—常用

召回率(Recall):成功检索到了多大比例的相关文档?
公式: R e c a l l = 真正例 ( T P ) 真正例 ( T P ) + 假负例 ( F N ) Recall = \frac{真正例(TP)}{真正例(TP) + 假负例(FN)} Recall=真正例(TP)+假负例(FN)真正例(TP)​

做法律研究工具时,这个指标尤其重要。漏掉一个关键判例可能会影响整个案件结果!

3. 命中率(Hit Rate)

命中率(Hit Rate):有多大比例的查询在前几个结果中至少检索到了一个相关文档?
公式: H i t R a t e @ K = 至少有一个相关文档出现在前 K 个结果中的查询数量 查询总数 HitRate@K = \frac{至少有一个相关文档出现在前K个结果中的查询数量}{查询总数} HitRate@K=查询总数至少有一个相关文档出现在前K个结果中的查询数量​

4. 平均倒数排名(MRR, Mean Reciprocal Rank)

平均倒数排名(MRR, Mean Reciprocal Rank):第一个相关文档在搜索结果中平均排在第几位?
公式: M R R = 1 ∣ Q ∣ ∑ i = 1 ∣ Q ∣ 1 r a n k i MRR = \frac{1}{|Q|} \sum_{i=1}^{|Q|} \frac{1}{rank_i} MRR=∣Q∣1​∑i=1∣Q∣​ranki​1​

其中,|Q|是查询总数,rank_i是第i个查询的第一个相关文档的排名。

举个例子,假设有3个查询:

  • 查询1:第一个相关文档排在第1位,所以倒数排名是1/1=1
  • 查询2:第一个相关文档排在第3位,所以倒数排名是1/3
  • 查询3:第一个相关文档排在第2位,所以倒数排名是1/2

那么MRR = (1 + 1/3 + 1/2) / 3 ≈ 0.61

MRR的值越接近1,表示相关文档在结果列表中的排名越靠前,用户找到所需信息的速度就越快。

这个指标在用户通常只关注前几个结果的系统中特别有价值,比如搜索引擎。用户很少翻到第二页,对吧?

5. 标准化折扣累积增益(NDCG)

标准化折扣累积增益(NDCG):同时考虑检索文档的相关性和排名顺序。
公式: N D C G @ K = D C G @ K I D C G @ K NDCG@K = \frac{DCG@K}{IDCG@K} NDCG@K=IDCG@KDCG@K​

其中:
D C G @ K = ∑ i = 1 K r e l i log ⁡ 2 ( i + 1 ) DCG@K = \sum_{i=1}^{K} \frac{rel_i}{\log_2(i+1)} DCG@K=∑i=1K​log2​(i+1)reli​​

I D C G @ K = ∑ i = 1 ∣ R E L ∣ r e l i log ⁡ 2 ( i + 1 ) IDCG@K = \sum_{i=1}^{|REL|} \frac{rel_i}{\log_2(i+1)} IDCG@K=∑i=1∣REL∣​log2​(i+1)reli​​

  • rel_i是第i个文档的相关性分数
  • |REL|是相关文档的总数,最大为K
  • IDCG是理想情况下的DCG值(相关文档按相关性降序排列)

如果你的系统需要返回一个排序列表(比如推荐系统),这个指标特别有用。

生成指标:评估"利用信息回答问题"的能力

即使检索到了正确信息,生成的答案质量也可能参差不齐。这些是我评估生成组件时使用的指标及其公式:

1. 忠实度(Faithfulness)—常用

忠实度(Faithfulness):我们经常说的大模型幻觉,就是该指标的描述。具体来说忠诚度是指 生成的答案与检索上下文的一致性。

公式: F a i t h f u l n e s s = 支持的声明数量 总声明数量 Faithfulness = \frac{支持的声明数量}{总声明数量} Faithfulness=总声明数量支持的声明数量​

更精确地说,忠实度可以通过以下步骤计算:

  1. 将生成的回答分解为多个事实性声明
  2. 检查每个声明是否能从检索到的文档中得到支持
  3. 计算得到支持的声明比例

这个指标帮助确保模型不会"编造"不在检索内容中的信息。如果发现模型经常"幻觉",这个指标会迅速下降。

实际操作中,我们不会人工做上面判断步骤,而是用另一个LLM来自动评估忠实度,我给它检索到的文档和生成的答案,然后让它评估每个声明是否有支持证据。在一个实验中,通过改进检索质量和调整提示词,我们将忠实度从0.72提升到0.91,这大大减少了"幻觉"问题。

2. 答案相关性(Answer Relevance)—常用

答案相关性(Answer Relevance):生成的答案与原始查询的相关程度如何?

公式:通常使用语义相似度度量,例如余弦相似度:

R e l e v a n c e = c o s i n e _ s i m i l a r i t y ( q u e r y _ e m b e d d i n g , a n s w e r _ e m b e d d i n g ) Relevance = cosine\_similarity(query\_embedding, answer\_embedding) Relevance=cosine_similarity(query_embedding,answer_embedding)

或者使用基于LLM的评分:

R e l e v a n c e = L L M _ s c o r e ( q u e r y , a n s w e r , s c a l e = 0 − 1 ) Relevance = LLM\_score(query, answer, scale=0-1) Relevance=LLM_score(query,answer,scale=0−1)

这个指标确保模型在使用检索信息的同时,不会偏离用户的原始问题。有时模型会返回检索文档中的信息,但这些信息与用户的问题并不直接相关,这种情况下相关性分数会很低。

在我们的客户服务机器人项目中,通过优化提示词中强调"直接回答用户问题"的部分,我们将相关性从0.65提高到0.83,用户反馈明显改善。

3. 答案正确性(Answer Correctness)

答案正确性(Answer Correctness):生成的答案与参考答案的一致程度如何?

公式有多种实现方式,常见的包括:

  1. 基于文本重叠的方法:
    C o r r e c t n e s s = F 1 ( g e n e r a t e d _ a n s w e r , r e f e r e n c e _ a n s w e r ) Correctness = F1(generated\_answer, reference\_answer) Correctness=F1(generated_answer,reference_answer)

    其中F1分数结合了精确度和召回率:
    F 1 = 2 ∗ P r e c i s i o n ∗ R e c a l l P r e c i s i o n + R e c a l l F1 = 2 * \frac{Precision * Recall}{Precision + Recall} F1=2∗Precision+RecallPrecision∗Recall​

  2. 基于语义相似度的方法:
    C o r r e c t n e s s = s e m a n t i c _ s i m i l a r i t y ( g e n e r a t e d _ a n s w e r , r e f e r e n c e _ a n s w e r ) Correctness = semantic\_similarity(generated\_answer, reference\_answer) Correctness=semantic_similarity(generated_answer,reference_answer)

  3. 基于LLM评分的方法:
    C o r r e c t n e s s = L L M _ s c o r e ( g e n e r a t e d _ a n s w e r , r e f e r e n c e _ a n s w e r , s c a l e = 0 − 1 ) Correctness = LLM\_score(generated\_answer, reference\_answer, scale=0-1) Correctness=LLM_score(generated_answer,reference_answer,scale=0−1)

当你有一组基准答案可以比较时,这个指标特别有用。在实践中,我发现基于LLM的评分方法通常比简单的文本匹配效果更好,因为它能捕捉到意义上的等价性,即使表述不同。

在我们的技术支持知识库项目中,通过使用这个指标不断调整检索和生成策略,我们最终将答案正确性从0.69提高到0.88,这让支持团队更加信任系统的输出。

4. 上下文精确率(Context Precision)

上下文精确率(Context Precision):实际使用了多少检索内容?

公式: C o n t e x t P r e c i s i o n = 使用的上下文块数量 提供的上下文块总数量 Context Precision = \frac{使用的上下文块数量}{提供的上下文块总数量} ContextPrecision=提供的上下文块总数量使用的上下文块数量​

这个指标衡量了模型在多大程度上真正利用了我们提供的上下文信息。如果模型只用了20%的检索内容就给出了完整答案,这可能意味着我们检索了太多无关内容,或者检索结果中有大量冗余。

在优化RAG系统时,我发现提高上下文精确率不仅可以减少token消耗(降低成本),还能提高生成质量。我们通过优化检索方法和减少冗余,将上下文精确率从0.35提升到0.72,同时生成质量也有所提高。

5. 上下文召回率(Context Recall)

上下文召回率(Context Recall):答案需要的信息有多少被包含在检索内容中?

公式: C o n t e x t R e c a l l = 答案中用到的且出现在上下文中的信息量 理想情况下回答完整所需的全部信息量 Context Recall = \frac{答案中用到的且出现在上下文中的信息量}{理想情况下回答完整所需的全部信息量} ContextRecall=理想情况下回答完整所需的全部信息量答案中用到的且出现在上下文中的信息量​

这个指标评估我们检索的内容是否足够完整地支持回答问题。如果上下文召回率低,意味着即使模型尽力了,也无法基于给定的检索内容提供完整答案。

在一个产品技术文档项目中,我们发现某些复杂问题的上下文召回率只有0.53,意味着模型无法完整回答问题。通过调整检索数量和改进切块策略,我们将这个指标提高到0.89,大大提升了复杂问题的回答质量。

【AI大模型应用开发】【RAG评估】1. 通俗易懂:深度理解RAGAS评估方法的原理与应用 本文我们针对RAGAS评估方法进行详细介绍。我们将深入其原理,理解其评估指标背后是怎么实现的。都是我根据自己的理解用大白话解释,保证大家能看懂。 阅读详情

相关推荐

AI大模型探索之路-应用篇11:AI大模型应用智能评估(Ragas)

随着人工智能技术的飞速发展,AI大模型(LLM)已经成为了推动技术创新和应用的关键因素。这些大模型在语言理解、图像识别、自然语言生成等领域展现出了惊人的能力。然而,随着模型规模的增大,它们对计算资源的消耗、环境适应性、模型稳定性、安全性和可解释性等方面也提出了新的挑战。因此,对AI大模型进行智能评估变得至关重要,以确保它们在实际应用中的稳定性、可靠性和有效性。本文将详细介绍Ragas框架,一个专为AI大模型设计的智能评估工具。

寻道AI,探索AI无限可能! 5549

34个RAG评估框架教你如何评估RAG效果

全面性(相关文档 ↔ 相关文档):评估检索文档的多样性和覆盖范围,衡量系统是否全面捕捉了与主题相关的各类信息,确保检索结果能根据查询提供完整的视角。语义困惑度(SePer)指标,通过聚类实体目标捕捉 LLM 对生成答案正确性的内部置信度。准确性(相关文档 ↔ 候选文档):对比候选文档集评估检索结果的精确度,衡量系统对相关文档的识别能力,以及能否给予高相关性文档更高评分。正确性(响应 ↔ 示例响应):类似于检索组件的准确性指标,通过对比标准答案评估生成响应的准确度,检验响应内容的事实正确性和语境适配性。

具身机器人和通用AI 2039

【AI大模型应用开发】【RAG评估】0. 综述:一文了解RAG评估方法、工具与指标

本文主要总结了当前比较流行的RAG评估方法和指标。当前AI技术的快速发展,RAG和RAG评估是当前比较有前景的发展方向,不断有新的评估工具和理论被提出,让我们持续跟进,了解这些工具和理论,从而在使用时知道如何选择。

同学小张的博客 6833

【AI大模型】五大主流开源大模型RAG评估框架详解,小白也能看懂!!

增强检索生成技术(Retrieval Augmented Generation,简称 RAG)目前正成为增强大语言模型(LLM)性能的核心手段。该技术通过将外部知识库融入LLM,大幅提升了大模型的精确度和对上下文的感知力。然而,对 RAG 系统性能的评测颇具挑战,这促使了一系列开源 RAG 评估框架的诞生。下面,让我们共同探讨**5大开源的 RAG 评估框架**。

datian1234的博客 3502

DeepSeek-R1模型+Dify实战:5步打造能读PDF的智能客服(附BGE-M3嵌入模型配置)

本文详细介绍了如何利用DeepSeek-R1大模型与Dify平台,结合BGE-M3嵌入模型,构建企业级智能文档问答系统。通过5个步骤,从环境准备到知识库构建,再到智能问答应用开发,帮助企业快速从PDF等文档中提取关键信息,提升工作效率。特别适合处理产品手册、内部规程等专业内容。

convnet3designer的博客 721

操作系统课程项目 OS project —— Pintos from Project 1 to Project 3

Pintos Project 陪伴我们操作系统课程大半个学期了…… 虽然做了这么长时间,个人能力有限,pintos代码,看过的可能也就看懂了一半吧,更不用说没看过的了…… 但是也找到了一些有价值的资料,整理一下,供后辈们参考…… 关于环境的问题,最好是用ubuntu 16.04 windows用户不要折腾装双系统了,特别是win10,动不动更新一下,说不定双系统就出问题了,linux...

Deserted Land 8557

深度测评 RAG 应用评估框架:指标最全面的 RAGas

本文介绍了如何使用 ragas 生成测试集,介绍了多个常用的 RAG 评估指标。本文生成测试集部分代码基于 ragas v0.1 版本编写,具有较多问题根本无法使用,升级 v0.2.0 后出现代码兼容问题无法运行,后续等我更新吧。评估部分 v0.2.0 是兼容的,并且我在 v0.1 下评估会报错类似等问题,在升级后完美解决了,也没有出现指标 NaN 或者 0 的情况,推荐使用。

m0_59235945的博客 1万+

Python实战:基于PyG和Stable-Baselines3复现柔性车间调度算法(附数据集)

本文提供了一份基于图神经网络与深度强化学习的柔性车间调度实战指南。通过PyTorch Geometric构建异构图表示车间状态,并利用Stable-Baselines3中的PPO算法训练调度智能体,详细介绍了从环境建模、网络设计到训练评估的完整代码实现,帮助开发者构建可复用的工业级智能调度系统。

ansible6ops的博客 608

全网最全RAG评估指南:全面解析RAG评估指标并提供代码示例

最近我一直在关注和优化RAG(Retrieval-Augmented Generation)相关的内容,总结了一下RAG的痛点和最佳实践,然后重点会介绍如何评估RAG。

zhishi0000的博客 1万+

洪水风险图制作全流程:HEC-RAS 与 ArcGIS 的耦合应用

本文系统介绍HEC-RAS水动力模拟软件在水利工程中的应用技术。内容涵盖:1)软件理论与安装;2)一维地形数据导入与河网构建;3)恒定流/非恒定流计算及模型调试要点;4)构筑物建模技术(桥梁、堰闸等);5)二维水动力模拟与溃坝分析;6)洪水风险图绘制。重点讲解水面线调试、糙率选取、报错分析等实操难点,通过案例教学实现从基础到工程应用的全流程技术掌握。该培训适用于防洪评价、河道治理等水利工程数值模拟需求。

2403_89974123的博客 1056

YOLOv12改进策略【小目标改进】| Shape-NWD:融合改进,结合Shape-IoU和NWD 更好地适应小目标特性

Bw−wgt2h−hgt2weight2Bweight2w−wgt​2h−hgt​2​其中weight2weight = 2weight2。

Limiiiing的博客 760

检索增强生成(RAG)系统综合评估:从核心指标到前沿框架

本报告系统探讨了检索增强生成(RAG)系统的评估方法,重点分析其核心组件——检索器与生成器的评估指标及前沿框架。报告提出RAG评估需兼顾组件独立评估与端到端整体性能,并详细阐述了经典信息检索指标(如精确率、召回率)与RAG特有指标(如上下文精确率、忠实度)。通过分析RAGAs、ARES和TruLens等前沿评估框架,报告揭示了当前RAG评估面临的挑战,包括主观性、可扩展性和伦理问题,同时展望了多模态与对话式RAG系统的新型评估指标研究方向。本报告为构建可靠、高效的RAG系统提供了方法论指导与实践参考。

炼丹上岸 2468

手把手教你学Simulink--进阶电机控制场景实例:基于Simulink的直流电机双闭环调速系统抗负载扰动仿真

摘要:本文基于Simulink平台构建直流电机双闭环调速系统,重点研究其在工业传送带场景下的抗负载扰动性能。系统采用转速外环(稳速)和电流内环(限流)的嵌套结构,通过工程法整定PI参数,实现了转速跌落<10%、恢复时间<0.5s的优异抗扰性能。仿真结果表明,相比单闭环系统,双闭环控制使转速跌落率降低47%,恢复时间缩短75%。文中详细介绍了数学模型建立、Simulink模块实现及参数优化方法,并提供了完整代码和模型文件,为电机控制系统设计提供实用参考。

MHD0815的博客 182

【RAG评估】综述:一文了解RAG评估方法、工具与指标

前面我们学习了RAG的基本框架并进行了实践,我们也知道使用它的目的是为了改善大模型在一些方面的不足:如训练数据不全、无垂直领域数据、容易出现幻觉等。

DEVELOPERAA的博客 5758

电子设计(1)二极管防电源反接电路

二极管经常用来作电源防反接保护,所需器件少,电路简单。

记得诚 1万+

【100%通过率】华为OD机试真题 Python【数字最低位排序】【最低位排序】

2023华为OD机试真题 Python【数字最低位排序】【最低位排序】 给定一个非空数组(列表) 起元素数据类型为整型 请按照数组元素十进制最低位从小到大进行排序 十进制最低位相同的元素,相对位置保持不变 当数组元素为负值时,十进制最低为等同于去除符号位后对应十进制值最低位

MISAYAONE的博客 1902

RAG系统的7个检索指标:信息检索任务准确性评估指南

信息检索任务中使用的检索指标(本文的讨论重点)专注于评估生成内容流畅性、相关性和语义相似性的指标,如BLEU、ROUGE、METEOR等随RAG应用发展而演变的特定指标RAG的检索组件可以独立评估确定检索器满足用户查询的能力。我们将详细介绍七个广泛应用于RAG、搜索引擎、推荐系统等信息检索任务的重要指标。注:在RAG中,知识库是一个核心概念。它是一个非参数记忆存储,用于存储RAG系统将处理的所有文档。

zhishi0000的博客 1952

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

理解 RAG 第四部分:检索增强生成评估框架

对于那些深入 RAG 领域的人来说,一个自然而然的问题出现了:我们如何评估这些远非简单的系统?

瓦罗兰特顶级C位的博客 2126

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

如何评估一个RAG(检索增强生成)系统

总体上 RAGAs 框架中的指标拆的比较细,考虑的比较全面,大家可以重点阅读下项目整体文档,然后借鉴下部分指标整合进自己的设计,而生成式搜索引擎中的方案,从实践出发,提炼的指标虽然少,但是能够很好的评估出 RAG 应用的效果,直接采用,系统也不需要过多工作量。

weixin_43829633的博客 3272

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

【RAG】一文搞懂 RAG 效果评估:从检索层到端到端,指标、工具、流程全攻略

【摘要】RAG(检索增强生成)效果评估需从检索准确性、生成质量和整体实用性三个维度展开,构建全链路评估体系。评估分为检索层(Precision@k、Recall@k等指标)、生成层(Faithfulness、BLEU等)和端到端(用户满意度、任务完成率),需结合定量指标与人工定性评估。高质量数据集(如RAGAs Benchmark)和自动化工具(RAGAs、LangChain等)可提升评估效率。最终通过错误分析优化检索和生成环节,确保RAG系统在实际场景中的实用性。

spark_dev的博客 2085

RAG评估指南:从检索到生成,全面解析LLM性能评估方法

这一节我们将从时间线出发对RAG的评估方式进行对比,这些评估方式不仅限于RAG流程之中,其中基于LLM的评估方式更加适用于各行各业。

weixin_68094467的博客 1478

深入探索RAG:检索增强生成的全方位评估综述

检索增强生成(RAG)在自然语言处理领域已经成为一个关键的创新,通过整合外部信息检索提高生成模型的性能。然而,由于其混合结构和对动态知识源的依赖,评估RAG系统面临独特的挑战。因此,我们进行了广泛的调查,并提出了一个分析框架 RGAR(Retrieval,Generation,Additional Requirement),用于系统化分析RAG系统的基准,通过专注于可测量的输出和已知的真相对RAG基准进行系统分析。

m0_59235945的博客 1706

RAG评估指标

RAG系统评估主要分为检索和生成两部分。检索评估指标包括精确度、召回率、命中率、MRR和NDCG,用于衡量检索结果的相关性和排序质量。生成评估则关注:1)忠诚度(答案是否基于检索内容)、2)答案相关性(是否符合用户问题)、3)正确性(与参考答案一致性)、4)上下文精确率(利用检索内容程度)、5)上下文召回率(检索内容是否完整支持答案)。通过优化这些指标(如某案例将忠诚度从0.72提升至0.91),可显著改善RAG系统性能,减少幻觉并提高回答质量。

applepie_max的博客 1391

RAG评估指南:从核心指标到开源框架,打造高效检索生成系统

本文介绍了RAG(检索增强生成)技术的评估体系,重点分析了5大核心指标:上下文召回率、上下文相关性、答案忠实度、答案相关性和答案正确性,这些指标全面覆盖了RAG系统从检索到生成的全链路性能评估。文章还对比了5种开源评估框架,包括专用工具Ragas和通用方案Prometheus等,为开发者提供了从理论到实践的完整评估指南。通过科学评估,可以有效提升RAG系统的检索准确性和生成质量,在智能客服、文档问答等场景中实现更优性能。

2401_85592132的博客 1178
上一篇: autoDL算力云装Xinference[坑与步骤]
下一篇: MCP模型上下文协议:基于FastMCP 2.0的实践(2)
豆芽-无敌版
博客等级 码龄7年 888粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

豆芽-无敌版

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值