手游下载
软件下载
资讯攻略
AI人工智能软件下载介绍
AI人工智能准确率怎么算:一个数字背后的四个问题
“准确率百分之九十”这句话,听起来很有说服力,但至少要追问四个问题才知道它意味着什么:算的是什么、怎么算的、在什么数据上算的、错的那部分错在哪。
一、问题一:算的是什么任务
分类、抽取、生成、问答,算法完全不同。分类看命中比例;抽取看字段级或整条级;生成没有唯一答案,只能按可用性打分;问答要看答案是否正确且完整。不同任务的“准确率”不可横向比较。
二、问题二:用什么口径
以分类为例,至少要看四个数:准确率(判对的占比)、召回(该找出的找出多少)、精确(找出的里面有多少是对的)、以及各类别的单独表现。只看一个总体数字,会被类别不平衡掩盖。比如九成样本属于同一类,全判这一类也能拿到很高的准确率。
三、问题三:在什么数据上算
在自己构造的简单样本上算,和真实流量上算,差别可能非常大。要说明测试集的来源、规模、覆盖范围。没有这些信息,数字没有意义。
四、问题四:错的部分错在哪
错误分四类:漏判、误判、边界模糊、无法判断。不同错误的业务代价不同:漏掉一个风险项,可能比误判十个普通项严重得多。所以还要看错误分布,而不只是错误总数。
五、生成类任务怎么评
生成没有标准答案,通常用三种方式:人工按维度打分(准确性、完整性、可读性、合规性);用规则检查(格式、必填项、引用是否存在);用下游任务效果间接衡量(读者是否采纳、点击是否提升)。三种结合比单一方式可靠。
六、一个实用的表达方式
别说“准确率百分之九十”,而说“在某某测试集、多少个样本上,某任务的整体准确率为多少,其中 A 类样本召回多少、B 类样本误判多少,错误主要集中在某某情形”。这样别人才能判断能不能用。
总结
AI人工智能的准确率要追问四件事:算的是什么任务、用什么口径、在什么数据上算、错在哪。分类要看准确率召回精确与分类别表现,生成类要靠人工评分加规则检查加下游效果。表述时给出测试集、样本量、错误分布,比一个漂亮的总分有用得多。
上一个: AI人工智能为什么突然火了
下一个: AI人工智能在制造行业能做什么
AI人工智能软件相关产品
-
AI人工智能在办公中能做什么
详情 -
AI人工智能为什么知识会过时
详情 -
AI人工智能怎么帮我做PPT
详情 -
AI人工智能在数据分析中怎么用
详情 -
AI人工智能在编程中怎么用
详情 -
AI人工智能怎么批量生成文案
详情 -
AI人工智能在批改作业中能做什么
详情 -
AI人工智能在数据分析中效果怎么样
详情 -
AI人工智能在做表格中效果怎么样
详情 -
AI人工智能在制造行业能做什么
详情 -
AI人工智能神经网络怎么训练
详情 -
AI人工智能在设计中怎么用
详情 -
AI人工智能在医疗行业能做什么
详情 -
AI人工智能为什么有字数限制
详情 -
AI人工智能和自动化有什么区别
详情 -
AI人工智能在影视行业能做什么
详情 -
AI人工智能要学编程吗
详情 -
AI人工智能什么是幻觉
详情 -
AI人工智能在会议中能做什么
详情 -
AI人工智能学Python还是学别的
详情
攻略教程
- AI人工智能在数据分析中效果怎么样
- AI人工智能什么是幻觉
- AI人工智能怎么改简历
- AI人工智能在写代码中怎么用
- AI人工智能在批改作业中能做什么
- AI人工智能和人类智能谁更强
- AI人工智能在培训行业能做什么
- AI人工智能为什么有时候答非所问
- AI人工智能模型大小怎么选
- AI人工智能在办公中能做什么
- AI人工智能在数据分析中效果怎么样
- AI人工智能在新闻行业有哪些案例
- AI人工智能向量数据库是什么
- AI人工智能和机器学习的区别
- AI人工智能在医疗行业有哪些案例
- AI人工智能在办公中能做什么
- AI人工智能在制造行业怎么落地
- AI人工智能在游戏行业有哪些案例
- AI人工智能在批改作业中能做什么
- AI人工智能在培训行业有哪些案例
小编推荐AI人工智能软件





