别把AI练习题当成考试题
- 2026-11-18 03:12:43
你给 AI 准备了几道客服问题。它答错一题,你补一条提示;漏了条件,你再加一句。改到最后,这几道题全答对了。
可同事换个问法,答案又不对了。问题可能出在:你一直用练习过的题,证明它会做新题。
熟悉答案,不等于学会方法
反复围绕一组样本调整规则,能帮助你发现缺陷,却也会让方案越来越贴合这组题。题目本身已经参与了改进,最后再答对一次,提供的新证据就有限。
《人工智能训练师入门》在训练与验证的讲解中,要求区分用于学习的数据和用于检验的数据,并关注模型对未见样本的表现。这里把这个思路延伸到日常 AI 工作流程:即便没有训练模型,只是在改提示词或知识库,也值得保留未参与修改的新题。
这是一种检验思路的借用。修改提示词与训练模型,技术过程并不相同。
先把练习和检验分开
用于找问题的一组题,和用于判断改进效果的一组题,应当分开保存。 先留出检验样本,再开始修改,能减少自己无意中照着答案优化的情况。

练习组可以反复使用:让 AI 回答,记录错误,调整规则,再重试。检验组在这一轮改进完成前先封存,不拿其中的答案逐条补提示。
如果看了检验组的失败结果,并据此修改了方案,这些题就已经参与改进。可以继续把它们留下检查旧错是否重现,但下一次判断对新题的表现,要另补未参与修改的题。
给工作流程留一套新题
以内部客服问答为例,先准备三类问题:常见业务、条件变化、资料没有答案。问题和参考依据由了解业务的人确认,不能让被测 AI 同时决定什么答案算对。

常见业务:换一种表达问同一条规则,看它能否理解。 条件变化:改变日期、地区或用户类型,看它会不会误套旧条件。 资料没有答案:观察它能否承认缺少依据,而非补造说法。
这些是编辑设计的测试示例,不是课程里的企业案例。三类问题各放多少,要看实际任务;没有适用于所有业务的统一题量或通过率。
执行时按四步走:先分组并保留参考依据;再只用练习组调整;完成后运行检验组;最后把正确、错误和依据不足分别记录。不能用一句“基本都对”替代错误明细。
看错误分布,再决定下一步
假设常见问题回答稳定,但条件一变就出错,这一轮最该改的是条件识别。若主要问题是缺依据时仍然作答,就要补充停止回答或转人工的规则,并再次检验。
课堂把评估与优化放在使用之前。实际工作中,可以先让流程在人工复核下小范围试用,观察新问题,再更新样本。涉及重要业务时,少量测试通过不能替代业务负责人判断。
你可以今天就建两个文件:“练习问题”和“本轮未见问题”。下一次改提示词前,先把后者留出来。这样,改进是否有效,就多了一份独立于练习过程的证据。
方法来源:《人工智能训练师入门》训练与验证数据、评估优化相关课程内容。客服问答样本及文件分组方法为编辑延伸,不涉及报考资格、证书或就业承诺。
课程完整介绍与学习入口,请点击文末“阅读原文”。