上下文窗口大,只说明模型能够接收较长的输入,不代表它能准确利用其中的全部信息。评估长文本能力,关键不是看材料能否放进一次请求,而是看模型在不同长度、不同信息位置和不同任务要求下,能否找到证据并据此得出可靠答案。

最基础的测试是信息检索:在长文档中放入可核对的事实,要求模型回答问题并指出依据。测试时应改变目标信息在开头、中间和结尾的位置,也要改变文档长度,观察正确率是否随之变化。仅凭一次检索成功,无法判断模型是否稳定地利用了整个上下文。
更有区分度的是跨段落、跨文档任务。例如,让模型根据分散在不同材料中的条件判断某项要求是否成立,并说明推理所依据的内容。这类测试不仅检查模型能否找到信息,也检查它能否正确关联条件,避免把相似但不相干的内容拼成答案。
还应设置资料不足或存在冲突的问题。可靠的模型不应为了给出完整回答而补造事实,而应指出缺失信息或冲突之处。对长文摘要,则要检查关键约束是否保留、事实关系是否改变,以及简化表述有没有造成误导;文字流畅不能替代事实核对。
比较模型时,应尽量使用相同的材料、问题和评分标准,并覆盖实际业务中常见的文档类型与任务。评分可以分别记录答案是否正确、证据是否能在材料中找到、关键信息是否遗漏,以及不确定性是否得到恰当表达;不要只给一个笼统的印象分。
能力评估还应与使用成本放在一起看:同样的任务,如果某个模型需要反复重试或人工核对才能得到可用结果,其实际成本可能高于单次调用所显示的费用。最终选型应以自有文档测试中的任务成功率、响应时延和重试情况为依据,而不是仅凭宣传中的窗口大小作判断。
文章版权归作者所有,未经允许请勿转载。
本文链接:https://www.chatcpt.com.cn/thread/long-context-evaluation-2/
参与讨论
暂无评论,快来发表你的观点吧!