你大概经常看到「这个模型支持 128K 上下文」这样的说法。这篇短文试着把「上下文窗口」这件事讲清楚——不用数学,只要一点耐心。
一个比喻:工作台
把模型想象成一个工匠,上下文窗口就是他的工作台。台面就那么大,你摆上去的图纸(你的问题)、参考资料(检索回来的文档)、以及他之前干的活(对话历史),都要摊在台面上。台子越大,一次能处理的东西越多。
为什么长不等于好
有两件事经常被忽略:
- 「能装下」不等于「看得见」。很多模型在超长文本中会出现「中间遗忘」,对埋在文档中部的信息利用率明显偏低。
- 成本与延迟随长度增长。128K 全塞满的时候,生成一条回复的时间和费用都不便宜。
实用建议
与其追求把所有资料一股脑塞进去,不如做减法:先检索、再筛选、最后只把真正相关的片段放进上下文。这既是省钱,也是提高准确率。
下一篇我们聊聊「幻觉」——模型为什么会一本正经地胡说八道。
