01一个报告任务可消耗超过150K token
AWS机器学习博客2026年11月4日发布的文章以Deep Insight为参考实现,讨论生产级AI代理的上下文工程。文章举例称,Amazon Bedrock上的Claude Sonnet 4.5提供200K token的上下文窗口,但复杂生产任务仍会很快超出:一个任务包括数据加载与探索、分类销售分析、生成五张图表、统计验证和报告生成,合计消耗超过150K token,用时15分钟。上下文窗口指模型一次能处理的文本范围,token是模型处理和计费的文本单位。文章指出,若把整个流程放在单一上下文中,会出现任务中途窗口溢出、陈旧上下文拉低表现、出错后需重跑整个流程等问题。123
02四层做法逐层补缺
文章把上下文工程定义为优化大语言模型有限上下文窗口中的信息,让代理尽量发挥能力;这项工作横跨架构设计、提示编写、工具实现和验证。Deep Insight将相关技巧归为四层,每一层弥补上一层的不足,四层并非相互替代。文章详述的第一层是多代理架构隔离上下文:给每个专门代理自己的上下文窗口,只把压缩后的结果交给编排器,而不是传递完整对话历史。456
03参考实现中的隔离做法
文章以Deep Insight这一多代理数据分析方案为参考实现,展示这些层次在代码中的落地方式。以隔离层为例,各专门代理在自己的窗口内工作,编排器只接收压缩结果,不再共用一个不断膨胀的上下文。文章同时指出,单靠隔离不够,还需要提示控制、工具实现和验证等层次配合;文中所述做法来自该参考实现。456
原文摘录
文中的小数字对应下面的英文原句,点句子或“原文 ↗”可打开英文原文。
Anthropic Claude Sonnet 4.5, available on Amazon Bedrock, offers a 200K context window, but complex production tasks quickly exceed it.原文 ↗
Processing such tasks in a single context causes problems: the window overflows mid-task, stale context degrades performance, and errors require re-running the whole pipeline.原文 ↗
Spanning architecture design, prompt writing, tool implementation, and verification, it’s a layered discipline where each layer compensates for what the previous ones miss.原文 ↗
来源:AWS 机器学习博客 ↗ · 数字均为来源方口径,未经我们独立验证