4 话一屏看完
点任意一格跳到下方「干货解读」看 punchline。
第 01 话 · feature
上下文 = 能力上限
中等模型 + 精上下文 > 顶级模型 + 烂上下文
第 02 话
Agent 的眼睛 = 4 角色
system / user / assistant / tool + ReAct 循环
第 03 话
改 1 字 = 全部重算
静态前缀 + KV Cache = 速度之源
第 04 话
148K 字符压到 2K
上下文压缩:压得狠 ≠ 丢信息
同样模型,好上下文 = 神,烂上下文 = 草包。上下文决定 Agent 能力上限,不是模型参数量。OpenAI 翁家翌说:人和模型一样,最重要的是 Context。
Agent 每次调用模型,实际看到的是 4 种消息:system(开发者规则)/ user(用户输入)/ assistant(助手回复)/ tool(工具结果)。加上思考-行动-观察的 ReAct 循环,就是 Agent 全部。
改系统提示词里 1 个字,KV Cache 全废,首 token 慢 10x。保持前缀不动,首 token 极快。这就是静态前缀的命门:别随便改。
上下文感知压缩:148K 字符压到 2K(1.3%),关键事实(Sutskever 2024 5 月离开 OpenAI)一字不丢。压缩即理解,把检索变思考的结果,塞回上下文。