游客发表

翁荔最新博客:我们可能高估了模型,却严重低估了那层“脚手架”

发帖时间:2026-07-17 05:52:29

日前,脚手架前 OpenAI 安全研究副总裁、翁荔Thinking Machines Lab 联合创始人翁荔(Lilian Weng)发布了题为“Scaling Laws,最新 Carefully”的技术博客。

近日,博客她再次更新了一篇名为“Harness Engineering for Self-Improvement”的高那层最新博文[1]。此次,估模她将目光锁定在 AI 领域备受瞩目的严重议题——Harness Engineering(驾驭工程),这已成为当前 AI Agent 系统的低估关键工程层级。

如果说 Scaling Laws 决定了模型能力的脚手架理论上限,那么 Harness 则决定了模型在现实任务中运行的翁荔稳定性与持久度,它是最新模型之上的“操作系统”。

透过这篇新博文,博客翁荔试图解答一个核心问题:在能够直接修改自身权重的高那层“硬递归”尚遥不可及的当下,递归自我提升(RSI,估模 Recursive Self-Improvement)的循环,是严重否可以先从模型外部的这层“脚手架”开始?

图丨相关博客文章(来源:https://lilianweng.github.io/posts/)

Harness可被理解为包裹在大模型外部的一套综合系统。它超越了简单的提示词模板,构成了决定模型如何思考规划、调用工具与行动、管理上下文及执行工作流的运行时环境。

翁荔指出,Claude Code 和 Codex 等成功编程智能体产品的核心优势,很大程度上源于其精心设计的 Harness。

成熟的 Harness 类似于操作系统,能够封装复杂逻辑并保持接口简洁:它避免将完整的工作流和日志“塞入”有限的上下文窗口,而是利用文件系统这类持久化存储来管理状态与产物。这种设计使得智能体能够处理长周期任务,有效规避长上下文带来的混乱与迷失。

(来源:https://openai.com/index/unrolling-the-codex-agent-l

基于此思路,翁荔系统梳理了近期相关研究,勾勒出 Harness 从手工设计向自我优化的演进路径。

早期如 Agentic Context Engineering 等框架,将上下文视为不断演化的“操作手册”。通过生成、反思与筛选的循环,模型能从成功或失败的轨迹中提炼结构化要点,从而更高效地管理记忆。

(来源:https://github.com/yasasbanukaofficial/claude-code)

进一步地,Meta Context Engineering将上下文管理本身转化为可优化对象,通过元智能体搜索并改进管理上下文的“技能”,实现双层优化目标。

Meta-Harness等研究则直接将 Harness 代码作为搜索空间,让编码智能体编写、测试并迭代新的 Harness 代码。系统能生成多个候选方案,并筛选出帕累托最优解。

这种让智能体改进自身系统代码的思路,在进化搜索领域亦有体现。例如,Darwinian Gödel Machine提出了一种框架,允许编码智能体修改自身的 Harness 代码库,并通过基于性能排名的选择机制不断产生新版本。

实验数据显示,在 SWE-bench Verified 等编程基准测试中,Darwinian Gödel Machine 发现的智能体通过率可达 20% 至 50%,表现与手工设计的智能体相当甚至更优。

然而,翁荔强调,优化 Harness 并非终点。长期来看,Harness 与模型权重的联合优化,仍将是实现递归自我提升的重要方向。

图丨智能体上下文工程的框架示意图(来源:https://arxiv.org/ab)

翁荔认为,这种“元方法论”的转向是当前最值得关注的趋势:我们不再仅追求模型给出更好的答案,而是在构建一套能持续改进“如何获得更好答案”的机制。

在此回路中,Harness 自身成为优化对象,逐渐减少对人工编写启发式规则的依赖,转向更多可自动搜索的通用机制;工程师的角色也从编写具体规则,转变为设计更通用的进化框架。

但翁荔并未将此路描绘为坦途。她在文章后半部分客观列出了该研究面临的现实瓶颈,其中评估是最大挑战之一。目前的自我改进循环在拥有明确、快速、客观评估指标的任务(如代码编写、数学解题)上效果显著。

图丨元上下文工程的框架示意图(来源:https://arxiv.org/abs/2)

然而,面对模糊判断(如“研究是否有品味”、“结果是否重要”),系统极易失效,甚至为通过测试而学会作弊,即所谓的“奖励黑客”(Reward Hacking)。

安全性则是另一大隐患。若允许模型自由修改系统代码,抽象边界与权限控制将被打破,可能引发灾难性后果。因此,翁荔强调,人类不应退出循环,而应向上移动,在环路外扮演架构师与方向指引者的角色,负责设计可编辑边界及关键节点审查。

在文章结尾,翁荔未呈现迈向 RSI 的虚幻愿景,而是列出一份务实的挑战清单:
* 如何设计优秀的评估器?
* 如何管理上下文与长期任务记忆?
* 如何解决进化过程中的多样性坍缩?
* 如何应对奖励黑客?
* 如何平衡短期任务成功与代码库长期健康之间的关系?

她指出了一个常被忽视的问题:当前优化多基于沙盒内的短期奖励,但现实软件工程需兼顾可维护性、向后兼容性及未来开发负担。这些关乎“长期成功”的指标,正是当前系统最薄弱的环节。

如果说上一篇关于 Scaling Laws 的文章是在提醒人们,规划数十亿算力投资的公式并不如想象中可靠;那么这篇关于 Harness 的文章则是在告知公众:通向递归自我提升的第一步,很可能并非修改模型本身,而是先优化模型外部那层不起眼的 Harness。这条路本身,也布满了需要小心规避的“陷阱”。

或许,真正的 RSI 并非某天模型突然开始修改自己,而是悄然始于一次次对 Harness 的优化之中。

参考资料:

  1. https://lilianweng.github.io/posts/2026-07-04-harness/

排版:刘雅坤

注:封面/首图由AI辅助生成

    热门排行

    友情链接