Meta MRS Research 与 MIT 等作者在 arXiv:2610.12668 提出 ReHarness(Recurrent Harness):面向智能体持续学习的循环 Harness 框架。论文作者包括 Yuxin Xiao(MIT,实习于 Meta)、Zhiyun Lu、Jianyu Wang、Yangtian Zhang、Yang Song、Qifan Wang、Bailin Wang。目标是:在严格在线流式设定下,不更新底层大模型参数,也能让运行时脚手架随分布漂移及时纠偏。
既有智能体 Harness 多半只做前向信息流:每轮实例后写入记忆或反思,再在后续轮次检索。论文指出,一旦写出的反思在后续任务上失效,系统很少依据下游反馈去回改旧条目;过时或过度概括的经验可能反复误导决策。另一些方法依赖额外验证集或轨迹回放来优化 Harness,而这在严格在线流式协议下通常不可用。
ReHarness 的核心是把前向读、写与反向修订合在一起。每处理完当前实例轨迹后,修订智能体用该轨迹作反馈,回看本轮检索到的反思,并要求新增内容仍锚定在原反思的源轨迹上,避免把当前实例信息偷偷“渗入”过去经验。修订后的状态再进入下一轮,从而形成循环更新。
框架分三步。前向读:按查询检索 Harness 状态中的 top-k 反思,交给决策智能体作答并拿环境奖励。反向修订:修订智能体对每条检索到的反思,结合其源轨迹与当前实例效果做改写。前向写:记忆智能体再根据当前轨迹写出新反思,并可用修订后的条目作示范,写入下一状态。
评测覆盖 CL-Bench、MemoryBench、MemoryArena 三类持续学习基准,并在 Claude Opus 4.8、GPT-5.5、Gemini 3.7 Flash 三套骨干上对照。基线包括 Mem0、RBank、DoT、ACE、GEPA-Online,以及 Top-K Raw / Full Raw 等原始上下文方法。指标为相对无状态骨干的归一化增益(normalized gain),各流三次独立采样取均。
论文自报总体结果:ReHarness 九组基准–骨干组合中平均归一化增益 0.240,八组排名第一或并列第一;对全部基线做配对 Wilcoxon 检验并 Bonferroni 校正后,论文称均显著优于对照(含 Top-K Raw 与 Full Raw)。任务级图显示多数任务上领先或接近最优,但在 CL-Bench 的可利用扑克等随机性更强的设定上增益偏弱。
与强原始上下文基线比,论文自报在 Claude、CL-Bench 全任务一轮中,ReHarness 总 token 约 41.57M(输入约 37.19M、输出约 4.38M),低于 Top-K Raw 约 52.66M 与 Full Raw 约 142.12M(约 1.3× / 3.4×)。按文中 Claude 计价与缓存口径,费用约 254 美元对 Top-K Raw 约 85 美元、Full Raw 约 314 美元;作者强调比 Full Raw 更省且增益更高(0.217 对 0.191)。
修订质量方面,论文自报把修订后的反思拆成事实主张后,三骨干上源轨迹锚定率均高于 95%,泄漏率约 0.8%–2.1%,无支持主张约 0.5%–2.6%;每次修订对锚定率的平均变动不超过约 0.3 个百分点。反事实回放(把修订态立刻用于同一实例)显著高于在线 ReHarness,说明修订本身有信息,但在线协议只把修订用于后续实例。
稳定性–可塑性分解上,论文自报 CL-Bench 平均稳定性增益 0.015、可塑性 0.241,均为表中最高档;多条前向-only 记忆/反思方法平均稳定性为负。定性例子包括:盲频谱监测早期把“补静默缺口”的过度概括改成优先保留已确认峰;数据库探索在 schema 漂移后,把“看 prc 列”改成枚举全部类价格列。
消融上,论文自报 top-k 从 1 提到 5 时增益上升明显,k∈{5,10,20} 相对平稳,过大 k 收益递减且成本升高,主实验固定 k=5。去掉把修订反思作为记忆智能体示范,会使 Claude 上 CL-Bench 归一化增益从 0.217 降到 0.191。讨论亦承认扑克任务上奖励噪声大时修订更难,且为便于修订仍需保存原始轨迹带来存储开销。
对读者的可执行含义:若你在做长流式智能体、只能改文本 Harness 而不能微调模型,ReHarness 给出的不是再堆一条记忆,而是“用下游成败回改已检索反思,且改写仍要锚在源轨迹”。是否值得上线,仍取决于自有任务奖励是否足够可诊断,以及修订调用带来的额外输出 token 是否可接受。
来源:arXiv:2610.12668《Recurrent Harness for Agentic Continual Learning》(Meta MRS Research / MIT 等)。文中归一化增益、token/费用、锚定率与消融数字均为论文自报,发布前请对照原文 Table 1–4 与 Figure 1–4 复核。
图1:Stateful Harness 仅前向写读 vs ReHarness 增加反向修订(Revision Agent)。来源论文 Figure 1 / pipeline;对应 arXiv:2610.12668
图2:论文自报任务级归一化增益(三骨干平均);ReHarness 在多数任务领先或接近最优。来源 arXiv:2610.12668 Figure 2 / task
图3:论文自报 Harness 状态修订动态与 top-k 缩放;主实验固定 k=5。来源 arXiv:2610.12668 Figure 4 / analysis