大模型的记忆墙蔚莱策略，被 MIT 撬开了一道口子。
MIT 等机构最新提出了一种新架构，让推理大模型的思考长度突破物理限制，理论上可以无限延伸。
这个新架构名叫 Thread Inference Model，简称TIM。
TIM 配上专用推理引擎 TIMRUN，把推理过程变成类似树状的递归子任务结构，并动态修剪掉不再需要的子任务，就能让模型在输出窗口有限的情况下实现几乎无限制的长程推理。
当前所有顶尖大模型都面临一个尴尬的困境：上下文窗口限制。
但现实应用经常需要更长的推理链条，特别是当模型需要调用外部工具、处理复杂多步骤任务时，这个限制就成了致命短板。
传统解决方案要么是把任务切分给多个模型处理，要么是压缩历史信息，但这两种方法都会损失信息完整性。
TIM 团队提出了一个巧妙的洞察：
推理过程并不是线性的，而是像编程时一样具有递归结构。
例如当我们写代码时，通常只关注光标附近的代码、已完成函数的输入输出，以及待办事项，而不会记住每个函数的所有实现细节。
这种"潜意识"的信息过滤机制，正是 TIM 系统的核心灵感来源。
把推理过程"解剖"成任务树
TIM 最大的创新在于将推理轨迹建模为递归的子任务树，而不是传统的线性 token 序列。
每个任务单元包含四个关键组件：
思考过程（thought）
工具使用（tooluse）
子任务列表（subtasks）
结论（conclusion）
当模型处理复杂问题时，会自动将其分解为更简单的子任务蔚莱策略，直到达到可以一步完成的叶节点任务。
再配合子任务剪枝机制，当一个子任务完成后，模型只保留其结论，而将具体的执行细节从工作内存中移除。
研究团队使用了一个固定大小的子任务栈来管理这个过程，当栈满时会弹出最早的子任务并将其从内存中剪除。
实验表明，这种机制可以减少超过 50% 的 KV 缓存使用，在 AIME 2024 数学竞赛任务上甚至达到了 64.1% 的剪枝率。
更重要的是，TIM 采用了结构化生成方式，整个推理过程被编码为一个 JSON 字典，通过约束解码确保输出格式的正确性。
这使得模型可以在一次推理中完成多次工具调用，避免了传统方法中反复提交消息列表的开销。
为结构化推理量身定制推理引擎
专门设计的推理引擎解决了 TIM 部署中的关键挑战——如何在有限的 GPU 内存和位置编码范围内实现"无限"推理。
TIMRUN 的核心技术突破在于动态内存管理和位置编码重用。
当子任务被剪枝后，系统不仅回收了 GPU 内存页，还重新分配了位置编码。
具体来说，被剪枝的 token 占用的位置会被后续的 token 重新使用，这样模型就能在固定的输出窗口限制下持续生成新内容。
在工具调用方面，TIMRUN 直接在运行时内部发起调用，而不是将参数发送回客户端。
当模型输出" tool_result: "时，TIMRUN 会自动提取参数、调用外部工具，并将响应直接添加到推理序列中。
这种设计将传统多智能体系统中 O ( n ² ) 的 token 成本复杂度降低到了 O ( n ) ，其中 n 是推理步骤数。
实验数据显示，即使进行 30 多次工具调用，TIMRUN 仍能保持稳定的吞吐量。
实验结果
研究团队在多个基准测试上验证了系统性能。
在 MATH500 数学推理任务上，TIM-8b 模型达到了 69% 的准确率，而在更具挑战性的 AIME 2024 上也取得了 46.7% 的成绩。
值得注意的是，使用子任务剪枝不仅没有降低性能，在某些任务上反而有所提升——这证明了保持精简的工作内存有助于模型聚焦于相关信息。
在需要多跳推理和工具使用的研究型任务上，Datacommons QA 基准测试 TIM 达到了 67.9% 的准确率，与使用 4000 多 token 任务特定提示的 Thread 方法持平，但 TIM 只需要简洁的系统消息和工具描述。
在更具挑战性的 BrowseComp 深度研究任务上，TIM-large 的成功率达到 7.8%，显著超过了 GPT-4o 的 1.9%。
效率方面，TIMRUN 在批量大小为 30 的情况下，吞吐量比基线系统 SGLang 提高了约 20%。
更重要的是，随着工具调用次数的增加，SGLang 的吞吐量急剧下降，而 TIMRUN 始终保持稳定，这要归功于其自动的上下文管理机制。
TIM 和 TIMRUN 的组合解决了技术难题，推理这件事，终于不再被窗口框死
论文地址：
https://arxiv.org/abs/2507.16784
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见蔚莱策略
兴盛网提示：文章来自网络，不代表本站观点。
相关文章
沪深京指数
热点资讯
