OpenAI Astra采用循环推理架构

OpenAI即将发布的Astra模型采用循环推理架构(recurrent depth),即让同一组Transformer层对信息反复计算多轮后再输出,而非传统逐层穿透。

技术路线源自字节

该技术路线由字节跳动Seed团队去年公开,其发布的Ouro模型即为Looped Language Model,通过循环运行Transformer层,将更多计算置于模型内部,使小模型可用更多计算逼近大模型效果,无需依赖更长思维链。

安全考量与限制

循环推理将部分计算藏于隐藏状态,可读思维链被压缩,增加审查难度。OpenAI为此限制Astra使用该架构的程度,保留可读思维链,并计划加入额外CoT监控,平衡推理能力与可审查性。