OpenAI Astra采用循环架构,字节技术路线引热议
OpenAI Astra采用循环推理架构
OpenAI即将发布的Astra模型采用循环推理架构(recurrent depth),即让同一组Transformer层对信息反复计算多轮后再输出,而非传统逐层穿透。
技术路线源自字节
该技术路线由字节跳动Seed团队去年公开,其发布的Ouro模型即为Looped Language Model,通过循环运行Transformer层,将更多计算置于模型内部,使小模型可用更多计算逼近大模型效果,无需依赖更长思维链。
安全考量与限制
循环推理将部分计算藏于隐藏状态,可读思维链被压缩,增加审查难度。OpenAI为此限制Astra使用该架构的程度,保留可读思维链,并计划加入额外CoT监控,平衡推理能力与可审查性。