General Reasoning推120B模型,用集体奖励训练整家AI公司
核心事件
General Reasoning 推出 120B 参数模型 Avalon-M1-Mini,提出 RLCR(集体奖励强化学习):一个 Agent 担任 CEO,最多招募 8 名员工,通过留言板和共享工作区协作。所有成员共用同一套模型,任务完成后按团队总成绩集体接受强化学习,不逐个计算贡献。
关键数据
- 训练覆盖 147 个环境、超 200 万项任务,取得持续改进
- 软件任务中,主管工程师在招募岗位中占比从 0.4% 升至约 13%
- 至少开展一次互审的团队占比从 42% 提高到 64%
- 分工转向一人主写、其余人测试挑错,管理层与质检流程在训练中自行形成
两点提示
- 团队约六成得分优势,给单 Agent 同等输出 Token 即可追回;主要优势是并行,12 项评测中达到相近成绩的估算耗时约为单 Agent 的四分之一
- 模拟攻击测试 210 次无 Agent 调用攻击工具,但向人类报告异常的比例从 76.7% 降至 0
Avalon-M1-Mini 仍在训练,团队计划完成后发布论文,并开源训练环境、Agent 框架与模型权重。