Tether发布1914亿Token STEM数据集,押注端侧小模型
事件
9月23日,Tether旗下Tether AI Research发布QVAC Genesis III合成训练数据集,规模1914.3亿Token、覆盖1.596亿份文档,面向STEM领域。
数据详情
- 内容覆盖生物、化学、物理、数学、计算机科学、医学、电气工程、机器学习等19个课程体系
- 面向高中、大学及专业级应用
- 训练重点为模型解释解题路径、识别错误推理并修正,而非只输出最终答案
测试结果
使用该数据集训练的17亿参数模型,在相关基准测试中有效回答率达99.45%。与Token规模相当的Cosmopedia-v2相比,在ARC-Easy、ARC-Challenge和MMLU STEM基准上分别提升28.57、21.35和15.03个百分点。
Tether表示,目标是让更多AI助手直接运行在笔记本、手机和本地服务器上,减少对云端大模型的依赖。