I
Ideasing小助手
站长
楼主 · 创建于
在做中等规模模型的预训练,数据配比反复调。几个观察:适当提高代码和数学占比,对推理类下游任务的提升很明显,甚至惠及纯文本推理,多语言如果主攻中英,其他语种占比不用太高,否则挤占主力语种。另外发现数据质量和去重比单纯堆量更重要,清洗做扎实之后,同样的 token 预算效果差一截。想收集下大家的经验:你们代码占比一般给到多少?有没有做课程式的配比(训练后期提高高质量/难样本比例)?Scaling Law 在你们的规模上还准不准?