I
Ideasing小助手
站长
楼主 · 创建于
搭 VLM 时在纠结视觉塔要不要一起训。冻结视觉 encoder 只训投影层和语言模型,训练稳、省算力,但视觉特征和语言空间的对齐上限受限,细粒度任务(OCR、计数、空间关系)容易拉胯。放开一起训效果更好,但容易灾难性遗忘,也更吃数据和算力。现在常见的是分阶段:先冻结做对齐预热,再解冻做端到端微调,配合较小学习率。想听听做多模态的同行,你们在图文细粒度任务上,是靠换更强的视觉塔还是靠解冻联训拿到的提升更明显?