环节 关键问题 处理方式 数据 模态缺失、噪声字幕 弱配对可用,但需过滤低质样本 训练 对比学习与生成目标冲突 分阶段:先对齐,再指令微调 推理 多模态序列过长 KV Cache + 分组查询注意力