超单助手下载官网：小红书NoteLLM-2，创新多模态推荐系统的案例分析与实践揭秘

真后悔没看这篇小红书多模态大模型案例拆解

· 🌟今天来说下小红书用于推荐的多模态大模型—NoteLLM-2

· 🌟【过往常见问题】

1️⃣因为在现有的多模态大模型在表征任务中常忽视视觉内容，会导致推荐系统的效果不理想

2️⃣然而传统的MLLMs需要高质量大规模多模态数据进行预训练，成本高且复杂，阻碍了定制化训练

3️⃣另外多模态表征模型中的文本分支往往由于缺乏纯文本导向预训练而表现出对文本信息的次优理解，需要在多模态表征模型中增强文本理解能力

🌟【小红书的方法论】

·⭕️端到端训练方法

👉设计了一种端到端的训练方法，定制整合现有的大型语言模型（LLMs）和视觉编码器，以构建高效的多模态表征模型，减少对昂贵的多模态预训练的依赖

· ⭕️提出新的训练框架NoteLLM-2

👉多模态上下文学习（MICL）：将多模态内容分为视觉和文本组件，通过改变提示来调整注意模式，使模型同时关注两种模态并聚合关键信息

· ⭕️晚期融合机制

👉通过延迟视觉信息的融合，增强视觉信息流对最终表征的影响。具体实施包括从视觉编码器和LLMs获取视觉表征和文本表征以生成最终的多模态表征

· ⭕️对比学习技术

👉在训练过程中使用对比学习技术，通过多模态内容的上下文学习（MICL）和视觉提示结合晚期融合，确保模型更好地整合视觉和文本信息，提高多模态表征的质量

✅超单助手下载官网观察到，以上就是对小红书多模态推荐系统中0-1落地案例详细拆解，同时我还整理了其他不同项目案例拆解以及其他不同大厂AI产品项目🙋

如果有需要的，【全已整理好，放在公Z号：AI可丽小饼】。