小红书开源大模型dots.llm1 preview正式发布,华为昇腾完成0 Day全量适配

小红书开源大模型dots.llm1 preview正式发布,华为昇腾完成0 Day全量适配
近日,小红书正式发布全新开源大模型dots.llm1 preview。作为该系列的首个版本,该模型拥有280B的总参数量以及16B的激活参数量,具备文本、视觉与语音的全模态感知与理解能力,在推理、Agent以及多模态任务中表现接近国内外更大尺寸的优秀模型。
模型发布:280B参数支持全模态感知与理解
dots.llm1 preview是小红书该系列发布的首个开源版本,采用总参数量280B、激活参数量16B的架构设计。该模型原生支持文本、视觉与语音三种模态的感知与理解,能够在推理、Agent以及多模态任务中达到接近更大体量模型的综合表现。
昇腾适配:发布当日完成全链路深度优化
在模型发布当日,华为官方宣布昇腾Atlas 800 A3与Atlas 900 A3 SuperPoD超节点已完成对dots.llm1 preview的高效适配,并借助vLLM Ascend开源推理引擎提供完整的部署与运行支撑。
昇腾针对该模型展开了全链路的深度优化,重点攻克多模态处理与增量解码的性能瓶颈,旨在为开源大模型的产业落地提供稳定可靠的底层算力。
技术亮点:攻克多模态处理与增量解码性能瓶颈
- 全模态端到端适配:成功打通视觉编码器、音频特征提取与大语言模型的主干推理链路,保障原生多模态交互的稳定性。
- MoE架构推理优化:通过通信与计算的深度融合以及算子重构,消除了多卡间的重复计算,显著提升MoE架构的推理吞吐量。
- 增量解码加速:原生适配MTP投机解码能力,通过单次前向并行生成多个候选Token并完成校验复用,大幅减少解码前向次数。
产业意义:为长程复杂任务场景提供算力底座
上述全链路优化措施在保障模型高效稳定运行的同时,也为长程复杂任务场景的智能落地奠定了坚实的算力基础。
开源生态与国产算力协同进展
本次dots.llm1 preview的开源发布与昇腾的0 Day全量适配,标志着开源大模型生态与国产算力平台在协同效率上取得进一步突破,为后续多模态大模型在行业场景中的落地应用提供了参考路径。

