科技日报记者 崔爽
从云端走向端侧，大模型正在突破设备算力、内存和存储带宽等方面的限制，智能服务有望从集中式云端供给，逐步延伸至用户身边的个人设备。
近日，面壁智能发布MiniCPM-V 4.7，这款35B（十亿）总参数、约3B激活参数的多模态大模型，实现了手机端无损流畅运行。据了解，该模型采用混合专家（MoE）架构，在手机端运行时内存占用约3GB，生成速度超过20token/s（词元/秒），同系列1B版本进一步下探至千元机甚至部分百元设备。
“把计算替换成智能，很多发展趋势就变得清晰了。”面壁智能联席首席科学家姚远表示，过去几十年，计算从大型机走向个人电脑，再走向智能手机，背后是用户希望计算发生在自己身边。隐私保护、断网可用、低延迟交互和使用成本等需求，推动计算能力不断向个人设备迁移，智能也将沿着类似路径发展。
此次技术突破的关键，在于让大模型在手机有限的资源条件下既“装得下”，又“跑得快”。
以MiniCPM-V 4.7为例，35B模型即使经过量化处理，参数权重仍可能超过手机可用内存。面壁智能利用MoE架构的稀疏激活特点，将大部分专家权重存储在手机闪存中，在推理时按需加载，降低内存占用。
不过，频繁读取闪存可能带来较长等待时间，影响实际使用体验。为此，团队首次提出前瞻专家调度技术，提前预测模型下一层可能调用的专家，将数据读取与当前层计算并行进行，尽可能隐藏存储I/O（输入/输出）等待时间。同时，结合分层量化、投机解码等技术，进一步提升推理效率。
姚远认为，端侧智能的发展取决于模型、硬件和基础设施（infra）三方面的协同进步。其中，模型需要持续提高智能密度，硬件需要不断提升计算效率，Infra则要在有限的内存、带宽和功耗条件下，实现资源的合理调度。
端侧智能的意义也不只是让大模型在手机上运行。在姚远看来，随着模型能力的不断提升，越来越多日常任务有望直接在本地完成，进一步减少对云端算力的依赖。而普通用户的大部分日常需求有相对稳定的能力要求，当端侧模型的供给能力跨过这条需求线，用户自然更愿意让设备在本地完成任务。
目前，面壁智能已将推理引擎、App代码及相关安装包开源，希望手机厂商、芯片厂商和开发者能够结合具体应用场景继续优化。“最懂一个场景的，是身在其中的人。”姚远说。
网友评论
