飞象原创（魏德龄/文）时至2025年，当生成式AI已经爆发两年有余，本地AI模型的部署本已不是什么新鲜事。但随着Deepseek R1的发布，除了线上被挤爆的服务器外，短短一周左右时间，论坛、博客、视频站点上涌现出的各种新蒸馏模型与部署教程，吸引着很多普通用户将一个容量仅几个G的3B-13B不等参数量的小模型部署到本地设备中，成为在PC或手机中的新助手。
本地AI模型部署所呈现的“用脚投票”现象，背后则是硬实力的呈现。
蒸馏模型涌现的背后硬实力
蒸馏模型的涌现与小模型的实用性大大提升有关，很多部署教程中，还会向观众进行相关功能实用性的验证，例如文档的阅读总结、简单编程、图文内容的分析等，来证明端侧AI模型部署已经不仅仅是极客们一时兴起的玩物。
高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉给出的这张PPT，做出了一个很好的例证，使用DeepSeek蒸馏后的Qwen-7B模型，已经能够在性能上与去年所推出的且当时最为先进的GPT-4o云端模型持平。但两个模型的参数规模却相差甚多。另对比蒸馏后的Llama 700亿模型在推理、编程、数学、数据分析等方面表现来看，同样已经超越了原始模型，只在语言理解和指令遵循方面有待进一步优化。
根据《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》论文中的观点显示，通过蒸馏技术能够使小模型也拥有大模型的推理能力，并且既高效又经济。实验结果表明，蒸馏后的小模型在多个基准测试中表现出色。DeepSeek-R1-Distill-Qwen-7B在AIME 2024基准测试中取得了55.5%的成绩，超越了QwQ-32B-Preview。DeepSeek-R1-Distill-Qwen-32B同样在多个测试中表现优异，AIME 2024、MATH-500、LiveCodeBench的测试结果超越了以往开源模型，与OpenAI o1-mini相当。
蒸馏技术能够让大模型“教学”小模型，保持准确性的同时迁移知识，在这一老师教授学生的过程中，起到了所谓“听君一席话，胜读十年书”的效果，从而让小模型实现更多全新的功能与性能。对于开发者而言，如今在非常多高质量的小模型和蒸馏技术的加持下，将大大推动AI模型数量的激增，实现更多AI商业应用的规模化扩展。尤其是在终端侧，目前大有“当机会来临，已经准备好了”的态势。
端侧AI准备好了
在终端本地能否运行小模型，并保证流畅体验，要看当前的硬件能否满足要求。相比正在弥补短板的iOS来说，Android阵营无疑走在了前列。例如，早在MWC24期间，高通就展示了全球首个在Android智能手机上运行的大型多模态语言模型，该LMM拥有超过70亿参数，可接受包括文本和图像在内的多种类型的数据输入，并能够与AI助手生成关于图像的多轮对话。
“对于高通来讲，我们预判了终端侧模型的爆发，同时也推动了边缘AI推理在跨终端设备上的落地。”马德嘉表示。
根据最新发布的《AI变革正在推动终端侧推理创新》白皮书中写到，高通的SoC能够直接在终端侧提供高性能、高能效的AI推理。通过紧密集成这些核心组件，高通技术公司的平台可在保持电池续航和整体能效表现的同时处理复杂AI任务，这对边缘侧用例至关重要。
高通还在去年MWC24期间推出了AI Hub，能够帮助开发者选择相应平台和开发模型、编写应用，最后在不同类型的移动终端上进行部署，目前已有超过1500家企业在使用，其中包括海量的模型厂商，比如meta、Allam、OpenAI、Tech Mahindra、IBM、Mistral、G42等。据马德嘉介绍，现在AI Hub不仅提供已有的模型，还能允许开发者将自己的模型引入其中，或直接通过AI Hub用数据来搭建模型，并在云端设备中实时运行。
由于以手机、笔记本为代表的移动设备一般不会标配超大的RAM，能否满足端侧AI运行所需也成了关注的问题。而蒸馏技术已经让模型的参数规模已经不再是衡量模型质量的重要指标，进而降低了端侧RAM的压力。
“我认为随着模型规模不断地下降，日后10-20亿参数规模的模型将会占用更少的运行内存，更好地适配8-12GB内存设置的终端。”马德嘉在回答上述问题时表示，现在旗舰智能手机运行内存配置一般在12GB或以上，已经足够支持很多模型的高效运行。同时，高通在处理模型终端侧运行的内存方面也有着丰富的技术经验。
以正在举行的MWC25现场的高通展台为例，iQOO、努比亚、OPPO、荣耀、小米和一加等中国生态伙伴，均带来了基于骁龙平台的终端侧生成式AI和智能体AI的最新应用成果。三星也在Galaxy S25 Ultra上展示谷歌全新AI助手Gemini。
《AI变革正在推动终端侧推理创新》白皮书显示，不仅仅是手机，高通正在扩展终端侧AI覆盖所有关键边缘细分领域，还包括PC、汽车、工业物联网、网络，赋能众多行业、释放商业价值并支持全新用户体验。
在这一过程中，AI将不仅仅是用户本地的一个能够快速响应又保证隐私安全的助手，更将带来新一轮的交互变革。
AI是新的UI
“随着终端侧可以运行越来越多高质量的AI模型，越来越多的AI应用和用例开始涌现。AI正在重新定义所有终端的用户界面，这也意味着，AI正在成为终端侧新的UI。”马德嘉专门强调了这一论点。
回首过往，智能手机的每一次重要迭代所伴随的也是交互方式的变革，从能发电子邮件的全键盘手机，再到能够实现移动计算的电容屏手机，当业界开始思考智能手机的下一步将走向何方，AI恰恰给予了改变手机交互方式的全新契机。
《AI变革正在推动终端侧推理创新》白皮书表示，智能体AI（Agentic AI）是下一代用户交互的核心。AI系统能够通过预测用户需求，并在终端和应用内主动执行复杂工作流，进行决策和管理任务。
届时，用户输入进手机的语音和音频、文本、图像、视频和传感器等数据，将不直接应用于某个具体的应用，而是先传输至智能体AI。智能体AI在接收到这些信息后，会对其进行相应的处理，之后再将工作负载分配给后台的不同应用。在这背后，智能体AI要做的就是从终端侧丰富的模型中选择所需的模型完成任务。
“也就是说，所有这些处理任务都是由AI智能体直接完成的，应用只会在后台运行，用户是看不到的。”马德嘉表示，对于终端用户来讲，AI智能体就是唯一在前端与他们交互的UI，而所有实际应用的处理都是在后台完成的。最终个性化的多模态AI智能体将通过自然语言和基于图像、视频与手势的交互简化人们使用技术的方式，高效地跨越各种应用完成任务。
Deepseek蒸馏模型涌现的背后是终端侧AI所迎来的全新机遇，使用户在本地也能获得媲美甚至超越云端的生成式AI能力，这种能力还正逐步演变为全新的交互方式，让用户能够更加自然地与设备沟通，引领智能终端迈向下一场变革。
