看 AI 新闻很容易产生一种错觉：模型的参数量，跟手机发布会上的摄像头像素一样，数字越大越值得买单。今天几百亿，明天几千亿，仿佛只有继续加零，智能才会往前走。
但对一台放在书桌上的普通电脑来说，问题朴素得多：装得下吗？跑起来会不会把风扇吹上天？回答一个问题，要不要等到忘记自己问了什么？
所以，最近 Qwen3.5 的小模型比那些庞大的数字更让我感兴趣。官方已经提供了从 0.8B、2B、4B 到 9B 的多个版本，其中 4B、9B 的模型卡也列出了图像理解能力。这里的 B 是十亿，9B 大致就是九十亿参数。体积缩小，意味着更多人有机会在自己的设备上尝试这些能力。官方模型：0.8B、2B、4B、9B。
当然，“有机会”距离“好用”还隔着几道坎。
先说最容易误会的一件事：模型文件能下载下来，不代表电脑就能轻松运行它。硬盘负责存文件，运行时还得把相关数据放进内存或显存。显卡有独立显存，部分电脑采用统一内存，还有一些运行方式会让 CPU 分担工作。配置表上的数字看起来相似，用起来可能完全不同。
可以先做一道粗略的算术题。假设一个模型有九十亿个参数，每个参数用两个字节保存，仅这些参数就需要约 180 亿字节，也就是十进制口径的 18GB。如果把每个参数压到平均四位，理想化的权重体积就变成约 4.5GB。
这就是量化受到关注的原因。它通过更低的数值精度降低存储和计算负担，代价可能是部分能力损失，效果取决于模型、算法和任务。上面的数字只是一笔权重账，实际文件还会包含额外信息，也不代表程序运行时的全部占用。
运行过程还要存临时数据。对于使用标准注意力的部分，系统通常会保留与上下文有关的缓存，也就是常听到的 KV cache。对话更长、同时处理的请求更多，都可能让这笔开销增加。vLLM 在介绍推理服务时，就专门把这类缓存的动态内存管理作为一个核心问题。vLLM 技术介绍。
所以，看到“四位量化只有几个 G”，先别急着宣布自己的旧电脑重获新生。还得给操作系统、正在开的软件和推理过程留出空间。能勉强启动，和可以边查资料边顺畅使用，是两种体验。
接下来才是更实际的问题：把模型放在本地，究竟打算让它干什么？
我觉得比较合适的起点，是那些范围明确、容易检查的工作。给一段自己的笔记起标题，把零散文字整理成条目，把已经提供的内容改成另一种格式，或者根据一份短材料写一个提纲。这些任务有现成的原文可对照，模型帮忙做整理，人负责判断有没有漏掉重点。
以整理读书笔记为例，要求可以具体到“保留原文观点，分成三个主题，每个主题附上对应段落”。如果它把作者的反对意见总结成支持意见，检查起来并不困难。相比随口问一个冷门知识，这种用法更容易看出模型到底帮了多少忙。
多模态模型还让截图、表格图片这样的输入进入了讨论范围。但支持图像输入，不能直接推导出每个小字都能识别清楚。要抄数字，最好逐项对照；要理解图表，得确认它有没有看错坐标和单位。图片上传成功，只完成了第一步。
本地运行也不会自动补齐模型不知道的事实。没有接入搜索或资料库，它就不能凭空知道刚发生的新闻；让它阅读文件，也需要应用真正把文件内容交给模型。电脑里存着一本书，跟模型已经读过这本书，中间仍然需要一个明确的读取过程。
本地 AI 吸引人的地方，在于处理方式可以更自主。如果推理应用确实在本机完成处理，也没有把输入发送给外部服务，那么整理私人草稿时就可以减少一次上传。离线场景也是类似的价值：提前准备好模型和软件，在没有网络的地方仍能做一部分文字工作。
这里需要检查的是整套应用。模型在本地，并不保证外壳软件没有云端回退、同步或其他联网功能。想知道内容去了哪里，得看设置和具体实现，不能只凭一个“本地”标签放心。
至于省钱，我反而觉得可以放在后面。下载模型、挑选版本、处理兼容问题、等待回复，都在消耗时间。已经有合适设备，又有持续的离线需求，本地部署可能很合适；只是偶尔改一封邮件，为此研究一整晚，收益就未必有想象中大。
评估时，我会先挑几项自己每周都会做的任务，留下原始材料，用同样的要求反复试。检查有没有编造内容、格式能不能直接用、修正答案要花多久。最后再把等待和修改的时间加起来，跟自己手动做一次比较。
如果模型十秒钟生成了答案，我又花十分钟纠错，这个速度数字就没那么重要。反过来，即使它不擅长聊天，只要能稳定处理一类重复工作，也足够在电脑里占一个位置。
小模型的发展，让个人电脑多了一种值得尝试的用途。它未必能包办复杂问题，却可能慢慢变成编辑器、笔记软件或文件工具里的一项日常能力。
我更想看到的是，下一次需要整理一页乱糟糟的笔记时，电脑能在旁边安静地帮上一小会儿。任务完成，内容核对过，继续做自己的事。这样的进步已经很实在了。
评论
还没有评论，来说点什么吧。