/images/avatar.png

Edge AI 部署:让 LLM 跑在设备上

Edge AI 就是设备端跑 LLM,数据不出本机,也没有 API 账单。3B–7B 的 Q4 量化已经能在 iPhone 15 Pro、MacBook M3 这类机器上出 token。Ollama 是最快的入口;Apple Silicon 用 MLX,跨平台用 llama.cpp。适合离线草稿和隐私敏感查询,不适合当成云端大模型的平替。

2026 年初 Edge AI 已经可用了。

iPhone 15 Pro + 3B Q4 模型,日常简单任务够用。Mac Studio 可以跑 13B 模型,大多数场景媲美云端 API。