搜索
苹果在 macOS 27 预装的 fm 命令行中提供免费的 Apple Foundation Model 端侧模型，但中国大陆购买的 Mac 目前不支持 Apple 智能，仍无法调用。
本周五，AI 社区热烈讨论的是一个端侧大模型部署技术，它能让笔记本 RTX 4060 跑 Qwen 3.6-35B，桌面 RTX 5090 跑得起 DeepSeek-V4-Flash 284B。而且都是单卡，模型都是满血的。Codex 生产 trace 的中位 decode 速度是 33 token/s
27B正在成为本地AI的新选择。
两年后，Fable 5 级 AI，可能就躺在你的笔记本里。就在昨天，全球最大的本地大模型社区r/LocalLLaMA，一张图刷屏了整个AI圈——标题简单粗暴：如果趋势持续，Mythos级能力可能在2年内运行在高端消费级硬件上。
有个31B参数的大模型，正常需要80GB显存才能跑。但现在，24GB显存就能跑满血版。这个版本叫Gemma-4-31B-JANG_4M-CRACK——"CRACK"这个词不要理解歪了，它本质是量化压缩加上对齐微调之后的部署版本，不是什么黑客攻击，就是工程优化。24GB，MacBook Pro，直接跑。苹果用户优先优化，MLX原生支持，月下载13000次。
上次给大家分享了一个 CUA 的开源项目，能让 AI Agent 直接操控电脑界面，相当于把任何 App 都变成 Agent 的 Skill。反响还不错。
Factory 发布桌面端应用，让自治 AI 代理（Droids）直接在你的电脑上操控 VS Code、浏览器、终端和 Excel——官方原话是「像你一样操作你的电脑」。多代理并行、持久化机器、本地模型部署一步到位，官方称企业团队采用速度翻倍、会话量暴涨 4.6 倍。发布推文 21 万人围观，近 900 人点赞。
在近一年里，Agentic System（代理系统/智能体系统）正变得无处不在。从Open AI的Deep Research到Claude Code，我们看到越来越多的系统不再依赖单一模型，而是通过多模型协作来完成复杂的长窗口任务。
Emory大学的研究团队提出了一种创新的方法，将大语言模型（LLM）在文本图（Text-Attributed Graph, 缩写为TAG）学习中的强大能力蒸馏到本地模型中，以应对文本图学习中的数据稀缺、隐私保护和成本问题。通过训练一个解释器模型来理解LLM的推理过程，并对学生模型进行对齐优化，在多个数据集上实现了显著的性能提升，平均提高了6.2%。
最近，这张号称「或许是2024年最重要的AI图之一」的图开始热转，可以看到，开源本地模型，已经取代了大规模、基于云的昂贵封闭模型，这种转变令人兴奋、着迷。