TurboFieldfare：在 8GB 内存的 MacBook 上跑 Gemma 4 26B

想象你是一名独立开发者，坐在咖啡馆里用一台 8GB 内存的 MacBook Air 写代码。想要跑一个 260 亿参数的大模型——以前这是痴人说梦，260 亿参数意味着至少需要 52GB 显存，没有 4 张 A100 你根本玩不起。但现在，TurboFieldfare 告诉你：只要一台 M2 MacBook，一个下午，你就能在本地跑起 Google 最新发布的 Gemma 4 26B-A4B。

故事：从"内存不够"到"2GB 预算"

TurboFieldfare 的诞生源于一个极具挑战性的工程问题：Gemma 4 26B 完整模型权重约 14.3GB，但大多数 Apple Silicon Mac 只有 8GB 到 24GB 统一内存。如果按传统方式把整个模型加载到内存里，别说 8GB 机器，连 24GB 机器都吃不消。

作者 drumih 的解决思路非常巧妙——不要把整个模型都装进内存，只装核心部分，模型权重按需从 SSD 流式加载。具体来说：运行时只需保持约 2GB 的共享核心（包括 1.35GB 的 Gemma 4 核心 + FP16 KV 缓存），生成每个 token 时再从 SSD 实时读取对应的 expert 权重（Expert 部分只参与 MoE 路由，约 1.7GB/s 的 SSD 读取带宽完全跟得上生成速度）。这种设计让模型在 8GB 机器上可行。

技术架构：纯 Swift + Metal，自研运行时

TurboFieldfare 是一个完全自研的 Swift + Metal LLM 推理运行时，与 MLX（苹果官方机器学习框架）和 llama.cpp 走了完全不同的路线。它不是任何框架的封装，而是从零构建，针对 Gemma 4 架构做了深度优化。

核心架构分层

TurboFieldfare 的代码库按职责清晰分层：

MoE 推理优化（核心创新）

Gemma 4 26B-A4B 是一个 Mixture-of-Experts (MoE) 模型，总参数 260 亿，但每个 token 只激活约 3.88 亿参数（top-48 routing 中选 2）。TurboFieldfare 充分利用这一特性：

• 流式 Expert 加载：每次生成 token 时，从 SSD 读取对应 2 个激活 Expert（约 1.7GB/s 的 NVMe 读取完全能跟上 GPU 计算速度）
• 分组量化：权重使用 MLX affine 4-bit（group 64）量化，路由器使用 8-bit，共享 Expert 和路由 Expert 均 4-bit
• Metal 4 并行计算：在 Apple Silicon GPU 上利用 Metal 4 的统一内存架构，CPU/GPU 共享同一块内存，减少拷贝开销

图片理解能力

除了文本推理，TurboFieldfare 还支持多模态图片理解，通过一个独立安装的 Vision Tower 实现。图片推理需要 M2 或更新芯片（M1 仅支持纯文本）。

上手体验：从零安装到生成第一个字

整个上手流程分三步：

1. 克隆构建：git clone && swift build -c release && .build/release/TurboFieldfareMac
2. 下载模型：首次启动会自动从 HuggingFace 流式下载约 15GB 的模型数据（不经过完整 checkpoint，直接重组为 .gturbo 格式，节省磁盘空间）
3. 开始生成：点击 Load Model，输入提示词，按 Generate

性能方面，实测数据：

• M2 MacBook Air（8GB）：5.1–6.3 tok/s
• M5 Pro（24GB）：31–35 tok/s

生成质量由 Gemma 4 26B-A4B 本身决定，TurboFieldfare 只负责高效执行推理。

局限与挑战

1. 平台锁定：macOS 26 + Metal 4 + Swift 6.2 三重门槛，当前只有苹果平台可用
2. 内存敏感：在 8GB 机器上推理虽然能跑，但 2GB KV 缓存大小已是最优平衡，复杂长文档场景可能受限
3. 模型单一：目前只针对 Gemma 4 26B-A4B 优化，不支持切换其他模型（这是有意为之的 design choice，专注于最优而非泛化）
4. macOS 26 未发布：截至 2026 年 9 月，macOS 26 尚未正式发布，当前需要开发者预览版

行业意义

TurboFieldfare 代表了一个重要趋势：端侧大模型推理的工程极限探索。随着 Google 的 Gemma 4 发布，MoE 架构正式进入开源 20B+ 参数区间，而 TurboFieldfare 则证明了 MoE + Apple Silicon 的组合在工程上是可行的。它不是最通用的方案，但在"在 Apple Silicon Mac 上高效跑 Gemma 4"这个具体场景里，它是目前最深入、最工程化的答案。