动手学 Ollama：让每一位普通人都能在 CPU 上跑起大模型

想象这样一个场景： 你是一名乡镇中学的数学老师，想用大模型帮学生出个性化练习题，但学校没有 GPU 服务器；或者你是一名独立开发者，想在客户的个人电脑上演示 AI 助手，却不确定对方的显卡型号。传统的开源大模型部署教程往往上来就要求"一块 RTX 3090"，这让无数对大模型充满热情却受限于硬件条件的学习者望而却步。

Datawhale 的 handy-ollama 正是为解决这个痛点而生——它告诉你：大模型不需要 GPU，用你手边的普通电脑，一样能跑。

Ollama 各平台安装概览

图1：Ollama 支持 macOS、Windows、Linux、Docker 全平台，门槛极低

一、项目起源：打破 GPU 霸权的教育理想

2024年起，大模型技术以惊人的速度渗透各行各业，但大模型的本地部署一直是"少数有显卡的人的游戏"。Ollama 的出现改变了这一格局——它将大语言模型的本地推理能力封装成一条命令，ollama run llama3 即可在 CPU 上运行强大的开源模型。

Datawhale（著名开源学习组织）敏锐地捕捉到了这一趋势，发起了 handy-ollama 项目。项目于 2025 年 11 月正式被 Ollama 官方仓库收录，位列 Tutorial 章节——这是目前 Ollama 官方唯一收录的完整教程，收录链接：github.com/ollama/ollama#tutorial。

项目的核心理念极具人文关怀：每一位对大模型充满热情的学习者，都应该有机会探索和实践。无论你的编程语言背景如何，无论你的计算资源如何。

二、零基础科普：Ollama 是什么？

如果把大模型比作一台超级跑车，Ollama 就是那把不需要钥匙的启动开关。

通常情况下，将开源模型（如 Llama、Qwen、Mistral）部署到本地，需要手动下载权重文件、配置推理服务、处理依赖兼容——这对非 AI 专业的开发者来说门槛不低。Ollama 将这一切封装成极致简单的体验：

# 安装（macOS/Linux 一条命令）
curl -fsSL https://ollama.com/install.sh | sh

# 运行模型
ollama run llama3.2

3 条命令，5 分钟，你的 MacBook 或普通 PC 就能和一个参数量达数十亿的大模型对话。Ollama 内部自动处理了模型权重的下载管理、推理引擎的优化配置、以及 API 接口的暴露，真正做到了"开箱即用"。

三、项目内容：从入门到实战的全套教程

handy-ollama 不仅仅是安装指南，它是一套完整的工程实践教程，涵盖 7 个章节：

第一章：安装与配置

覆盖 Ollama 在 macOS、Windows、Linux 和 Docker 环境下的完整安装流程。教程用大量截图详细说明每一步操作，即使是从未用过命令行的文科背景学习者也能顺利完成安装。

Ollama Windows 安装截图

图2：教程配备详尽截图，手把手指导各平台安装

第二章：自定义模型导入（核心难点）

这是本教程最具技术深度的部分，涵盖四种模型导入方式：

GGUF 格式导入：最常用的自定义模型方式，GGUF 是专为本地推理优化的量化格式，支持 Q2_K、Q4_0_M、Q5_K_M 等多种精度级别，在性能和体积间灵活权衡；
Safetensors 导入：PyTorch 原生格式的模型权重导入；
直接导入：HuggingFace 格式模型的直接加载；
自定义 Prompt：为模型预设系统提示词，实现角色扮演或特定任务定制。

第三章：REST API 调用

Ollama 暴露了完整的 RESTful API，handy-ollama 提供了 Python、Java、JavaScript、C++、Golang 等多种语言的调用示例，真正做到"Ollama 不仅是 Python 开发者的工具"。

第四章：LangChain 集成

展示了如何在 Python 和 JavaScript 中将 Ollama 作为 LangChain 的 LLM 后端使用，这是构建 RAG（检索增强生成）和 Agent（智能体）应用的基础。

LangChain Python 集成示例

图3：LangChain + Ollama 集成示例代码截图

第五章：可视化界面部署

使用 FastAPI + WebUI 部署本地对话界面，让非技术用户也能通过浏览器与本地大模型交互。

第六章：RAG 与 Agent 实战

这是最具生产价值的章节，提供了完整的 RAG（检索增强生成）和 Agent（智能体）应用示例：

LangChain RAG：基于向量数据库的文档问答系统；
LlamaIndex RAG：另一种主流 RAG 框架的集成方案；
LangChain Agent：让模型具备调用工具、执行多步任务的能力；
DeepSeek R1 RAG：针对推理能力强大的 DeepSeek R1 模型的 RAG 实践。

RAG 应用架构图

图4：RAG 应用典型架构，从文档切分到向量检索到生成回答的完整流程

四、技术架构分析

从代码结构看，handy-ollama 是一个典型的教育型多语言代码库：

维度	分析结论
主要语言	Jupyter Notebook（Python 为主）、少量 Java/JavaScript/Golang/C++
架构类型	教程型线性结构，按章节递进，无复杂工程依赖
文档格式	Markdown 文档 + Jupyter Notebook 源码 + GitBook 在线阅读
许可证	CC BY-NC-SA 4.0（仅限非商业学习用途）
AI 框架	Ollama（底层推理）、LangChain（应用编排）、LlamaIndex（RAG 框架）

值得注意的是，作为一个纯教程项目，它不提供 Docker 容器化或一键部署脚本——因为教程的目标本身就是教会用户手动完成每一步，而非提供一个黑盒工具。

五、争议与局限

handy-ollama 的定位是教程而非产品，这既是优势也有局限：

CPU 推理的性能天花板：Ollama 在 CPU 上运行大模型虽然可行，但对于 7B 以上参数量的模型，单次推理延迟可能在数秒到数十秒之间，不适合对实时性要求高的生产场景。这更多是 Ollama 本身的限制，而非教程的问题。
CC BY-NC-SA 许可证的约束：该许可证禁止商业使用，项目代码和文档不能被企业直接集成到商业产品中。商业场景下，建议直接参考 Ollama 官方文档自行实现。
在线阅读依赖 GitBook：部分学习者可能偏好完全离线使用，需要自行 clone 仓库到本地。

六、行业意义与前景

handy-ollama 的出现标志着大模型民主化进程的一个重要节点：从"需要高端 GPU 才能玩大模型"到"普通电脑即可部署本地大模型"，这把技术门槛的门槛从专业工程师群体，降低到了所有有学习意愿的普通人。

项目被 Ollama 官方收录，意味着它获得了来自 Ollama 核心团队的认可，这将持续吸引新的学习者加入。Datawhale 作为国内最具影响力的 AI 学习社区之一，持续维护该项目并接受社区贡献，形成了一个活跃的学习者生态。

对于想要快速入门大模型部署的开发者、想要在教学中引入 AI 工具的教师、以及想要探索本地 AI 的技术爱好者而言，handy-ollama 都是一个不可多得的起点——它不是告诉你"大模型很强大"，而是手把手教你"你自己就能跑起大模型"。