Hands-on LLMs：免费构建金融顾问大模型系统的实战课程

图1：Hands-on LLMs 课程系统架构总览（训练、流处理、推理三大Pipeline）

想象一下这样的场景：你是一名金融分析师，每天要花大量时间翻阅财经新闻、研读研报，再结合客户持仓给出一对一建议。而现在，有一位"永不疲倦"的 AI 助手，能实时追踪全球金融资讯，结合你的专业模型给出精准建议——这正是 Hands-on LLMs 课程要教你从零构建的系统。

Hands-on LLMs 是由 Paul Iusztin、Pau Labarta Bajo（Real-World ML 社区创始人）和 Alexandru Razvant 三位 ML 工程师联合打造的开源课程，于 2023 年 6 月上线，至今已累计超过 3,400 颗 GitHub Stars、552 次 Fork，成为 LLM 应用教育领域最具影响力的实战项目之一。项目采用 MIT 许可证，完全免费开放源码。

背景：为什么你需要这门课

2023 年是 LLM 元年。ChatGPT 的爆发让无数开发者涌入 AI 赛道，但很快发现一个尴尬的现实：网上的教程要么太浅（调调 API 就完事），要么太深（从零手写论文复现），真正缺少的是一条"中间路径"——如何把 LLM 和 MLOps 工具链结合起来，构建一个能上线跑的生产级系统。

Paul Iusztin 团队瞄准这个痛点，选择了一个极具代表性的场景：金融顾问 AI。这个场景天然需要实时数据（RAG 检索最新财经新闻）、领域适配（微调模型理解金融术语）、监控可解释性（金融场景对准确性要求极高）——完美覆盖了 LLM 工程化的核心挑战。

核心概念：像一个工厂一样建造 AI 系统

如果把整个系统比作一家自动化工厂：

训练 Pipeline（工厂质检部门）：用金融问答数据微调模型，让基础 LLM 变成"金融专家"。采用 QLoRA 微调技术——给预训练大模型做"定向进修"，成本从数十万美元降到几百美元即可完成。依赖 Beam Serverless GPU + Comet ML 实验追踪。
流处理 Pipeline（情报收集部门）：7×24 小时从 Alpaca 实时获取财经新闻，通过 Bytewax 实时处理成向量，存入 Qdrant 向量数据库。就像给 AI 配备了一个永远最新的知识库，无需重新训练就能回答最新市场动态。
推理 Pipeline（客户服务前台）：整合 LangChain，把用户问题、向量检索结果、聊天历史组装成提示词，调用微调后的模型给出建议，Gradio 界面呈现给用户，全程自动记录到 Comet ML 监控面板。

核心技术栈详解

训练 Pipeline：QLoRA 微调 + Comet ML + Beam

训练模块采用 QLoRA（Quantized Low-Rank Adaptation） 技术，核心依赖包括：

transformers + peft + trl：HuggingFace 三件套，实现 LoRA/QLoRA 微调
bitsandbytes：4-bit 量化，大幅降低显存占用
accelerate：分布式训练加速
Comet ML：实验追踪和模型注册表，记录每一次训练的超参数、损失曲线，自动保存最优模型
Beam：无服务器 GPU 算力平台，无需自备 GPU，在云端完成训练

最小硬件需求：4 核 CPU + 14GB RAM + 10GB VRAM NVIDIA GPU。没有 GPU？课程专门讲解了如何部署到 Beam 的 Serverless GPU 实例上。

图2：训练 Pipeline 架构，通过 Beam Serverless GPU 运行 QLoRA 微调

流处理 Pipeline：Bytewax 实时流 + Qdrant 向量数据库

流处理模块使用 Bytewax——一个 Python 原生的实时流处理框架——来实现 7×24 小时的数据管道：

从 Alpaca API 实时拉取财经新闻（股票动态、宏观事件、公司财报等）
对新闻进行清洗、分块，调用 Embedding 模型转成向量
实时写入 Qdrant 向量数据库，支持毫秒级相似度检索

Bytewax 完全用 Python 编写，相比 Spark/Flink 生态，对 Python 开发者极其友好。该 Pipeline 通过 GitHub Actions CI/CD 自动部署到 AWS EC2 实例，实现了完全的 IaC 管理。

图3：流处理 Pipeline 架构，Bytewax 实时处理财经新闻并写入 Qdrant

推理 Pipeline：LangChain + Gradio + RAG

LangChain ^0.0.285：构建 LLM Chain，支持 RAG、聊天历史管理
Gradio：快速构建 Web 演示界面
Qdrant Client：连接向量数据库进行相似度检索
Comet LLM：LLMOps 监控，记录每一次推理的 Prompt 和 Response
Beam：承载 RESTful API 推理服务，支持高并发调用

上手门槛与学习路径

这门课并非零基础课程。课程要求学习者具备：

Python 3.10+ 编程能力
机器学习基础：理解监督学习、梯度下降等概念
基本的命令行和 Git 操作经验

课程提供视频讲座 + 配套文章 + 可运行源码三位一体的学习路径，每节课都有明确目标，理论配合代码演示。如果你是 AI 爱好者但没有技术背景，这门课可以让你直观感受 AI 系统的工程复杂度。

局限性与注意事项

第一，外部服务依赖较多。 Qdrant、Comet ML、Beam、Alpaca API、AWS，这五项服务都需要注册账号并配置 API Key，部分有使用成本，学习时需注意费用控制。

第二，课程已归档。 作者明确标注了"Remastered Course"——由于 LLM 领域发展太快，原有课程已归档，转而开发了新的 LLM Twin 课程。部分工具版本（如 LangChain ^0.0.285）可能需要适配更新。

第三，Python 版本锁定较严格。 三个子模块均要求 >=3.10,<3.11 或 >=3.10,<3.12，对 Python 3.13 等新版兼容性未知。

行业意义与学习价值

Hands-on LLMs 的成功代表了 2023-2024 年 AI 教育领域的趋势转变：从"调 API 入门"到"构建完整系统"的深化。它的三 Pipeline 设计几乎涵盖了一个 LLM 应用从数据处理、模型微调到部署监控的全生命周期，成为后续大量类似课程的参考模板。

3,400+ Stars 和 552 Forks 的比例（约 6:1）说明该项目不仅受关注，更有相当比例的开发者实际 Fork 并尝试运行，项目的可用性和代码质量得到了社区验证。

如果你想系统性地学习 LLM 工程化，这门课依然是目前最完整、最实战的免费资源之一。建议配合作者的新课程 LLM Twin 一起学习。