time-to-first-token
patchy631/time-to-first-token加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
想象这样一个场景：你已经能徒手实现Transformer架构，能在PyTorch里写注意力机制，能背诵FlashAttention三篇论文的贡献——但当老板扔来一句"把7B模型部署成OpenAI兼容API，支持1000并发，TTFT控制在500ms以内"时，你发现自己的知识版图上，推理服务化这一块是空白的。
这不是个例。这是大多数AI研究者和工程师共同面临的"最后一公里"困境：学术界擅长训练和模型创新，工业界关心的是稳定、成本可控、可观测的推理服务。两者之间隔着一整条工具链和工程实践，而市面上的资料，要么是论文里的理想假设，要么是博客里的碎片经验，缺乏一条系统化的学习路径。
patchy631/time-to-first-token正是为解决这个问题而生。它不教你训练模型，而是用10周时间、每天30分钟，手把手带你从零构建一个生产级的LLM推理服务，涵盖vLLM、SGLang、量化推理、投机解码、K8s部署、成本路由等全套技能栈。
2024年之后，大模型推理的成本问题已经从"边缘挑战"升级为"核心矛盾"。以GPT-4级别的服务为例，推理成本占整体运营成本的60-80%，远超训练成本。一个推理效率10%的提升，带来的成本节省可能超过模型精度1%的提升。
vLLM团队在2023年SOSP发表PagedAttention论文，将KV内存浪费从60-80%降到4%以下，引发了推理引擎的军备竞赛。SGLang的RadixAttention在多轮对话场景下实现5倍吞吐量提升。Character.AI通过INT8量化、激活值量化和KV共享，将推理成本压缩了33倍。这些数字背后是一套完整的工程体系——而这套体系在学校里几乎不教。
这个项目的作者patchy631正是看到了这个技能缺口。他的目标用户画像非常清晰：具备Python和Transformer基础，但缺乏生产环境服务化经验的工程师。项目创建于2026年8月2日，短短一周多时间便积累了367颗星，增速惊人。
如果说训练模型是"造车"，那么推理服务化就是"建公路+停车场+红绿灯+收费系统"。你可以在工厂里把车造得很漂亮，但如果没有配套基础设施，车只能停在车库里。
这个项目的核心思路是：不要分散地做实验，而要围绕同一个工件持续迭代。50个session的产出都汇聚到同一个OpenAI兼容推理服务上——你不断为它添加监控仪表盘、做压测、优化量化配置、接成本路由。10周后，你手里有一个真实的、可演示的、包含完整工程细节的推理服务栈，而不是一堆孤立的实验脚本。
这个路线图最值得关注的设计决策是：测量基础设施建设(Week 3和Week 5)排在所有优化手段(Week 6-9)之前。作者明确指出"Nothing after them is verifiable without them"——没有可观测性，量化优化就是盲人摸象；没有压测基础设施，benchmark就是自欺欺人。这种"先建仪表盘，再调引擎"的理念，是工程项目中最重要的纪律之一。
第一周不写代码。核心是理解Roofline模型：为什么decode阶段是memory-bandwidth-bound（内存带宽受限），而prefill阶段是compute-bound（计算受限）？这个区别为什么决定了后续所有优化的方向？
关键资料包括Horace He的经典博文《Making Deep Learning Go Brrrr》、Stanford CS336的GPU架构lecture，以及kipply的《Transformer Inference Arithmetic》。这周的核心交付物是：你为要部署的模型手算出自己的arithmetic intensity数值，并准确说出decode阶段属于哪种瓶颈。
为什么这周重要：没有这个模型，量化和连续批处理都是"调参玄学"。有了这个模型，每个优化决策都有清晰的物理含义。
第二周正式进入实战。先用vLLM部署Llama-3.1-8B-Instruct或Qwen2.5-7B，得到一个OpenAI兼容的HTTP接口。然后深入vLLM源码，重点读PagedAttention的block manager和V1 scheduler。
作者要求读者能够用三句话解释一个请求的blocks如何被查找，如果做不到就重读。这不是泛读，而是精读——直到能从代码层面解释为什么内存浪费降到4%以下，以及GPU为什么不再在请求之间空转。
第三周是"建仪表盘"：用Prometheus+Grafana采集TTFT（Time To First Token，首token时间）、inter-token latency（token间延迟）、throughput（吞吐）、queue depth（队列深度）。关键要求是在Week 5压测之前就把监控跑通，而不是在压测出问题后再临时加监控。
参考vLLM metrics设计文档、NVIDIA基准测试方法论和Modal的benchmark指南。每加一个图表盘之前，必须先写出这个指标的定义。
对比学习是这周的核心：vLLM用固定大小的PagedAttention blocks，SGLang用树结构的RadixAttention实现KV缓存的前缀共享。在完全相同的硬件、相同的prompt下，分别部署两个引擎，观察prefix-heavy工作负载下的吞吐量差距。
这个对比的价值不在于选哪个引擎，而在于理解两种设计哲学的本质权衡：固定块管理简单但前缀共享效率低，树结构高效但调度复杂。在Week 9的成本路由中，这种理解会转化为具体的路由策略。
这是第一个"必须租H100"的session（另外Week 8的PD分离也需H100）。目标是构建一个可重复的压测工具链：GuideLLM+vllm bench serve+genai-perf三个工具交叉验证，覆盖从同步基线到饱和点的完整请求率扫描。
核心学习点：不要在单一并发级别测试，而是扫描请求率找到吞吐饱和点和延迟劣化点——那个"膝盖"(knee)才是唯一有意义的数据点。在饱和点测试的数据没有参考价值。
终于到了第一个"优化旋钮"。学习MIT 6.5940的量化lecture（Song Han授课），理解AWQ、GPTQ、SmoothQuant的适用场景差异，然后在vLLM上实际部署FP8和INT4/AWQ变体，对比throughput和perplexity（困惑度）。
关键原则：INT4如果在质量代理上损失超过1-2%，就保留FP16或FP8。量化是内存压力工具，不是吞吐量默认值。
两个"概念广为人知但实现细节不透明"的技术。投机解码在vLLM上实现，用小模型做draft、主力模型做verify，在QPS=1时可达2.8倍加速，但高QPS时反而减速——交叉点是关键发现，不是加速倍数。
StreamingLLM和KV eviction针对长上下文场景。StreamingLLM通过attention sink机制，在4M token上下文中保持稳定，推理速度比滑动窗口重计算快22倍。
Prefill和Decode的不对称性（prefill计算密集、decode内存带宽密集）终于演变为架构决策。DistServe、Splitwise（微软）、Mooncake（Kimi）和vLLM PD分离各自用不同方式实现这个拆分。
生产部署部分用vLLM production-stack Helm charts，强调用队列深度而非CPU利用率驱动自动扩缩容——CPU作为GPU服务的扩缩容信号是常见错误，这周的内容就是专门纠正这个错误。
这是整个路线图从"技术"到"工程"的转折点：把GPU小时成本换算成每百万token成本，理解utilization（利用率）而非价格才是成本驱动因素。参考Character.AI的33倍成本压缩案例，看他们如何通过INT8、激活值量化、KV共享和多查询注意力实现。
交付物是一个成本感知的路由服务：根据cost、latency和quality选择后端，并在Prometheus中记录每条路径的成本。这个路由器的价值是把财务约束变成代码约束。
最终交付物是一个可复现的benchmark仓库，包含：精确的软硬件配置、固定长度的输入输出token长度、p50/p95/p99的TTFT和ITL数据、吞吐饱和曲线，以及pinned版本和可精确复现的命令。
同时建立持续学习的机制：每周扫描arXiv cs.DC、MLSys、OSDI，精确阅读一篇论文的abstract+method figure+evaluation，不贪多，保持节奏。
index.html提供了一个极简的浏览器端进度追踪器：勾选完成的session，状态保存在localStorage，无账户、无服务端、跨设备通过12字符URL code或JSON文件同步。README中详细解释了为什么不用数据库：ephemeral文件系统带来的复杂度远超这个简单方案的价值。
1. 这是学习项目，不是代码项目：虽然涉及vLLM和SGLang，但本仓库本身只有4个文件，没有一行可部署代码。如果你想直接运行一个demo，这个项目不适合。
2. 语言标注存在误导：主要语言被标注为HTML，但实质内容是Markdown学习路线图，index.html只是前端进度追踪工具。
3. 视频内容可能失效：vLLM博客URL格式变化、MIT 6.5940 2025年秋季未开课——这些链接维护需要持续跟进。
这个项目代表了AI领域一个重要趋势：推理服务化正在从"隐性知识"变成"显性课程"。2023年之前，LLaMA的推理优化只在小圈子里流传；2024年之后，vLLM博客、OSDI/NeurIPS论文和LMSYS的工程博客共同构成了一个知识体系，而这个项目是第一个系统化整理这些知识的路线图。
从增长数据看，该项目2026年8月2日创建，8天内获得367颗星，Topics标签（llm-inference、mlops、roadmap、sglang、vllm）精准对应了当前AI工程领域的核心技能需求。
10周学习路线的设计逻辑（测量先于优化、单一工件持续迭代、跨引擎对比而非孤立实验）实际上反映的是MLOps工程思维的核心：可重复、可测量、可优化。这套思维框架的价值远超任何具体工具的使用技巧。