编程导航教程

首页

AI Infra 大模型推理工程师学习路线 | 26年最新零基础到精通一条龙(万人收藏⭐️)

2026-11-20 16:03
阅读 15
评论
问答
笔记
0个评论
点击登录,快来和大家讨论吧~
表情
图片
暂无评论
大纲
    0

    编程导航学习网站:学编程、做项目、拿 Offer!

    企业高频面试题库:开始刷题,面试遇原题!

    精选简历模板大全:1 分钟搞定简历!

    AI 资源导航网站:获取最新 AI 黑科技!

    1 对 1 模拟面试:随时随地提升面试能力

    AI 大模型应用开发求职高频面试题:开始刷题

    ⭐️ 推荐先观看 鱼皮的保姆级 AI 指南视频,快速掌握程序员必知必会的 AI 概念、AI 工具、AI 开发技术、AI 编程技巧。

    开篇介绍

    当你在 DeepSeek 里输入一个问题,几百毫秒后答案就开始一个字一个字地蹦出来,同一时刻可能有几百万人在做同样的事情。是谁让一个几千亿参数的模型,能够同时服务这么多用户,而且又快又便宜?答案就是 AI Infra(AI 基础设施)工程师,尤其是其中负责推理的那一部分人。

    如果说 AI 应用开发工程师关心的是 “怎么用好模型”,那么 AI Infra 推理工程师关心的就是 “怎么让模型跑得更快、更省、更稳”。他们的工作成果不是模型的准确率,而是几个非常硬核的系统指标,比如首个 Token 的返回延迟、每秒能生成多少 Token、每生成一百万个 Token 要花多少钱、高峰期会不会超时和崩溃。

    为什么现在要关注这个方向?有三个原因。

    第一,推理需求正在爆炸式增长。Agent 的普及让每个任务消耗的 Token 数量成倍增加,一个 Coding Agent 跑一次任务,可能就要消耗几十万甚至上百万个 Token,推理成本已经成为 AI 公司最大的开支之一。谁能把推理成本降低一半,谁就能在价格战中占据优势。

    第二,开源模型让私有化部署成为刚需。DeepSeek、Qwen、Kimi、GLM 等国产开源模型的能力已经非常强,越来越多的企业选择在自己的机房里部署模型,这就需要大量懂推理部署和优化的工程师。

    第三,这个岗位的门槛高、竞争相对小、薪资高。根据脉脉的人才报告,AI 技术底座类岗位占到了全部 AI 岗位的四分之一左右。和 AI 应用开发相比,推理优化需要扎实的系统功底和 GPU 知识,能做的人少,所以议价空间很大。

    如果你是一名对性能优化、底层原理感兴趣的后端或 C++ 开发者,那么 AI Infra 很可能是最适合你的 AI 转型方向。

    学习路线图

    ▼
    mermaid
    复制代码
    graph LR A[编程和系统基础] --> B[深度学习和 Transformer] B --> C[大模型推理原理] C --> D[推理引擎实战] D --> E[推理服务化和平台] C --> F[GPU 编程和算子优化] F --> E E --> G[项目实战和求职]

    每个阶段要掌握的知识点,可以看下面这张完整的思维导图:

    AI Infra 大模型推理工程师学习路线思维导图

    就业方向

    AI Infra 是一个很大的领域,推理只是其中的一部分。如果你想从事下面这几类岗位,都可以沿着这份路线入门。

    1. 推理服务研发工程师:基于 vLLM、SGLang 等引擎搭建高并发、低延迟的推理服务,负责请求调度、弹性扩缩容和监控,对后端开发者最友好
    2. 推理引擎开发工程师:深入推理框架的源码做二次开发和性能优化,比如改进调度策略、KV Cache 管理、投机解码等
    3. 算子和 Kernel 优化工程师:用 CUDA、Triton 等编写和优化 Attention、矩阵乘法、MoE 等核心算子,对硬件知识要求最高
    4. 训练 Infra 工程师:负责大规模分布式训练框架的优化和稳定性,比如 Megatron-LM、DeepSpeed、强化学习训练框架 verl
    5. GPU 集群平台工程师:负责 GPU 资源调度、多租户管理、存储和网络优化,更偏云原生和运维
    6. 国产芯片适配工程师:把模型和推理框架适配到昇腾等国产 AI 芯片上,是国内的特色方向,需求量不小

    整体学习建议

    1)先跑通,再读代码,再读论文,最后再造轮子。这是很多 AI Infra 前辈总结出来的学习顺序。不要一上来就啃 PagedAttention 的论文,而是先用 vLLM 把一个模型部署起来,压测一下看看指标,然后带着问题去读源码,最后再去看论文理解设计思想。

    2)一切优化都要用数据说话。AI Infra 是一个极度依赖测量的领域,没有前后对比数据的优化就是在猜。所以从第一天开始,就要养成做 Benchmark、记录实验条件、写性能报告的习惯。

    3)GPU 资源不用自己买。很多同学担心学 AI Infra 必须有昂贵的显卡,其实大部分实验在 AutoDL 等云平台上按小时租用 GPU 就能完成,一张 24G 显存的卡每小时只要几块钱。前期学习原理时,甚至用 CPU 跑小模型就够了。

    4)善用 AI 编程工具读源码。vLLM、SGLang 这些项目的代码量都很大,直接硬啃效率很低。可以让 Cursor 或 Claude Code 帮你梳理调用链路、画架构图、解释某个模块的作用,阅读效率能提升好几倍。

    ⏰ 对于有一定 Python 或 C++ 基础的同学,走完推理方向的主线大约需要 3 到 5 个月,如果要深入算子优化,还需要额外 2 到 3 个月(仅供参考)。

    阶段 1:编程和系统基础(30 - 60 天,仅供参考)

    AI Infra 本质上是系统工程,所以我们从编程和计算机系统的基础开始。

    目标

    熟练掌握 Python 和 C++,具备扎实的操作系统、计算机体系结构和网络基础,能够在 Linux 环境下独立完成开发、调试和部署。

    知识点

    编程语言【必学】

    • Python:推理框架的调度和编排逻辑大多用 Python 编写,要理解 GIL、asyncio 异步编程,以及用 pybind11 连接 Python 和 C++
    • C++:性能敏感的路径和 CUDA 编程都需要 C++,重点掌握内存管理、多线程、模板
    • Go【建议学】:很多推理网关和平台层的服务用 Go 编写

    计算机基础【必学】

    • 操作系统:进程和线程、内存管理、虚拟内存和分页(理解 PagedAttention 的基础)
    • 计算机体系结构:CPU 缓存、内存带宽、并行计算的基本概念
    • 计算机网络:TCP、HTTP、RPC,以及 RDMA 和 InfiniBand 的基本概念【建议学】
    • 数据结构和算法:特别是哈希表、前缀树(理解前缀缓存的基础)、调度算法,以及面试常考的 LRU 缓存、一致性哈希、限流器

    工程工具【必学】

    • Linux 命令行和性能分析工具:top、htop、nvidia-smi、perf
    • Docker 容器化部署
    • Kubernetes【建议学】
    • Git 和 CMake 构建工具

    学习建议

    1)AI Infra 本质上是 “系统工程”,所以计算机基础知识非常重要,特别是操作系统的内存管理。vLLM 最核心的 PagedAttention 技术,就是借鉴了操作系统虚拟内存分页的思想。如果你理解了分页、页表和写时复制,再去学 PagedAttention 会非常轻松。

    2)C++ 不需要一开始就学得很深,能看懂代码、写出基本的多线程程序即可,等进入 CUDA 编程阶段再针对性地深入。

    学习资源

    • ⭐ C++ 学习路线:鱼皮整理的 C++ 完整学习路线
    • ⭐ 操作系统学习路线:重点学习内存管理和进程调度
    • Python 学习路线:鱼皮整理的 Python 完整学习路线
    • 计算机网络学习路线:网络基础知识
    • Kubernetes 学习路线:推理服务大规模部署的基础
    • Linux 服务器学习路线:服务器运维和性能分析

    阶段 2:深度学习和 Transformer(20 - 30 天,仅供参考)

    要优化模型的推理,首先得知道模型在推理时到底做了什么。所以接下来要补充深度学习和 Transformer 的知识。

    目标

    掌握 PyTorch 的基本使用,理解 Transformer 和 Decoder-only 大模型的结构,能够手写一个简化版的 GPT 并完成推理。

    知识点

    深度学习基础【必学】

    • 神经网络、前向传播、反向传播、损失函数和优化器
    • PyTorch:张量操作、自动求导、模型定义、显存管理
    • 数值精度:FP32、FP16、BF16、FP8 的区别和使用场景

    Transformer 架构【必学】

    • 自注意力机制和多头注意力
    • 位置编码:绝对位置编码、RoPE 旋转位置编码
    • Decoder-only 架构:GPT、Llama、Qwen 等模型的通用结构
    • 注意力变体:MHA、MQA、GQA、MLA(DeepSeek 提出的多头潜在注意力)
    • MoE 混合专家架构:路由机制、专家并行

    大模型推理基础【必学】

    • 分词器(Tokenizer)的作用和原理
    • 自回归生成:为什么大模型只能一个 Token 一个 Token 地生成
    • 解码策略:贪心解码、Top-K、Top-P、温度采样
    • 模型权重的存储格式:safetensors、GGUF

    学习建议

    1)这个阶段的重点是 “理解推理过程中到底发生了什么”,而不是成为算法专家。建议跟着 Karpathy 的 nanoGPT 或者《Build a Large Language Model (From Scratch)》亲手实现一个小型 GPT,再手写一个最简单的生成循环。当你亲手实现过 KV Cache 之后,后面再学习推理优化时就会有非常直观的理解。

    2)一定要学会计算模型的显存占用。比如一个 70 亿参数的模型用 BF16 精度存储,权重就需要大约 14GB 显存,再加上 KV Cache 和激活值,一张 24GB 的显卡能同时服务多少个请求?这类计算是面试中的高频问题,也是做容量规划的基础。

    3)如果你想系统地补充深度学习基础,可以查看 深度学习学习路线。

    经典面试题

    1. 聊一聊 Transformer 的架构和基本原理
    2. Transformer 的哪个部分最占用显存?
    3. MHA、MQA、GQA 有什么区别?它们对推理性能有什么影响?
    4. 一个 70B 参数的模型,用 FP16 和 INT4 部署分别需要多少显存?
    5. MoE 模型为什么参数量很大,推理成本却相对较低?

    学习资源

    • ⭐ 尚硅谷深度学习教程:内容系统全面,带你零基础学习 PyTorch 和神经网络
    • ⭐ Build a Large Language Model (From Scratch):从零实现类 GPT 模型的经典开源教程
    • Datawhale Happy-LLM:从零搭建和训练一个大模型
    • Karpathy 的 nanochat:从零训练一个能对话的小模型,代码简洁易读
    • 图解 Transformer:最经典的 Transformer 图解文章
    • 深度学习学习路线:系统补充深度学习知识

    阶段 3:大模型推理原理(20 - 30 天,仅供参考)

    理解了模型的结构之后,就进入了整条路线的核心部分,也就是大模型推理的性能瓶颈和优化原理。

    目标

    深入理解大模型推理的性能瓶颈,掌握 KV Cache、批处理、量化、并行、投机解码等核心优化技术的原理,能够分析和解释推理系统的各项性能指标。

    知识点

    推理的两个阶段【必学】

    • Prefill 阶段:一次性处理所有输入 Token,属于计算密集型
    • Decode 阶段:每次只生成一个 Token,属于访存密集型
    • Roofline 模型:判断一个操作的瓶颈是算力还是显存带宽

    核心性能指标【必学】

    • TTFT:从发出请求到返回第一个 Token 的时间
    • TPOT / ITL:相邻两个输出 Token 之间的间隔
    • 吞吐量:每秒生成的 Token 数量
    • Goodput:满足延迟要求的有效吞吐量
    • P50 / P99 延迟:关注长尾请求的体验

    显存和 KV Cache 优化【必学】

    • KV Cache 的原理和显存占用计算
    • PagedAttention:借鉴操作系统分页思想,解决 KV Cache 的显存碎片问题
    • 前缀缓存(Prefix Caching)和 RadixAttention:复用相同前缀的计算结果
    • KV Cache 量化和卸载(Offload)

    批处理和调度【必学】

    • 静态批处理和连续批处理(Continuous Batching)
    • 分块预填充(Chunked Prefill):避免长输入阻塞其他请求
    • 请求抢占(Preemption)和调度策略

    模型压缩【必学】

    • 量化:INT8、INT4、FP8,权重量化和激活量化
    • 主流量化算法:GPTQ、AWQ、SmoothQuant
    • 新一代低精度格式:NVFP4、MXFP4 等 FP4 格式【建议学】
    • 量化对模型效果的影响和评估方法

    并行策略【必学】

    • 张量并行(TP)、流水线并行(PP)、数据并行(DP)、专家并行(EP)
    • 序列并行和上下文并行:处理超长上下文【建议学】
    • 不同并行策略的通信开销和适用场景

    高级优化【建议学】

    • 投机解码(Speculative Decoding):用小模型 “猜”、大模型 “验”,以及 EAGLE、MTP 多 Token 预测
    • PD 分离(Prefill-Decode Disaggregation):把两个阶段放到不同的机器上执行,以及 Mooncake、LMCache 等 KV Cache 跨机传输和存储方案
    • CUDA Graph:减少 Kernel 启动的开销
    • 长上下文推理优化

    学习建议

    1)Prefill 和 Decode 的区别是整个推理优化领域的 “第一性原理”。几乎所有的优化技术,都是在针对这两个阶段不同的瓶颈做文章。比如连续批处理是为了提高 Decode 阶段的 GPU 利用率,分块预填充是为了平衡两个阶段的资源争抢,PD 分离则是干脆把它们拆开分别优化。理解了这一点,你就能把所有的优化技术串成一个完整的知识体系。

    我画了一张图来对比这两个阶段。Prefill 一次性吃下全部输入,GPU 算力被充分利用;Decode 每次只生成一个 Token,大部分时间都在从显存里搬运权重和 KV Cache。

    Prefill 和 Decode 阶段对比图,Prefill 阶段一次处理全部输入,属于计算密集;Decode 阶段每次只生成一个 Token,属于访存密集。

    连续批处理的思路可以对照下面这张图来理解。静态批处理要等整批请求全部结束才能接新请求,短请求结束后留下大段空等;连续批处理则在每一步都把新请求补进来,让 GPU 一直保持忙碌。

    静态批处理和连续批处理对比图,静态批处理中短请求结束后 GPU 空等,连续批处理让新请求随时加入,GPU 始终满载。

    2)这个阶段建议结合论文学习。PagedAttention(vLLM)、RadixAttention(SGLang)、FlashAttention、投机解码、DistServe(PD 分离)这几篇论文是 AI Infra 面试的 “必考题”,至少要能讲清楚它们解决了什么问题、核心思想是什么、有什么代价。

    以 PagedAttention 为例,把它的核心思想画出来就是这样。传统做法要给每个请求预留一整块连续显存,没用完的部分全都浪费;PagedAttention 像操作系统管理内存一样,把 KV Cache 划分成固定大小的块,按需分配,再用块表记录位置。

    PagedAttention 示意图,左侧连续分配方式给每个请求预留整块显存造成浪费,右侧 PagedAttention 按块分配显存并用块表记录位置。

    3)可以先从视频入手建立直观的理解,再去读论文和源码,学习效率会高很多。

    经典面试题

    1. Prefill 和 Decode 阶段有什么区别?为什么说 Decode 是访存密集型的?
    2. 什么是 KV Cache?如何计算它的显存占用?
    3. PagedAttention 解决了什么问题?它和操作系统的虚拟内存有什么相似之处?
    4. 连续批处理和静态批处理有什么区别?
    5. 投机解码的原理是什么?在什么情况下效果最好?
    6. 为什么要做 PD 分离?它带来了哪些新的挑战?
    7. 张量并行和流水线并行分别适合什么场景?

    学习资源

    • ⭐ vLLM 原理详解:把大模型推理的两个阶段和核心问题讲得很清楚
    • ⭐ UCSD 大模型系统优化课程:加州大学圣迭戈分校的 CSE 291P 课程,中英双语
    • 吴恩达快速高效的 LLM 推理和 vLLM:DeepLearning.AI 出品的短课程,附代码
    • PagedAttention 论文:vLLM 的核心技术
    • SGLang 论文:RadixAttention 前缀缓存
    • FlashAttention 论文:IO 感知的高效注意力算法
    • 投机解码论文:用小模型加速大模型推理
    • DistServe 论文:PD 分离的代表性工作
    • 大模型量化图解:用大量图示讲清楚量化原理
    • 大模型推理框架开发工程师:岗位地图和知识体系:对推理框架工程师工作内容的详细梳理

    阶段 4:推理引擎实战(20 - 30 天,仅供参考)

    原理学懂了,接下来要用真实的推理引擎去验证它们,看看这些优化在实际系统中是怎么落地的。

    目标

    熟练使用主流推理引擎部署和调优大模型,能够设计科学的压测方案并输出性能报告,能够读懂推理引擎的核心源码。

    知识点

    主流推理引擎【必学】

    • vLLM:最流行的开源推理引擎,生态最完善
    • SGLang:在前缀复用、结构化输出和大规模 MoE 部署上表现突出
    • TensorRT-LLM:NVIDIA 官方推理引擎,极致性能【建议学】
    • llama.cpp 和 Ollama:适合个人电脑和端侧部署
    • LMDeploy:国内团队开发的推理引擎【可不学】

    部署和调优【必学】

    • OpenAI 兼容的 API 服务
    • 关键参数调优:最大并发数、最大批处理 Token 数、显存利用率、并行度
    • 量化模型的部署
    • 多 LoRA 适配器的动态加载
    • 多机多卡部署

    性能压测【必学】

    • 压测工具的使用:vLLM 和 SGLang 自带的 Benchmark 脚本
    • 压测方案设计:输入输出长度分布、并发数、请求到达率、前缀重复率
    • 性能报告:写清楚硬件、模型、参数和测试条件

    源码阅读【建议学】

    • vLLM V1 的整体架构:API Server、EngineCore、Scheduler、KV Cache Manager、Worker
    • SGLang 的调度器和 Radix Cache
    • 一个请求从进入引擎到返回结果的完整链路

    学习建议

    1)建议把 vLLM 和 SGLang 都部署一遍,用同一个模型、同一组负载做对比压测,然后尝试解释每一个指标差异的来源。注意,脱离负载谈性能是没有意义的。“vLLM 和 SGLang 谁更快” 这个问题本身就是错的,正确的说法应该是 “在某种负载和延迟要求下,哪个配置更优”。

    2)读源码时,推荐先从 nano-vllm 这类精简实现开始。它只用一千多行代码就实现了 vLLM 的核心功能,读懂它之后再去读 vLLM 的源码,会轻松很多。读的时候建议跟着一个请求走一遍完整的链路,自己画出调度器的状态图。

    3)推理引擎的迭代速度非常快,网上很多教程讲的还是旧版本的架构。学习时一定要以官方文档和最新的源码为准。

    经典面试题

    1. 请描述 vLLM 中一个请求的完整执行链路。
    2. 如何科学地比较两个推理引擎的性能?需要固定哪些变量?
    3. 部署时 GPU 显存利用率应该设置多少?设置过高或过低分别会有什么问题?
    4. 线上推理服务的 P99 延迟突然升高,你会如何排查?
    5. 如何在一张显卡上同时服务多个 LoRA 微调模型?

    学习资源

    • ⭐ vLLM 官方文档:部署、调优和架构设计的权威文档
    • ⭐ nano-vllm:用一千多行代码实现 vLLM 的核心功能,非常适合阅读源码入门
    • SGLang 官方文档:SGLang 的部署和使用指南
    • vLLM:最流行的开源推理引擎
    • SGLang:高性能的开源推理引擎
    • TensorRT-LLM:NVIDIA 官方的推理引擎
    • llama.cpp:在个人电脑上高效运行大模型的经典项目
    • 24 分钟看懂 vLLM 和 SGLang:快速理解两个主流引擎的设计差异

    阶段 5:GPU 编程和算子优化(选学,30 - 60 天,仅供参考)

    如果你已经能熟练使用推理引擎,还想继续往底层深挖,就会走到 GPU 编程和算子优化这一步。这个阶段属于进阶内容,主要面向想做推理引擎核心开发或算子优化的同学。如果你的目标是推理服务研发岗,可以先跳过,等工作中需要时再学。

    目标

    理解 GPU 的硬件架构和编程模型,能够用 CUDA 或 Triton 编写和优化常见的算子,会用性能分析工具定位瓶颈。

    知识点

    GPU 架构【必学】

    • GPU 和 CPU 的区别:大量简单核心的并行计算
    • SM 流式多处理器、Warp、线程块
    • 显存层次:寄存器、共享内存、L2 缓存、全局显存(HBM)
    • Tensor Core:矩阵乘法的专用硬件

    CUDA 编程【必学】

    • 线程层次结构:Grid、Block、Thread
    • 执行模型:Warp 调度、分支发散、Occupancy 占用率、同步和原子操作
    • 内存访问优化:合并访存、共享内存、避免 Bank Conflict
    • 常见算子的实现和优化:向量加法、Reduce(树形归约和 Warp Shuffle)、Softmax(Online Softmax)、矩阵乘法(GEMM 分块)
    • 算子融合:把多个小算子合并成一个 Kernel,减少显存读写

    Triton 编程【建议学】

    • 用 Python 编写高性能 GPU Kernel
    • 实现 Softmax、矩阵乘法、Attention 前向

    AI 编译器和图优化【建议学】

    • torch.compile:PyTorch 自带的编译优化
    • TensorRT 和 ONNX Runtime:NVIDIA 和微软推出的推理优化运行时
    • TVM、MLIR 等深度学习编译器的基本概念【可不学】

    性能分析【必学】

    • Nsight Systems:分析整体的时间线和瓶颈
    • Nsight Compute:分析单个 Kernel 的性能
    • PyTorch Profiler

    高性能算子库【建议学】

    • FlashAttention、FlashInfer:高效的注意力算子
    • DeepSeek 开源的 FlashMLA、DeepEP 等算子和通信库
    • NCCL 集合通信

    学习建议

    1)GPU 编程的学习曲线比较陡,建议从最简单的向量加法开始,一步步优化矩阵乘法,每优化一步都用 Nsight Compute 看看性能的变化,理解 “为什么这么写更快”。

    GPU 的显存层次是所有优化技巧的出发点,越靠上的存储速度越快、容量越小,写 Kernel 的核心原则就是让数据尽量待在上层。

    GPU 显存层次金字塔,从上到下依次是寄存器、共享内存、L2 缓存和 HBM 显存,越往上越快,越往下容量越大。

    2)Triton 是 OpenAI 开源的 GPU 编程语言,用 Python 语法就能写出接近手写 CUDA 性能的 Kernel,入门门槛低很多。现在越来越多的推理框架开始用它来编写算子,非常值得学习。

    3)DeepSeek 在 “开源周” 活动中开源了一系列推理和训练基础设施,包括 FlashMLA、DeepEP 等,代码质量非常高,是学习工业级算子优化的绝佳材料。

    经典面试题

    1. GPU 的显存层次结构是怎样的?如何利用共享内存优化矩阵乘法?
    2. 手写一个求和的 Reduce Kernel,如何用 Warp Shuffle 进一步优化?
    3. 什么是 Online Softmax?它和 FlashAttention 有什么关系?
    4. 什么是合并访存?为什么它对性能影响很大?
    5. FlashAttention 为什么能加速注意力计算?它的核心思想是什么?
    6. 如何判断一个 Kernel 的瓶颈是计算还是访存?

    学习资源

    • ⭐ GPU MODE 系列讲座:GPU 编程社区的经典系列课程,覆盖 CUDA、Triton 和各类算子优化
    • ⭐ NVIDIA CUDA 编程实战和 GPU 并行计算:NVIDIA 官方课程,中英字幕
    • NVIDIA CUDA 官方文档:CUDA 编程指南和最佳实践
    • Triton:OpenAI 开源的 GPU 编程语言
    • FlashAttention:高效注意力算子的官方实现
    • FlashInfer:被 vLLM、SGLang 广泛使用的推理算子库
    • DeepSeek 开源基础设施合集:FlashMLA、DeepEP 等工业级开源项目

    阶段 6:推理服务化和平台(15 - 30 天,仅供参考)

    单机上的推理引擎跑通之后,还要把它变成能够支撑大规模生产流量的服务。

    目标

    能够把推理引擎封装成高可用的云原生服务,实现智能路由、弹性扩缩容和全链路监控,具备支撑大规模生产流量的平台化能力。

    知识点

    服务化架构【必学】

    • 推理网关:统一入口、鉴权、限流、计费
    • 智能路由:按负载路由、前缀感知路由(把相同前缀的请求发到同一台机器,提高缓存命中率)
    • 多模型和多版本管理、灰度发布
    • 超时、重试和降级

    云原生部署【必学】

    • Kubernetes 上的 GPU 调度:设备插件、GPU 共享(MIG 硬件切分和 MPS 多进程共享)
    • 集群调度:Volcano、Slurm 等支持成组调度(Gang Scheduling)的调度器【可不学】
    • 推理服务编排:KServe、vLLM Production Stack、llm-d、NVIDIA Dynamo
    • 弹性扩缩容:根据队列长度和延迟指标自动扩缩
    • 模型文件的分发和加速加载

    可观测性【必学】

    • 推理指标监控:Prometheus、Grafana
    • GPU 监控:DCGM Exporter
    • 链路追踪:OpenTelemetry

    分布式训练基础【可不学】

    • 数据并行 DDP,以及 ZeRO 和 FSDP 的显存优化思想
    • Megatron-LM 的并行策略
    • 强化学习训练框架:verl

    学习建议

    1)对于后端开发者来说,这个阶段是最容易上手、也最容易做出成绩的部分。很多公司的推理服务研发岗,日常工作的重心就是在推理引擎外面搭建网关、调度、扩缩容和监控这一整套平台,这和传统的后端高并发系统设计有大量相通之处。

    2)前缀感知路由是一个很有代表性的优化。在 Agent 场景下,大量请求共享同样的系统提示词和工具定义,如果能把它们路由到同一台已经缓存了这些前缀的机器上,就能大幅降低首 Token 延迟和计算成本。这类 “把业务特点和底层优化结合起来” 的思路,在面试中非常加分。

    3)如果你想学习推理网关层的设计,可以参考鱼皮的 企业级 AI 网关项目,实战了多模型适配、智能路由、健康检查、自动降级、分布式限流和 Prometheus 加 Grafana 监控告警。

    企业级 AI 网关

    经典面试题

    1. 如何设计一个支撑每秒上万请求的大模型推理平台?
    2. 什么是前缀感知路由?它适用于哪些场景?
    3. 推理服务的弹性扩缩容应该基于哪些指标?为什么不能只看 CPU 使用率?
    4. 大模型文件动辄几百 GB,如何加快新实例的启动速度?

    学习资源

    • ⭐ 鱼皮的企业级 AI 网关项目:多模型路由、限流、计费和监控告警实战
    • vLLM Production Stack:vLLM 官方的 Kubernetes 生产部署方案
    • llm-d:面向 Kubernetes 的分布式推理框架
    • NVIDIA Dynamo:NVIDIA 开源的分布式推理服务框架,支持 PD 分离
    • KServe:Kubernetes 上的模型服务标准方案
    • Hugging Face Ultra-Scale Playbook:大规模分布式训练的系统性指南
    • verl:字节跳动开源的大模型强化学习训练框架

    阶段 7:项目实战和求职准备

    最后,我们要把学到的知识沉淀成可复现的项目和数据,为求职做好准备。

    项目建议

    AI Infra 方向的项目,核心是要有 “可复现的数据” 和 “讲得清的原理”。下面几个项目由浅入深,可以根据自己的目标选择。

    1)推理引擎对比压测报告。用 vLLM 和 SGLang 部署同一个模型,设计不同的负载场景(短对话、长文档、高前缀复用的 Agent 场景),系统地对比各项指标,并解释差异的来源。这个项目门槛低、价值高,非常适合作为入门作品。

    2)手写一个迷你推理引擎。参考 nano-vllm,从零实现 KV Cache 管理、连续批处理和简单的调度器,再对比加入前缀缓存前后的性能变化。

    3)编写并优化几个 Triton 算子。依次实现 Softmax、矩阵乘法和 Attention 前向,用性能分析工具记录每一步优化的效果,写成一篇技术博客。

    4)搭建一个迷你推理平台。在 Kubernetes 上部署多个推理实例,实现前缀感知路由、基于队列长度的自动扩缩容和 Prometheus 监控大盘,再做一次完整的压测。

    5)向开源项目贡献代码。从复现 Issue、补充测试和修复文档开始,逐步尝试提交小的功能改进。被 vLLM 或 SGLang 社区合并的 PR,是 AI Infra 简历上分量最重的内容之一。

    求职建议

    1)AI Infra 的面试通常包含扎实的计算机基础(操作系统、网络、C++)、深度学习和 Transformer 原理、推理优化技术、系统设计和编程题。其中推理优化部分,面试官特别喜欢追问 “这个技术解决了什么问题、核心数据结构是什么、有什么代价和边界”。

    2)简历上的每一项优化都要有数据支撑,比如 “通过前缀缓存和前缀感知路由,将 Agent 场景下的 P99 首 Token 延迟从 2.1 秒降低到 0.6 秒”。具体的写法可以参考 鱼皮的保姆级写简历指南。

    3)基础知识可以在 面试鸭 上系统刷题,再用 面多多 做几轮模拟面试。

    经典面试题

    1. 请设计一个大模型推理服务,要求 P99 首 Token 延迟低于 1 秒,并说明你的容量规划过程。
    2. 在 Agent 场景下,你会采用哪些推理优化手段?为什么?
    3. 一个 MoE 模型部署后吞吐量远低于预期,你会如何排查?
    4. 量化之后模型效果下降明显,你会如何定位和解决?
    5. 讲一个你做过的性能优化,优化前后的数据分别是多少?

    学习资源

    • ⭐ 面试鸭:系统刷计算机基础和 AI 大模型面试题
    • AI Infra 60 天系统学习路线:一份非常详细的 AI Infra 逐日学习计划
    • AutoDL 算力云:按小时租用 GPU,学习和做实验的性价比之选
    • 鱼皮的保姆级求职指南:求职全流程攻略

    尾声

    AI Infra 是 AI 时代的 “水电煤”。模型越强大、应用越普及,就越需要有人把底层的基础设施打磨得又快又稳又便宜。

    这个方向的学习曲线确实比 AI 应用开发陡峭一些,需要你静下心来啃论文、读源码、做实验。但它的好处也很明显,知识的半衰期更长,技术壁垒更高,职业发展也更稳定。上层的框架和应用每隔几个月就会换一批,而 KV Cache、批处理、并行计算这些底层原理,未来很多年都不会过时。

    如果你享受把一个系统的性能从 60 分优化到 90 分的过程,那么 AI Infra 一定会让你乐在其中。

    加油,祝大家都能拿到满意的 Offer!

    程序员必备资源

    1)程序员学习交流圈:极客教程、实战项目、求职宝典

    2)程序员面试八股文:实习/校招/社招高频考点、企业真题解析

    3)程序员写简历神器:专业模板、丰富例句、直通面试

    4)AI 知识资源大全:前沿技术、最新 AI 资讯、提示词大全

    5)1 对 1 模拟面试:实习/校招/社招面试拿 Offer 必备