编程导航学习网站:学编程、做项目、拿 Offer!
企业高频面试题库:开始刷题,面试遇原题!
精选简历模板大全:1 分钟搞定简历!
AI 资源导航网站:获取最新 AI 黑科技!
1 对 1 模拟面试:随时随地提升面试能力
AI 大模型应用开发求职高频面试题:开始刷题
⭐️ 推荐先观看 鱼皮的保姆级 AI 指南视频,快速掌握程序员必知必会的 AI 概念、AI 工具、AI 开发技术、AI 编程技巧。
当你在 DeepSeek 里输入一个问题,几百毫秒后答案就开始一个字一个字地蹦出来,同一时刻可能有几百万人在做同样的事情。是谁让一个几千亿参数的模型,能够同时服务这么多用户,而且又快又便宜?答案就是 AI Infra(AI 基础设施)工程师,尤其是其中负责推理的那一部分人。
如果说 AI 应用开发工程师关心的是 “怎么用好模型”,那么 AI Infra 推理工程师关心的就是 “怎么让模型跑得更快、更省、更稳”。他们的工作成果不是模型的准确率,而是几个非常硬核的系统指标,比如首个 Token 的返回延迟、每秒能生成多少 Token、每生成一百万个 Token 要花多少钱、高峰期会不会超时和崩溃。
为什么现在要关注这个方向?有三个原因。
第一,推理需求正在爆炸式增长。Agent 的普及让每个任务消耗的 Token 数量成倍增加,一个 Coding Agent 跑一次任务,可能就要消耗几十万甚至上百万个 Token,推理成本已经成为 AI 公司最大的开支之一。谁能把推理成本降低一半,谁就能在价格战中占据优势。
第二,开源模型让私有化部署成为刚需。DeepSeek、Qwen、Kimi、GLM 等国产开源模型的能力已经非常强,越来越多的企业选择在自己的机房里部署模型,这就需要大量懂推理部署和优化的工程师。
第三,这个岗位的门槛高、竞争相对小、薪资高。根据脉脉的人才报告,AI 技术底座类岗位占到了全部 AI 岗位的四分之一左右。和 AI 应用开发相比,推理优化需要扎实的系统功底和 GPU 知识,能做的人少,所以议价空间很大。
如果你是一名对性能优化、底层原理感兴趣的后端或 C++ 开发者,那么 AI Infra 很可能是最适合你的 AI 转型方向。
▼mermaid复制代码graph LR A[编程和系统基础] --> B[深度学习和 Transformer] B --> C[大模型推理原理] C --> D[推理引擎实战] D --> E[推理服务化和平台] C --> F[GPU 编程和算子优化] F --> E E --> G[项目实战和求职]
每个阶段要掌握的知识点,可以看下面这张完整的思维导图:

AI Infra 是一个很大的领域,推理只是其中的一部分。如果你想从事下面这几类岗位,都可以沿着这份路线入门。
1)先跑通,再读代码,再读论文,最后再造轮子。这是很多 AI Infra 前辈总结出来的学习顺序。不要一上来就啃 PagedAttention 的论文,而是先用 vLLM 把一个模型部署起来,压测一下看看指标,然后带着问题去读源码,最后再去看论文理解设计思想。
2)一切优化都要用数据说话。AI Infra 是一个极度依赖测量的领域,没有前后对比数据的优化就是在猜。所以从第一天开始,就要养成做 Benchmark、记录实验条件、写性能报告的习惯。
3)GPU 资源不用自己买。很多同学担心学 AI Infra 必须有昂贵的显卡,其实大部分实验在 AutoDL 等云平台上按小时租用 GPU 就能完成,一张 24G 显存的卡每小时只要几块钱。前期学习原理时,甚至用 CPU 跑小模型就够了。
4)善用 AI 编程工具读源码。vLLM、SGLang 这些项目的代码量都很大,直接硬啃效率很低。可以让 Cursor 或 Claude Code 帮你梳理调用链路、画架构图、解释某个模块的作用,阅读效率能提升好几倍。
⏰ 对于有一定 Python 或 C++ 基础的同学,走完推理方向的主线大约需要 3 到 5 个月,如果要深入算子优化,还需要额外 2 到 3 个月(仅供参考)。
AI Infra 本质上是系统工程,所以我们从编程和计算机系统的基础开始。
熟练掌握 Python 和 C++,具备扎实的操作系统、计算机体系结构和网络基础,能够在 Linux 环境下独立完成开发、调试和部署。
编程语言【必学】
计算机基础【必学】
工程工具【必学】
1)AI Infra 本质上是 “系统工程”,所以计算机基础知识非常重要,特别是操作系统的内存管理。vLLM 最核心的 PagedAttention 技术,就是借鉴了操作系统虚拟内存分页的思想。如果你理解了分页、页表和写时复制,再去学 PagedAttention 会非常轻松。
2)C++ 不需要一开始就学得很深,能看懂代码、写出基本的多线程程序即可,等进入 CUDA 编程阶段再针对性地深入。
要优化模型的推理,首先得知道模型在推理时到底做了什么。所以接下来要补充深度学习和 Transformer 的知识。
掌握 PyTorch 的基本使用,理解 Transformer 和 Decoder-only 大模型的结构,能够手写一个简化版的 GPT 并完成推理。
深度学习基础【必学】
Transformer 架构【必学】
大模型推理基础【必学】
1)这个阶段的重点是 “理解推理过程中到底发生了什么”,而不是成为算法专家。建议跟着 Karpathy 的 nanoGPT 或者《Build a Large Language Model (From Scratch)》亲手实现一个小型 GPT,再手写一个最简单的生成循环。当你亲手实现过 KV Cache 之后,后面再学习推理优化时就会有非常直观的理解。
2)一定要学会计算模型的显存占用。比如一个 70 亿参数的模型用 BF16 精度存储,权重就需要大约 14GB 显存,再加上 KV Cache 和激活值,一张 24GB 的显卡能同时服务多少个请求?这类计算是面试中的高频问题,也是做容量规划的基础。
3)如果你想系统地补充深度学习基础,可以查看 深度学习学习路线。
理解了模型的结构之后,就进入了整条路线的核心部分,也就是大模型推理的性能瓶颈和优化原理。
深入理解大模型推理的性能瓶颈,掌握 KV Cache、批处理、量化、并行、投机解码等核心优化技术的原理,能够分析和解释推理系统的各项性能指标。
推理的两个阶段【必学】
核心性能指标【必学】
显存和 KV Cache 优化【必学】
批处理和调度【必学】
模型压缩【必学】
并行策略【必学】
高级优化【建议学】
1)Prefill 和 Decode 的区别是整个推理优化领域的 “第一性原理”。几乎所有的优化技术,都是在针对这两个阶段不同的瓶颈做文章。比如连续批处理是为了提高 Decode 阶段的 GPU 利用率,分块预填充是为了平衡两个阶段的资源争抢,PD 分离则是干脆把它们拆开分别优化。理解了这一点,你就能把所有的优化技术串成一个完整的知识体系。
我画了一张图来对比这两个阶段。Prefill 一次性吃下全部输入,GPU 算力被充分利用;Decode 每次只生成一个 Token,大部分时间都在从显存里搬运权重和 KV Cache。

连续批处理的思路可以对照下面这张图来理解。静态批处理要等整批请求全部结束才能接新请求,短请求结束后留下大段空等;连续批处理则在每一步都把新请求补进来,让 GPU 一直保持忙碌。

2)这个阶段建议结合论文学习。PagedAttention(vLLM)、RadixAttention(SGLang)、FlashAttention、投机解码、DistServe(PD 分离)这几篇论文是 AI Infra 面试的 “必考题”,至少要能讲清楚它们解决了什么问题、核心思想是什么、有什么代价。
以 PagedAttention 为例,把它的核心思想画出来就是这样。传统做法要给每个请求预留一整块连续显存,没用完的部分全都浪费;PagedAttention 像操作系统管理内存一样,把 KV Cache 划分成固定大小的块,按需分配,再用块表记录位置。

3)可以先从视频入手建立直观的理解,再去读论文和源码,学习效率会高很多。
原理学懂了,接下来要用真实的推理引擎去验证它们,看看这些优化在实际系统中是怎么落地的。
熟练使用主流推理引擎部署和调优大模型,能够设计科学的压测方案并输出性能报告,能够读懂推理引擎的核心源码。
主流推理引擎【必学】
部署和调优【必学】
性能压测【必学】
源码阅读【建议学】
1)建议把 vLLM 和 SGLang 都部署一遍,用同一个模型、同一组负载做对比压测,然后尝试解释每一个指标差异的来源。注意,脱离负载谈性能是没有意义的。“vLLM 和 SGLang 谁更快” 这个问题本身就是错的,正确的说法应该是 “在某种负载和延迟要求下,哪个配置更优”。
2)读源码时,推荐先从 nano-vllm 这类精简实现开始。它只用一千多行代码就实现了 vLLM 的核心功能,读懂它之后再去读 vLLM 的源码,会轻松很多。读的时候建议跟着一个请求走一遍完整的链路,自己画出调度器的状态图。
3)推理引擎的迭代速度非常快,网上很多教程讲的还是旧版本的架构。学习时一定要以官方文档和最新的源码为准。
如果你已经能熟练使用推理引擎,还想继续往底层深挖,就会走到 GPU 编程和算子优化这一步。这个阶段属于进阶内容,主要面向想做推理引擎核心开发或算子优化的同学。如果你的目标是推理服务研发岗,可以先跳过,等工作中需要时再学。
理解 GPU 的硬件架构和编程模型,能够用 CUDA 或 Triton 编写和优化常见的算子,会用性能分析工具定位瓶颈。
GPU 架构【必学】
CUDA 编程【必学】
Triton 编程【建议学】
AI 编译器和图优化【建议学】
性能分析【必学】
高性能算子库【建议学】
1)GPU 编程的学习曲线比较陡,建议从最简单的向量加法开始,一步步优化矩阵乘法,每优化一步都用 Nsight Compute 看看性能的变化,理解 “为什么这么写更快”。
GPU 的显存层次是所有优化技巧的出发点,越靠上的存储速度越快、容量越小,写 Kernel 的核心原则就是让数据尽量待在上层。

2)Triton 是 OpenAI 开源的 GPU 编程语言,用 Python 语法就能写出接近手写 CUDA 性能的 Kernel,入门门槛低很多。现在越来越多的推理框架开始用它来编写算子,非常值得学习。
3)DeepSeek 在 “开源周” 活动中开源了一系列推理和训练基础设施,包括 FlashMLA、DeepEP 等,代码质量非常高,是学习工业级算子优化的绝佳材料。
单机上的推理引擎跑通之后,还要把它变成能够支撑大规模生产流量的服务。
能够把推理引擎封装成高可用的云原生服务,实现智能路由、弹性扩缩容和全链路监控,具备支撑大规模生产流量的平台化能力。
服务化架构【必学】
云原生部署【必学】
可观测性【必学】
分布式训练基础【可不学】
1)对于后端开发者来说,这个阶段是最容易上手、也最容易做出成绩的部分。很多公司的推理服务研发岗,日常工作的重心就是在推理引擎外面搭建网关、调度、扩缩容和监控这一整套平台,这和传统的后端高并发系统设计有大量相通之处。
2)前缀感知路由是一个很有代表性的优化。在 Agent 场景下,大量请求共享同样的系统提示词和工具定义,如果能把它们路由到同一台已经缓存了这些前缀的机器上,就能大幅降低首 Token 延迟和计算成本。这类 “把业务特点和底层优化结合起来” 的思路,在面试中非常加分。
3)如果你想学习推理网关层的设计,可以参考鱼皮的 企业级 AI 网关项目,实战了多模型适配、智能路由、健康检查、自动降级、分布式限流和 Prometheus 加 Grafana 监控告警。

最后,我们要把学到的知识沉淀成可复现的项目和数据,为求职做好准备。
AI Infra 方向的项目,核心是要有 “可复现的数据” 和 “讲得清的原理”。下面几个项目由浅入深,可以根据自己的目标选择。
1)推理引擎对比压测报告。用 vLLM 和 SGLang 部署同一个模型,设计不同的负载场景(短对话、长文档、高前缀复用的 Agent 场景),系统地对比各项指标,并解释差异的来源。这个项目门槛低、价值高,非常适合作为入门作品。
2)手写一个迷你推理引擎。参考 nano-vllm,从零实现 KV Cache 管理、连续批处理和简单的调度器,再对比加入前缀缓存前后的性能变化。
3)编写并优化几个 Triton 算子。依次实现 Softmax、矩阵乘法和 Attention 前向,用性能分析工具记录每一步优化的效果,写成一篇技术博客。
4)搭建一个迷你推理平台。在 Kubernetes 上部署多个推理实例,实现前缀感知路由、基于队列长度的自动扩缩容和 Prometheus 监控大盘,再做一次完整的压测。
5)向开源项目贡献代码。从复现 Issue、补充测试和修复文档开始,逐步尝试提交小的功能改进。被 vLLM 或 SGLang 社区合并的 PR,是 AI Infra 简历上分量最重的内容之一。
1)AI Infra 的面试通常包含扎实的计算机基础(操作系统、网络、C++)、深度学习和 Transformer 原理、推理优化技术、系统设计和编程题。其中推理优化部分,面试官特别喜欢追问 “这个技术解决了什么问题、核心数据结构是什么、有什么代价和边界”。
2)简历上的每一项优化都要有数据支撑,比如 “通过前缀缓存和前缀感知路由,将 Agent 场景下的 P99 首 Token 延迟从 2.1 秒降低到 0.6 秒”。具体的写法可以参考 鱼皮的保姆级写简历指南。
3)基础知识可以在 面试鸭 上系统刷题,再用 面多多 做几轮模拟面试。
AI Infra 是 AI 时代的 “水电煤”。模型越强大、应用越普及,就越需要有人把底层的基础设施打磨得又快又稳又便宜。
这个方向的学习曲线确实比 AI 应用开发陡峭一些,需要你静下心来啃论文、读源码、做实验。但它的好处也很明显,知识的半衰期更长,技术壁垒更高,职业发展也更稳定。上层的框架和应用每隔几个月就会换一批,而 KV Cache、批处理、并行计算这些底层原理,未来很多年都不会过时。
如果你享受把一个系统的性能从 60 分优化到 90 分的过程,那么 AI Infra 一定会让你乐在其中。
加油,祝大家都能拿到满意的 Offer!

1)程序员学习交流圈:极客教程、实战项目、求职宝典
2)程序员面试八股文:实习/校招/社招高频考点、企业真题解析
3)程序员写简历神器:专业模板、丰富例句、直通面试
4)AI 知识资源大全:前沿技术、最新 AI 资讯、提示词大全
5)1 对 1 模拟面试:实习/校招/社招面试拿 Offer 必备