AI infra

AI 基础设施的三大核心方向：算子开发、训练框架、推理框架

算子开发

算子是深度学习模型的基本计算单元,每一个算子都对应一个特定的数学运算。例如[卷积]、[矩阵乘法]、[层归一化]等,这些都是神经网络的基础构建模块。在GPU上执行这些运算的底层实现代码被称为Kernel(内核)。一个高效的Kernel可以充分利用GPU的并行计算能力,而低效的Kernel则会让昂贵的硬件闲置浪费。

算子优化的核心技术：

1、内存访问优化

2、异步操作与延迟隐藏

3、数据类型与精度优化

训练框架：

训练框架是用于构建、训练和优化深度学习模型的软件系统。它提供了从模型定义、数据加载、梯度计算到参数更新的完整工具链。训练框架是AI开发者最直接接触的基础设施,决定了开发效率和训练性能。

主流的框架：PyTorch、TensorFlow、JAX

推理框架：

推理框架是专门为模型推理优化的软件系统,负责高效地加载模型、管理计算资源、调度请求,并最大化硬件利用率。与训练框架不同,推理框架更关注生产环境的性能、吞吐量和成本。

LLM推理使用自回归迭代生成token,这意味着生成下一个token需要当前token之前的所有token。由于这种依赖性,几乎无法并行化生成过程。

推理框架的核心技术：

1、批处理优化

2、KV Cache优化

3、并行化策略

4、模型优化策略

三大方向的协同关系

自下而上的性能传递

▼
text
复制代码
算子优化(底层)
    ↓
训练框架调用优化算子 → 训练效率提升
    ↓
推理框架调用优化算子 → 推理性能提升
    ↓
应用层性能提升(上层)