芯片板块

AI计算体系

深度学习计算模式

计算体系与矩阵运算

AI芯片基础

通用处理器CPU

【1.1 CPU 基础】 一、 CPU（中央处理器单元） 的发展历史 CPU 的发展历史可以追溯到1946年的 Aniac 电子数字积分计算机，这台计算机采用的是10进制的数据进行处理。 后来的 Edvc 电子离散变量的自动计算算机则是由冯诺依曼发明，二进制，提出了经典的冯诺依曼架构。

二、 CPU 的组成 输出&输入、控制单元、计算单元(ALU)和内存单元。控制单元负责调度工作，计算单元负责数据计算，内存单元则存储数据。

三、 CPU 的限制 CPU 的限制在于其顺序执行指令的特性，因此需要引入并行处理架构来提升计算能力。

四、 CPU 的并行处理架构 CPU 的并行处理架构有四种方式:SIMD(单指令流、单数据流)、 MISD(多指令流、单数据流)、 MIND(多指令流、多数据流)和 MIMD(多指令流、多数据流)。 CPU 的架构图显示了内存、控制器和计算单元的关系。

【1.2 CPU 指令集架构】 一、指令集架构的重要性 ISA 是 CPU 的灵魂，是连接硬件和软件的桥梁。它决定了 CPU 的处理能力和处理方式。

二、 ISA(Instruction Set Architecture指令集架构) 的分类和生命周期 开发人员基于ISA，使用不同的处理器硬件实现方案，来设计不同性能的处理器。 ISA 可分为运算指令、数据搬运指令和控制指令。其生命周期分为六个周期，基本不会变化。

三、复杂指令集架构(CISCA)和简单指令集架构(VISKA)的区别 CISCA 架构包含许多不常用的指令，导致硬件和软件设计复杂，成本增加。 VISKA 架构只包含常用指令，适合移动设备。

四、指令集架构与软件和硬件的关系 ISA 影响硬件设计(微架构、电路设计、芯片设计)和软件设计(机器码、编译器、编程语言、算法)。

【2.1 CPU 计算本质】 一、计算架构和编译器的发展 计算架构和编译器的发展是推动计算性能提升的关键。服务器、 GPU 和 AI 芯片的算力都在不断提升，计算架构和编译器也将迎来新的黄金十年。然而，算力并不是最重要的，物理定律和硬件本身也决定了编程方式和数据搬运的效率。

二、超算中心的性能和未来发展 超算中心的性能主要由异构芯片和计算架构的提升决定。预计未来的算力将从 ESascale 迈入 Syrda scale 新的算力时代。然而，算力不是最重要的，客户真正关心的是 forp, 即每秒能够运行多少算力。

三、客户真正关心的是每秒能够运行多少算力 客户真正关心的是每秒能够运行多少算力，而不是峰值算力。在计算的本质中，数据的搬运和计算的效率同样重要。因此，算力不一定是最重要的。

四、算力与带宽的平衡 算力和带宽之间的平衡非常重要。随着计算单元的增加，计算性能会提升，但如果带宽跟不上，计算性能就无法提升。因此，我们需要寻求一个从带宽到 pe 到计算单元之间的平衡点。

【2.2 CPU 计算时延】 一、内存时延对 CPU 性能的影响 1.内存带宽: 每秒传输的数据量。 2.内存时延: 传输数据所花费的时间。 3.内存利用率: 内存传输效率和数据传输量的关系。 4.计算利用率:CPU 计算能力的利用率。 5.超异构架构:CPU 、 GPU 和 NPU 的组合以提高计算利用率。

二、计算时延对 CPU 性能的影响 1.计算强度:CPU 的计算能力与数据读取速度的比率。 2.计算时延: 计算过程中数据传输所花费的时间。 3.指令流水线: 指令的执行过程，内存时延是最耗时的部分。 4.计算和数据传输速率的平衡: 计算时延与内存时延的关系。

三、结论 1.CPU 的架构更适合逻辑控制，计算利用率不高。 2.内存带宽利用率高，但内存时延影响计算时延。 3.需要提高计算利用率，不仅依赖 CPU,还需要超异构架构的支持。

从数据看CPU计算

通用图形处理器GPU

【3. GPU 基础】 一、 GPU 的发展历史 图形处理器(GPU)的发展经历了三个阶段: 初代(<1999)，几何处理引擎，只能起到3D图像处理的加速作用，不具有软件编程特性；第二代(1999-2005)，硬件加速和有限的编程能力；第三代（2006-），实现方便的编程环境创建，可以直接编写程序。

二、 GPU 与 CPU 的差异 GPU设计师为了接替CPU进行图形渲染工作，一个复杂的三维场景，需要一秒内处理几千万个顶点和光栅化几十亿的像素，需要靠并行计算来化解。 GPU 和 CPU 在架构上有很大的差异。 GPU 主要负责图形计算和并行处理，而 CPU 则负责通用计算和控制逻辑。 GPU 的几乎主要由计算单元(ALU)组成，只有少量的控制单元和存储单元，而 CPU 则有大量的控制逻辑和额外的电路。

三、 GPU 的应用场景 GPU 在图形计算和并行处理方面具有优势，因此在游戏、图像处理、科学计算和深度学习等领域得到了广泛应用。 为什么AI时代广泛采用GPU？ 深度学习每个计算任务都独立于其他计算，任何计算都不依赖其他计算结果，可以采用高度并行的方式进行计算； GPU相比CPU拥有更多独立大吞吐量计算通道，较少控制单元使其不会受到计算以外更多任务干扰；

NPU（神经网络处理器）属于专用 AI 加速芯片（DSA 架构），核心针对神经网络算子做硬件级深度优化，舍弃部分通用计算能力，换取 AI 场景下更高的能效比与算力密度。 它和英伟达代表的通用 GPGPU不是同一条赛道：

英伟达是通用并行计算路线，兼顾图形、科学计算与 AI；而 NPU 赛道的全球头号标杆是谷歌 TPU，其次是英特尔 Habana、英国 Graphcore 等专用 AI 芯片厂商。

AI专用处理器NPU/TPU

【4. NPU 基础】 一、什么是 AI 芯片？ AI 芯片属于特殊领域的体系结构，专门用来处理 AI 应用、神经网络和深度学习等计算任务。 GPU：图形加速单元；NPU/TPU：用于深度学习的神经网络处理器；SDN：软件定义处理器；

二、 AI 芯片的任务和部署 AI 芯片的任务： 训练 和 推理 训练：合适的模型结构以及损失函数和优化算法，将数据集以 mini-batch 反复进行前向计算并计算损失，反向计算梯度利用优化函数来更新模型，使得损失函数最小。 推理：训练好的模型结构和参数基础上，一次前向传播得到模型输出过程。最终目标是将训练好的模型部署到生产环境中。 部署方式：云、边、端 云端部署就是部署在数据中心，边缘设备就是手机、耳机等，端侧是大一点的设备。

三、 AI 芯片的技术路线 AI 芯片的技术路线主要有 GPU 、 FPGA 和 ASIC GPU 图形处理器：由大量计算核心组成的大规模并行计算架构，专为同时处理多重任务而设计。适合通用场景； FPGA 现场可编程门阵列：专用集成电路领域中的一种半定制电路。适用于多指令单数据流场景； ASIC 专用集成电路：面向特定用户需求的定制芯片，则针对特定场景进行优化。

【5. 超异构计算】 一、 AI 芯片的发展 AI 芯片经历 第一阶段：芯片算力不足，神经网络没有受到重视 第二阶段：CPU 算力大幅提升，但仍然无法满足神经网络增长需求； 第三阶段：GPU和AI芯片新架构推动人工智能快速落地； 现在的 AI 芯片能够从小模型演变到大模型，模型参数量动则上百亿千亿万亿。

二、异构场景和芯片

1. 同构：全部是一样的计算核（早期多核 CPU、纯 GPU），芯片里面所有计算核心架构完全一样、指令集相同，只是核心数量增多；
2. 异构：单芯片，CPU 搭配其他加速器（特斯拉 SoC）
3. 超异构：单芯片内集成 CPU、GPU、MPU、DPU 等多种 xPU，片内各加速器可以直接互通数据
4. 超超异构：多颗超异构芯片跨芯片互联，形成全局统一算力池

特斯拉的芯片是一个异构芯片的例子，它包含了 CPU 、 GPU 、 NPU 、 ISP 和 安全处理器 等多个功能单元。异构芯片的出现是因为应用场景越来越丰富，计算需求越来越多。

三、超异构计算 超异构计算架构包括 CPU 、 GPU 、MPU 和 DPU,它们针对不同的应用场景提供专用的硬件处理。超异构计算架构使得计算从异构并行走向了超异构并行，计算体系变得更加复杂，但也能提供更好的性能。

国内外厂商

NPU赛道

华为昇腾(NPU)

全栈层级：Ascend（芯片） → Atlas（板卡 / 服务器） → CANN（驱动 + 算子） → MindSpore（AI 框架） → ModelArts（开发平台）（全栈自研，端边云全场景覆盖）

1、定位：华为自研达芬奇架构 NPU，全栈自研芯片与软件生态，覆盖云端训练、云端推理、边缘计算、终端侧全场景，是国内落地规模最大、生态最完善的专用 AI 算力方案提供商，提供芯片、板卡、服务器、超节点集群全栈解决方案。

2、产品形态：

• 训练线：
  • -量产主力：910B（成熟量产）、910C（当前旗舰，原生 FP8）
  • 待发布：950DT（144GB HBM，2026Q4 落地，兼顾训练与推理 Decode）、960DT（288GB HBM，算力翻倍，2027Q1 落地）
  • 远期规划：970 系列（2028Q4，性能再翻倍，面向 MoE 超大规模模型）
• 推理线：
  • 量产主力：310B（通用推理）、310D（低功耗边缘推理）
  • 待发布：950PR（128GB HBM，2026Q1 已商用，主打 Prefill 推理 / 推荐场景）、960PR（2027Q3，高并发长上下文推理）
• 集群方案：
  • 量产：384 超节点（基于 910C，384 卡全光互联）
  • 规划：950 超节点（最大 8192 卡）、960 SuperPoD 超节点（最大 15488 卡，FP8 总算力 30EFLOPS）
  • 能力：可支撑万亿～十万亿参数大模型，万卡级训练线性扩展效率行业领先

3、软件平台： CANN 异构计算架构（统一软件栈，覆盖算子 / 编译 / 图优化）+ MindSpore 全场景框架 + MindX 行业 SDK；深度兼容主流开源框架，国产大模型适配最完善

核心优势： 国内落地规模最大、生态最成熟、超节点集群技术领先，是唯一能规模化支撑万卡级大模型训练的国产方案

4、海外对标厂商： 核心对标谷歌 TPU 系列（全球 NPU 标杆）：单卡昇腾 910C 综合训推性能对标谷歌 TPU v5/v5e； 超节点集群层面对标谷歌 TPU v5p Pod；同时训练能力可对标高英特尔 Habana Gaudi 3专用 AI 训练加速器。

谷歌TPU(全球NPU标杆)

一、历史发展 2013 年，谷歌搜索、广告、语音识别等内部 AI 业务算力需求爆发，通用 GPU 的能效与延迟无法满足规模化部署需求，谷歌启动自研专用 AI 芯片项目；2015 年正式完成 TPU 立项，2016 年推出初代 TPU v1，是全球最早实现商用落地的专用 NPU（ASIC 型 AI 加速芯片）。后续从早期推理专用，逐步迭代为训推一体、超大规模集群架构，支撑谷歌 Gemini 系列大模型与全业务 AI 落地。

二、产品形态 覆盖云端训练、云端推理、边缘终端全场景，以集群化部署为核心形态：

• 云端产品代际：
  • v1：初代推理专用芯片，仅支持 INT8 精度，用于数据中心搜索、广告推理场景
  • v2/v3：首次实现训推一体，开启规模化集群部署，成为谷歌云主力 AI 算力
  • v4/v4e：上一代规模化训练主力，支持万卡级分布式大模型训练
  • v5e/v5p：当前商用主力，v5e 为通用训推普惠款，v5p 为高性能训练旗舰，单 Pod 可集成数千颗芯片
  • v6e（Trillium）：新一代训推优化产品，矩阵计算阵列规模翻倍，深度优化 Transformer 与多模态场景
  • TPU7x（Ironwood）：2026 年最新第七代旗舰，面向万亿参数大模型、MoE 混合专家模型，有效算力较 v5p 提升 5 倍
• 边缘终端：Edge TPU、Tensor SoC，用于手机、嵌入式设备的端侧 AI 加速
• 集群形态：以 Pod 为最小部署单元，单 Pod 可集成数千至上万颗芯片，支撑超大规模分布式训练

三、核心架构 采用脉动阵列 + 确定性执行模型，是专用 NPU 的经典架构范式：

• 核心计算单元为 MXU 矩阵乘法单元，权重参数预加载至阵列后保持静止，输入数据按固定节拍流式流过计算单元，全程仅需读写内存各一次，大幅降低数据搬运开销，极致优化神经网络核心的矩阵乘加运算
• 采用确定性执行模式，指令执行延迟可预测，适合高并发、低抖动的推理与批量训练场景
• 技术取舍：裁剪通用计算、乱序执行、深度缓存等通用 CPU/GPU 模块，用通用性换取 AI 场景下更高的算力密度、能效比与延迟确定性

四、技术演进 核心沿着「精度升级→阵列扩容→集群扩展→场景深化」的路径迭代：

• 制程工艺：从初代 28nm 逐步升级到先进制程，主频与算力密度持续提升
• 计算精度：从仅支持 INT8 推理，逐步扩展到 FP16/BF16/FP8 全精度，覆盖训练到推理全流程
• 阵列规模：每一代 MXU 脉动阵列规模翻倍，单芯片乘加运算能力指数级提升
• 部署形态：从单芯片推理加速，演进到万卡级训练集群，支撑超大规模大模型训练

英特尔 Habana (NPU)

一、定位 英特尔旗下专用 AI 训练芯片（DSA/NPU 路线），主打高性价比分布式训练，是华为昇腾在海外市场的核心直接竞品。

二、主力产品

• Gaudi 3（当前旗舰，2024 年商用）：5nm 双 Die 架构，FP8 算力 1.8PFLOPS，搭载 128GB HBM2e；核心差异化：片上集成 24 口 200G RDMA 高速网口，芯片间直接通过标准以太网组网，无需专用互联交换机，部署成本低。
• Gaudi 2（上代主力）：7nm 工艺，性能对标英伟达 A100，已规模化商用。

三、核心特点

• 双计算引擎：MME 矩阵乘法引擎 + TPC 可编程张量引擎，兼顾极致算力与算子灵活性
• 架构优势：标准以太网分布式扩展，千卡级集群成本远低于专用互联方案

四、软件与对标

• 软件：SynapseAI 全栈平台，原生兼容 PyTorch、TensorFlow 等主流 AI 框架，支持 CUDA 代码平滑迁移，开发者适配成本远低于其他专用 AI 芯片
• 对标：单卡性能对标昇腾 910C、谷歌 TPU v5e，整体训练能力接近英伟达 A100

特斯拉DOJO

一、定位与核心属性 DOJO 是特斯拉专为自动驾驶场景打造的垂直专用 AI 训练超算系统，属于定制化 DSA 架构 NPU，核心服务于 FSD 完全自动驾驶模型训练，不对外商用，也不覆盖通用 AI 场景，是典型的 “单一场景极致优化” 的专用 AI 算力系统。

二、硬件架构与物理实现

• 核心芯片：D1 训练芯片，7nm 工艺，专为自动驾驶 Transformer 训练做硬件级定制
• 基本单元：Training Tile（训练瓦片），每个 Tile 集成 25 颗 D1 芯片，搭配 168GB 高带宽内存，单 Tile 算力 362PFLOPS；Tile 之间通过高带宽接口直接互联，无需 CPU 中转调度
• 集群形态：标准形态为 ExaPod 集群，由多组 Training Tile 横向扩展构成，单 Pod 总算力达 1.1EFLOPS；配套管理主机搭载 x86 通用核心与 8TB 存储单元，负责任务调度与数据存储
• 互联特性：内置专用高速 IO 接口，支持神经网络训练数据流的低延迟高速传输，存算一体架构下数据读写延迟大幅低于通用 GPU 集群

三、架构设计哲学 核心逻辑是极致垂直优化，牺牲通用性换取场景效率，围绕四个方向做深度裁剪：

• 存算一体架构：采用近存计算 / 存内计算设计，构建单个可扩展计算平面 + 全局寻址高速存储器，搭配统一高带宽低延迟互联，最大程度减少数据搬运的功耗与延迟开销
• 面积精简：单个计算内核做极致轻量化，在有限芯片面积内集成更多计算内核，最大化 AI 计算吞吐量，平衡算力堆叠与访问延迟的矛盾
• 延迟精简：计算内核运行在 2GHz，仅保留最基础的分支预测器与小容量指令缓存，去掉复杂乱序执行模块，将更多芯片面积留给向量计算与矩阵计算单元
• 功能精简：裁剪所有非训练必需的通用处理器功能，不做数据端缓存、不支持虚拟内存、不支持精确异常处理，只保留自动驾驶训练必需的计算逻辑，进一步降低功耗与芯片面积

寒武纪AI芯片(NPU)

• 定位：国内首家 AI 芯片上市公司，自研 MLU 架构，纯 NPU 路线
• 主力产品：思元 370（7nm Chiplet，训推一体），下一代思元 590 研发中
• 优势：推理场景落地广，行业客户覆盖多，单卡对标谷歌 TPU v4
• 软件平台：NeuWare 端到端基础软件平台，采用云边端一体、训推一体架构；内置 MagicMind 推理加速引擎（业界首个商用化 MLIR 图编译推理引擎），原生兼容 PyTorch、TensorFlow、vLLM 等主流 AI 框架；已完成 GLM、DeepSeek、Qwen 等主流国产大模型 Day0 适配，覆盖多行业落地场景。

燧原科技(NPU)

• 定位：国产纯 DSA 路线代表，2026 年科创板上市，聚焦云端 AI 训推
• 主力产品：云燧 T20（训练，原生 FP8）、云燧 i20（推理）
• 对标：谷歌 TPU v5、Habana Gaudi 3，AI 能效优于通用 GPU 产品
• 软件平台： 驭算 TopsRider 全栈自研软件平台，涵盖驱动程序、编译语言与编译器、算子库、开发工具链全套体系，零 CUDA 依赖；内置约 1600 个深度优化算子，适配近千个 AI 模型，覆盖深度学习、线性代数、视觉处理等 300 余个应用场景。

通用 GPU 赛道

英伟达(全球 GPGPU 标杆)

• 代际演进（从 A100 起）：
  • Ampere A100：行业经典基准，7nm，80GB HBM2e，过去数年大模型训练主力
  • Hopper H100/H200：上代旗舰，4N 工艺，原生 FP8；H100 主打训练，H200 主打大显存长上下文推理
  • Blackwell B200：当前商用旗舰，大模型推理性能数倍提升，面向万亿参数模型
  • Vera Rubin：2026 年最新架构，面向 Agent 智能体规模化，CPU+GPU+DPU 全系统优化
• 核心壁垒：CUDA 生态二十年积累，是全球 AI 算力事实标准

壁仞科技AI芯片(GPU)

• 定位：国产通用 GPGPU 龙头，2026 年港股上市
• 主力产品：BR166（双芯旗舰，单卡对标 A100）；下一代 BR20X 对标 H100
• 特点：通用计算能力强，光互连集群技术领先
• 软件平台：BIRENSUPA™端到端全栈软件平台，配套自研 SUPACODE 多智能体模型调优平台，提供整体系统解决方案；兼容 PyTorch、vLLM、DeepSpeed 等主流 AI 框架，支持 MoE 混合专家大模型，多款国产大模型可实现 Day0 适配。

摩尔线程(GPU)

• 定位：全自研 MUSA 架构，通用 GPU 路线
• 主力产品：MTT S5000（单卡对标 A100），夸娥万卡级集群方案成熟
• 特点：CUDA 代码迁移成本低，图形渲染能力完整
• 软件平台：MUSA 全栈软件平台，包含 MUSA SDK、KUAE 训练套件、KUAE 推理套件，覆盖驱动、编译器、算子库、框架适配全层级；原生兼容 PyTorch、vLLM、SGLang、DeepSpeed 等主流 AI 生态，支持 CUDA 代码平滑迁移，大幅降低国产化替换成本。

阿里平头哥半导体(GPU)

• 定位：阿里旗下半导体，真武系列通用 GPU，依托阿里云规模化部署
• 主力产品：真武 M890（单卡对标 A100），配套磐久超节点服务器
• 特点：出货量大，内部场景打磨充分，Agent 推理场景优化深
• 软件平台：T-Head SAIL 开源全栈软件平台，覆盖 OS 层、SDK 层到接口层完整链路；全面兼容主流 AI 框架与开源生态，深度适配通义千问、DeepSeek 等大模型，支撑阿里云百炼等业务落地。

沐曦股份(GPU)

• 定位：国产通用 GPU 第一梯队，全栈自研 GPU 核心 IP
• 主力产品：曦云 C600（全国产工艺，单卡对标 A100）
• 特点：供应链自主可控程度高，覆盖 AI / 图形 / 科学计算全场景
• 软件平台：MXMACA 全栈自研软件栈，覆盖驱动、编译器、算子库、AI 框架全层级；自研 MetaXLink 高速互联技术，支持多卡拓扑与超节点架构；保持主流大模型 Day0 适配节奏，原生兼容 PyTorch、DeepSpeed、vLLM 等开源生态。