NVIDIA Blackwell体系构造

基于Blackwell的产品将于2024年末从NVIDIA环球互助伙伴那里进入市场。
黄仁勋宣告了NVIDIA及其互助伙伴供应的一系列附加技能和做事，称天生人工智能只是加速打算的一个方面。

“当你加速时，你的根本举动步伐便是CUDA GPU。
”这里，他指的是英伟达的并行打算平台和编程模型CUDA。
“当这种情形发生时，它与天生人工智能的根本举动步伐是一样的。
”

Blackwell支持大型措辞模型演习和推理

黄仁勋说，Blackwell GPU平台包含两个芯片，通过每秒10 TB的芯片到芯片互连连接，这意味着每一侧基本上可以像“两个芯片认为是一个芯片”一样事情。
它拥有2080亿个晶体管，利用NVIDIA的2080亿4NP台积电工艺制造。
它拥有8 TB/S的内存带宽和20个pentaFLOPS的AI性能。

英伟达表示，对付企业来说，这意味着Blackwell可以对高达10万亿参数的人工智能模型进行演习和推理。

Blackwell通过以下技能得到增强：

第二代TensorRT LLM和NeMo Megatron，均来自英伟达。
与第一代transformer引擎比较，打算和模型大小翻了一番的框架。
具有本机接口加密协议的机密打算，可保护隐私和安全。
一个专用的解压引擎，用于加速数据剖析和数据科学中的数据库查询。

关于安全性，黄仁勋说，可靠性引擎“对Blackwell芯片上的每一位内存和连接到它的所有内存进行自检，即系统内测试。
就彷佛我们用自己的测试仪运送Blackwell芯片一样。
”

Blackwell系列的GPU紧随Grace Hopper系列的GPU，后者于2022岁首年月次亮相。
NVIDIA表示，Blackwell将以比Hopper系列低25倍的本钱和更低的能耗，在万亿参数LLM上运行实时天生人工智能。

黄仁勋在NVIDIA GTC 2024上展示Blackwell（左）和Hopper（右）

NVIDIA GB200 Grace Blackwell超级芯片连接多个Blackwell GPU

除了Blackwell GPU，该公司还宣告了NVIDIA GB200 Grace Blackwell超级芯片，该芯片将两个NVIDIA B200 Tensor Core GPU连接到NVIDIA Grace CPU，为LLM推理供应了一个新的组合平台。
NVIDIA GB200 Grace Blackwell超级芯片可以与该公司最新发布的NVIDIA Quantum-X800 InfiniBand和Spectrum-X800以太网平台连接，速率高达800 GB/s。

GB200将于今年晚些时候在NVIDIA DGX Cloud上以及通过AWS、谷歌云和Oracle云根本举动步伐实例供应。

新的做事器设计展望万亿参数人工智能模型

GB200是最新发布的GB200 NVL72的一个组件，这是一种机架级做事器设计，将36个Grace CPU和72个Blackwell GPU封装在一起，可实现1.8 exaFLOP的AI性能。
NVIDIA正在展望大规模万亿参数LLM的可能用例，包括会话的持久内存、繁芜的科学运用程序和多模式模型。

GB200 NVL72结合了第五代NVLink连接器（5000根NVLink电缆）和GB200 Grace Blackwell超级芯片，供应了巨大的打算能力，黄仁勋称之为“一个机架中的exoflops AI系统”

“这超过了互联网的均匀带宽……我们基本上可以把所有东西都发送给每个人。
”他说。
“我们的目标是不断降落打算的本钱和能源——它们是直接干系的。
”

顺便提一嘴，冷却GB200 NVL72每秒须要两升水。

下一代NVLink带来了加速的数据中央架构

第五代NVLink在多达576个GPU之间供应1.8TB/s的每GPU双向通信吞吐量。
NVLink的这一迭代旨在用于当今最强大的繁芜LLM。
黄仁勋说：“未来，数据中央将被视为人工智能工厂。
”

英伟达表示，估量思科、戴尔科技、惠普企业、遐想和超级微将供应基于Blackwell的做事器，以及Aivres、ASRock Rack、ASUS、Eviden、富士康、GIGABYTE、精髓达、Pegatron、QCT、Wistron、Wiwynn和ZT Systems。

包括工程仿照公司Ansys、Cadence和Synopsys在内的软件制造商将利用基于Blackwell的处理器来设计和仿照电气、机器和制造系统及部件。

Blackwell产品线由Nvidia AI Enterprise支持，这是一个生产级AI的操作系统，包括Nvidia-NIM推理微做事，以及企业可以支配在Nvidia加速云、数据中央和事情站上的AI框架、库和工具。