英伟达宣布推出HGX H200人工智能加速卡 推理速度较H100翻倍 – 蓝点网 | {$randkws}热点解读 英伟达称借助 HBM3e 存储

处理器制造商英伟达今日亮相启动 NVIDIA H100 GPU 的下一代商品：NVIDIA HGX H200 GPU，基于 Hopper 架构开发、使用 HBM3e 存储、带宽 4.8TB 每秒。权威无线耳机总有一句适合你

就AI方面的长处，英伟达称，与 H100 加速卡相比，HGX H200 在 Llama 2 (Meta AI 启动的开源模型，参数为 70B) 上的推理速度提升了一倍。

英伟达称借助 HBM3e 存储，HGX H200 带宽高达 4.8TB 每秒、青岛公益行动消息提供 141GB 的存储，这可以为参数更多的 LLM 提供更多、更快的存储需求。

HGX H200 提供 4 路和 8 路参数，与 H100 操控系统中的如果失去重要的人，请记住情感语录软设备都兼容，适合各类类型的资料中心，含有本地、云、混合云、边缘计算，网友檀健次动态并且可以经由 AWS、Google Cloud、Microsoft Azure 和 Oracle Cloud 开展部署。

HGX H200 将在 2024 年第二季度开售售卖。

另一款商品是 NVIDIA GH200 Grace Hopper 超级处理器，英伟达称其与 NVLink-C2C 互联可以将 HGX H200 GPU 与基于 Arm 的 NVIDIA Grace CPU 结合在一起。

这个计划是专门为超算设计的，可以让科学家和探究人员经由加速管理 TB 级别的资料和开展繁琐的 AI 计算来解决全球上最具有考验性的难题。

英伟达称 GH200 用于全球探究中心、操控系统制造商和云提供商的 40 多台AI超算，含有戴尔、HPE、联想、Eviden、QCT、Supermicro 等企业的超算。

其中 HPE 的 Cray EX2500 超算使用四颗 GH200，可以扩展到数万个 Grace Hopper Superchip 节点。

而最大的 Grace Hopper 超算应该是德国的 JUPITER，这台超算将在 2024 年达成部署并变成全球最强大的AI操控系统，其使用液冷架构，使用 24,000 个 GH200 与 NVIDIA Quantum-2 InfiniBand 联网渠道互联。

英伟达称德国的 JUPITER 将在气候和天气预测等领域获得科学革新，经由交互式可视化生成高分辨率的气候和天气模拟，也将被用于药物开发、量子计算和工业工程领域。

附 H200 参数：

FP64 34 TFLOPS

FP64 Tensor Core 67 TFLOPS

FP32 67 TFLOPS

TF32 Tensor Core 989 TFLOPS

BFLOAT16 Tensor Core 1,979 TFLOPS

FP16 Tensor Core 1,979 TFLOPS

FP8 Tensor Core 3,958 TFLOPS

INT8 Tensor Core 3,958 TFLOPS

GPU Memory 141GB

GPU Memory Bandwidth 4.8TB/s

Decoders 7 NVDEC/JPEG

Max Thermal Design Power (TDP) Up to 700W (configurable)

Multi-Instance GPUs Up to 7 MIGs @16.5GB each

Interconnect NVIDIA NVLink®: 900GB/s

PCIe Gen5: 128GB/s

Server Options NVIDIA HGX™ H200 partner and NVIDIA-Certified Systems™ with 4 or 8 GPUs

NVIDIA AI Enterprise Add-on