NVIDIA H100 Tensor 코어 GPU

NVIDIA H100 Tensor 코어 GPU로 모든 워크로드에 대해 전례 없는 성능, 확장성, 보안을 달성하세요. NVIDIA® NVLink® 스위치 시스템을 사용하면 최대 256개의 H100을 연결하여 엑사스케일 워크로드를 가속화하고 전용 트랜스포머 엔진으로 매개 변수가 조 단위인 언어 모델을 처리할 수 있습니다. 여러 기술 혁신이 결합된 H100은 대규모 언어 모델의 속도를 이전 세대에 비해 30배 더 향상하여 업계를 선도하는 대화형 AI를 제공할 수 있습니다.

폼 팩터	H100 SXM	H100 PCIe	H100 NVL²
FP64	34테라플롭스	26테라플롭스	68 teraFLOPs
FP64 Tensor 코어	67테라플롭스	51테라플롭스	134 teraFLOPs
FP32	67테라플롭스	51테라플롭스	134 teraFLOPs
TF32 Tensor 코어	989테라플롭스*	756테라플롭스*	1,979 teraFLOPs
BFLOAT16 Tensor 코어	1,979테라플롭스	1,513테라플롭스	3,958 teraFLOPs
FP16 Tensor 코어	1,979테라플롭스	1,513테라플롭스	3,958 teraFLOPs
FP8 Tensor 코어	3,958테라플롭스	3,026테라플롭스	7,916 teraFLOPs
INT8 Tensor 코어	3,958TOPS*	3,026TOPS*	7,916 TOPS
GPU 메모리	80 GB	80 GB	188 GB
GPU 메모리 대역폭	3.35TB/s	2TB/s	7.8TB/s
디코더	7 NVDEC / 7 JPEG	7 NVDEC / 7 JPEG	14 NVDEC / 14 JPEG
최대 열 설계 전력(TDP)	최대 700W(구성 가능)	300~350W(구성 가능)	2x 350-400W(구성 가능)
멀티 인스턴스 GPU(MIG)	최대 7개의 MIG, 각각 10GB		각 12GB에서 최대 14MIGS
폼 팩터	SXM	PCIe 듀얼 슬롯(공랭식)	PCIe 2개 듀얼 슬롯 공랭식
인터커넥트	NVLink: 900GB/s PCIe Gen5: 128GB/s	NVLINK: 600GB/s PCIe Gen5: 128GB/s	NVLink: 600GB/s PCIe Gen5: 128GB/s
서버 옵션	4개 또는 8개의 GPU가 지원되는 NVIDIA HGX™ H100 파트너 및 NVIDIA-Certified Systems™ 8개의 GPU가 지원되는 NVIDIA DGX™ H100	GPU가 1~8개인 파트너 인증 시스템 및 NVIDIA-Certified System™	파트너 및 NVIDIA 인증 시스템 (2~4쌍)
NVIDIA AI Enterprise	애드온	포함 항목	추가 사항