NVIDIA H100 Tensor 코어 GPU 특징
NVIDIA H100 Tensor 코어 GPU로 모든 워크로드에 대해 전례 없는 성능, 확장성, 보안을 달성하세요. NVIDIA® NVLink® 스위치 시스템을 사용하면 최대 256개의 H100을 연결하여 엑사스케일 워크로드를 가속화하고 전용 트랜스포머 엔진으로 매개 변수가 조 단위인 언어 모델을 처리할 수 있습니다. 여러 기술 혁신이 결합된 H100은 대규모 언어 모델의 속도를 이전 세대에 비해 30배 더 향상하여 업계를 선도하는 대화형 AI를 제공할 수 있습니다.
NVIDIA H100 Tensor 코어 GPU 제품 사양
폼 팩터
H100 SXM
H100 PCIe
H100 NVL²
FP64
34테라플롭스
26테라플롭스
68 teraFLOPs
FP64 Tensor 코어
67테라플롭스
51테라플롭스
134 teraFLOPs
FP32
67테라플롭스
51테라플롭스
134 teraFLOPs
TF32 Tensor 코어
989테라플롭스*
756테라플롭스*
1,979 teraFLOPs
BFLOAT16 Tensor 코어
1,979테라플롭스
1,513테라플롭스
3,958 teraFLOPs
FP16 Tensor 코어
1,979테라플롭스
1,513테라플롭스
3,958 teraFLOPs
FP8 Tensor 코어
3,958테라플롭스
3,026테라플롭스
7,916 teraFLOPs
INT8 Tensor 코어
3,958TOPS*
3,026TOPS*
7,916 TOPS
GPU 메모리
80 GB
80 GB
188 GB
GPU 메모리 대역폭
3.35TB/s
2TB/s
7.8TB/s
디코더
7 NVDEC / 7 JPEG
7 NVDEC / 7 JPEG
14 NVDEC / 14 JPEG
최대 열 설계 전력(TDP)
최대 700W(구성 가능)
300~350W(구성 가능)
2x 350-400W(구성 가능)
멀티 인스턴스 GPU(MIG)
최대 7개의 MIG, 각각 10GB
각 12GB에서 최대 14MIGS
폼 팩터
SXM
PCIe 듀얼 슬롯(공랭식)
PCIe 2개 듀얼 슬롯 공랭식
인터커넥트
NVLink: 900GB/s
PCIe Gen5: 128GB/s
NVLINK: 600GB/s
PCIe Gen5: 128GB/s
NVLink: 600GB/s
PCIe Gen5: 128GB/s
서버 옵션
4개 또는 8개의 GPU가 지원되는 NVIDIA HGX™ H100 파트너 및 NVIDIA-Certified Systems™ 8개의 GPU가 지원되는 NVIDIA DGX™ H100
GPU가 1~8개인 파트너 인증 시스템 및 NVIDIA-Certified System™
파트너 및 NVIDIA
인증 시스템
(2~4쌍)
NVIDIA AI Enterprise
애드온온
포함 항목
추가 사항