NVIDIA ConnectX-8 SuperNIC: PCIe 기반 AI 인프라의 새로운 지평을 열다

최근 생성형 AI를 포함한 AI 워크로드가 급격히 복잡해지고 규모가 커지면서, 더욱 빠르고 확장 가능한 컴퓨팅 인프라에 대한 수요가 폭발적으로 증가하고 있습니다. 이러한 요구사항을 충족하기 위해 엔비디아는 플랫폼 아키텍처를 근본적으로 재설계하고 있으며, 그 핵심에 NVIDIA ConnectX-8 SuperNIC이 있습니다.

ConnectX-8 SuperNIC의 혁신적인 특징

ConnectX-8 SuperNIC은 기존의 한계를 뛰어넘어 업계 최초로 PCIe Gen6을 지원하는 스위치와 초고속 네트워크 기능을 하나로 통합한 새로운 클래스의 네트워크 가속기입니다. 이는 이더넷 기반 클라우드에서 하이퍼스케일 AI 워크로드를 위해 특별히 설계되었으며, GPU 간 통신을 최대 400Gb/s(RoCE 기술 활용)로 가속화합니다.

ConnectX-8의 주요 특징은 다음과 같습니다:

• 통합된 PCIe Gen6 연결성: 48레인의 PCIe Gen6 연결과 PCIe Gen6 스위치를 하나로 통합하여, 별도의 PCIe 스위치가 필요 없게 만듭니다. 이를 통해 시스템 설계가 대폭 간소화되고 부품 수가 줄어들어, 비용 효율적이면서도 더욱 확장 가능한 AI 인프라 구현이 가능해집니다. 또한 차세대 GPU, CPU, I/O 가속기의 증가하는 입출력 요구를 충분히 감당할 수 있도록 PCIe Gen6 대역폭을 온전히 활용할 수 있습니다.

• 고성능 및 효율성 향상: 통합 설계는 더 높은 처리량을 제공하고, 전력 및 비용 효율을 향상시킵니다. 특히 AI 워크로드를 위한 고속 패킷 재정렬, 실시간 텔레메트리 기반의 고급 혼잡 제어, I/O 경로상의 프로그래밍 가능한 컴퓨팅, 그리고 전력 효율적인 설계를 통해 최고의 성능을 구현합니다.

• 풀스택 AI 최적화: 컴퓨팅, 네트워킹, 스토리지, 시스템 소프트웨어, 통신 라이브러리 및 애플리케이션 프레임워크를 포함하는 엔비디아 풀스택 AI 솔루션의 일부로 최적화되어 있습니다.

엔터프라이즈 AI 워크로드 가속화: NVIDIA RTX PRO 서버의 ConnectX-8

현재 양산 단계에 돌입한 ConnectX-8 SuperNIC은 NVIDIA HGX B300 및 NVIDIA GB300 NVL72 시스템에 통합되어 있습니다. COMPUTEX 2025에서 공개된 NVIDIA RTX PRO 서버에도 탑재되어 있으며, 최대 8개의 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU를 구성할 수 있습니다.

[기존 서버 설계 vs. ConnectX-8 최적화 설계 비교]

기존 서버 설계가 여러 개의 GPU와 CPU, 그리고 별도의 PCIe 스위치 및 NIC을 복잡하게 연결했던 것과 달리, ConnectX-8 SuperNIC을 활용한 최적화된 설계는 PCIe Gen6 스위칭과 800Gb/s 네트워크 기능을 하나로 통합하여 아키텍처를 훨씬 간결하게 만듭니다.

이 최적화된 설계는 다음과 같은 주요 GPU 통신 경로에서 획기적인 개선을 가져옵니다:

1. CPU 소켓을 가로지르는 GPU 간 통신: 기존 CPU 간 연결 병목 현상을 해결하고, NCCL이 트래픽을 네트워크로 직접 라우팅하여 클러스터 내 모든 GPU 간 통신에서GPU당 최대 50GB/s의 IO 대역폭을 확보합니다. (기존 25GB/s 이하 대비 2배 향상)

2. GPU와 NIC 간 통신: GPU당 2:1 비율의 NIC 구성으로 각 GPU에 50GB/s의 대역폭을 제공합니다.

3. 동일 PCIe 스위치를 통한 GPU 간 통신: PCIe Gen6의 두 배 대역폭으로 GPU 간 데이터 전송 속도를 크게 향상시킵니다.

이러한 개선은 GPU당 네트워크 대역폭을 두 배로 늘려 IO 병목 현상을 해소하고, 데이터 이동 속도를 가속화합니다. 결과적으로 NVIDIA RTX PRO 서버 플랫폼은 NCCL all-to-all 성능이 최대 두 배 향상되어 멀티 GPU 및 멀티 노드 작업의 효율성과 AI 팩토리 전반의 확장성을 크게 높여줍니다.

PCIe 기반 AI 인프라의 미래

PCIe 스위칭 기능을 SuperNIC에 직접 통합한 ConnectX-8은 보드 설계를 단순화하고, 공기 흐름 개선 및 유지보수 편의성을 제공하여 플랫폼을 더욱 작고 전력 효율적이며 비용 효율적으로 만듭니다. 이는 시스템 제조사가 성능을 높이면서도 총소유비용(TCO)을 줄이며 빠르게 확장할 수 있도록 돕습니다. 또한, 멀티 GPU 기반 플랫폼에서 보안 컴퓨팅 기능도 강화합니다.

ASRock Rack, ASUS, Compal, Foxconn, GIGABYTE 등 주요 데이터센터 파트너들이 이미 ConnectX-8 SuperNIC을 탑재한 NVIDIA RTX PRO 서버를 통해 진일보한AI 플랫폼 아키텍처를 선보이고 있습니다. ConnectX-8 SuperNIC은 NVIDIA Spectrum-X 플랫폼의 핵심 요소로서 현대 AI 인프라를 가속화하는 데 중추적인 역할을 수행합니다.

요약

• NVIDIA ConnectX-8 SuperNIC은 PCIe Gen6 스위치와 800Gb/s 네트워크 기능을 하나로 통합한 업계 최초의 네트워크 가속기로, AI 워크로드에 최적화된 혁신적인 솔루션입니다.

• 이 통합 설계는 복잡한 서버 설계를 간소화하고 부품 수를 줄이며, 전력 및 비용 효율성을 향상시켜 AI 인프라의 TCO를 절감합니다.

• ConnectX-8은 GPU 간 및 GPU-NIC 간 통신 대역폭을 최대 400Gb/s/GPU까지 제공하고, NCCL all-to-all 성능을 최대 두 배 향상시키는 등 AI 워크로드의 IO 병목 현상을 해소하고 확장성을 극대화합니다.

• 현재 NVIDIA HGX B300 및 GB300 NVL72 시스템에 통합되어 있으며, 컴퓨텍스2025에서 공개된 NVIDIA RTX PRO 서버와 같은 파트너 시스템을 통해 차세대 PCIe 기반 AI 플랫폼의 성능과 효율성을 혁신하고 있습니다.