슈퍼마이크로컴퓨터(SMCI)

슈퍼마이크로컴퓨터(SMCI)는 Nvidia/AMD등의 GPU들이 고속으로 계산을 수행할 수 있는 특수한 서버를 만드는 전문업체입니다.

챗GPT의 등장으로 시작된 AI는 우리에게 큰 충격을 주었고, 이제 이러한 충격을 넘어 사회의 여러 분야를 변화시키고 있습니다.

이런 AI 서비스를 개발할때 반드시 필요한 부품인 GPU. 대표적인 GPU공급사인 Nvidia는 2023년~24년 이른바 폭팔적인 성장을 이뤄낸 바 있습니다.

그러나 이런 GPU가 제대로 동작을 하기 위해서는 반드시 필요한 것이 GPU 서버 라는 시스템입니다. GPU자체는 부품일 뿐 실제로 LLM등 많은 AI어플리케이션이 동작하기 위해서는 반드시 GPU 특수 서버가 필요합니다.

이번 포스팅은 Nvidia/AMD의 그늘에 가려져 주목 받지 못하고 있었지만 눈부시게 성장하고 있는 회사 슈퍼마이크로컴퓨터라는 서버 시스템 제조 업체에 대한 소개 입니다.

슈퍼마이크로컴퓨터 회사 소개

슈퍼마이크로컴퓨터, Inc. 또는 Supermicro(티커명:SMCI)는 캘리포니아 산호세에 본사를 두고 있는 전문 서버 설계/제작 기업입니다.

이 회사는 실리콘 밸리, 네덜란드, 그리고 대만의 과학 기술 공원에서 제조 사업을 운영하고 있습니다.

회사 개요

Supermicro는 1993년 설립되었습니다.

이 회사는 고성능/고효율 서버 전문기업으로, 데이터 센터, 클라우드 컴퓨팅, HPC 시스템을 망라한 빌딩 블록 기반의 특수 서버 솔루션을 공급하고 있습니다.

Supermicro는 “We Keep IT Green®” 이니셔티브를 주요 제품 가치에 반영하고 있으며, 시장에서 가장 에너지 효율적이며 친환경적인 솔루션을 제공합니다.

제품 및 서비스

Supermicro는 서버, 스토리지 시스템, 스위치, 소프트웨어 등을 포함한에너지 효율이 높은 포트폴리오를 설계하고 제작하는 랙 시스템의 토탈 IT 솔루션 공급기업입니다.

슈퍼마이크로컴퓨터(SMCI) HGX/OAM GPU 시스템

Supermicro의 HGX/OAM GPU 시스템은 AI, 딥러닝, 머신러닝, 고성능 컴퓨팅(HPC) 작업에 최적화된 고성능 시스템입니다.

이 시스템은 NVIDIA HGX H100 8-GPU를 특징으로 하며, 가장 빠른 NVIDIA NVLink 4.0 기술, NVSwitch 인터커넥트, 그리고 NVIDIA Quantum-2 InfiniBand 및 Spectrum-4 이더넷 네트워킹을 사용하여 GPU 간의 통신을 최대로 이끌어 냅니다.

이러한 고속 통신 인프라스트럭쳐는 AI learning 시간 혹은 HPC 시뮬레이션에 걸리는 연산 시간을 단축 할 수 있습니다.

또한, 이 시스템은 NVIDIA GPUDirect® Storage를 통해 데이터를 GPU에서 직접 액세스할 수 있게 하여 효율성을 더욱 일수 있습니다.

향상된 공기 흐름 설계로 인한 냉각 방식은 데이터 센터의 전체 전력 사용 효율(PUE)을 줄이면서도 최고의 성능 프로필을 유지합니다.

Supermicro의 HGX/OAM GPU 시스템은 또한 액체 냉각 기술을 사용하여 데이터 센터의 전력 소비를 최대 40%까지 줄일 수 있습니다.

이로 인해 운영 비용이 절감 되며, 절감된 운영 비용은 데이터 센터의 전체 소유 비용(TCO)에 많은 부분을 기여할 수 있습니다.

슈퍼마이크로컴퓨터(SMCI)의 PCIe GPU 시스템

Supermicro의 PCIe GPU 시스템은 AI, 딥러닝, 머신 러닝, 고성능 컴퓨팅(HPC) 작업에 최적화된 고성능 시스템입니다.

이 시스템은 NVIDIA A100 80GB PCIe 장치를 여러 개 설치할 수 있으며, 이를 통해 어플리케이션의 요구에 맞추어 하드웨어를 증설할 수 있는 유연한 AI 컴퓨팅이 가능합니다.

NVIDIA의 Multi-Instance GPU (MIG) 기술을 구현함으로써, 단일 애플리케이션에 대한 서비스 품질을 보장하고, 동시에 여러 사용자에게 서비스를 제공할 수 있습니다.

또한, 이 시스템은 Universal Baseboard (UBB) 및 OCP Accelerator Modules (OAM)과 같은 하드웨어 디자인 표준에 따르는 광범위한 GPU를 지원하는 오픈 스탠다드 디자인에 기반을 두고 있습니다.

이 시스템은 4U 또는 5U Universal GPU 서버를 제공하며, 이는 UBB 표준을 사용하는 가속기, PCI-E 4.0, 그리고 곧 출시될 PCI-E 5.0을 지원합니다. 또한, 32개의 DIMM 슬롯과 다양한 저장소 및 네트워킹 옵션이 제공 되며, 이는 PCI-E 표준을 사용하여 연결할 수 있습니다.

슈퍼마이크로 컴퓨터(SMCI)의 NVIDIA MGX™ 시스템

Supermicro의 NVIDIA MGX™ 시스템은 AI와 그 이상의 Generative AI 결과물의 시장 출시 리드타임을 절감할 수 있습니다.이 시스템은 최신 NVIDIA GH200 Grace Hopper™ Superchip과 NVIDIA Grace™ CPU Superchip을 특징으로 합니다.

주요 특징

• NVIDIA GH200 Grace Hopper Superchip: 이 시스템은 각각 단일 NVIDIA H100 Tensor Core GPU와 NVIDIA Grace CPU를 포함하는 2개의 NVIDIA GH200 Grace Hopper Superchip을 갖추고 있습니다.
• CPU+GPU Coherent Memory System: 최대 2개의 NVIDIA GH200 Grace Hopper Superchip을 지원하며, 각 Superchip은 72-core ARM CPU와 H100 Tensor Core GPU를 갖추고 있습니다.
• Memory: 각 Grace Hopper Superchip은 최대 96GB의 HBM3와 480GB의 LPDDR5X 통합 메모리를 지원합니다.
• Interconnect: NVLink® Chip-2-Chip (C2C) 고대역폭 및 저지연 인터커넥트를 제공합니다.
• PCIe Slots: 최대 3개의 PCIe 5.0 x16 슬롯을 지원하며, NVIDIA BlueField®-3, NVIDIA ConnectX®-7 또는 추가 GPU를 지원합니다.
• Storage: 8개의 핫스wap E1.S와 2개의 M.2 슬롯을 지원합니다.
• Cooling: 공기 냉각 및 액체 냉각 옵션을 제공합니다.

현재와 미래의 GPU, DPU, CPU를 지원할 수 있는 새로운 모듈식 아키텍처가 채택 되었습니다.

Supermicro의 고급 액체 냉각 기술은 사용 전력대비 효율적으로 시스템을 구성 할 수 있게 합니다. 그로 인하여, 1U 2-node 시스템에 2개의 NVIDIA GH200 Grace Hopper Superchip을 갖추는 것과 같은 효과를 낼 수 있습니다.

슈퍼마이크로컴퓨터(SMCI)의 액체 냉각 Solution

Supermicro의 Liquid Cooling Solution은 다음과 같은 주요 구성 요소로 이루어져 있습니다:

1. CDU (Cooling Distribution Unit): 서버 랙 전체에 냉각 액체를 순환시킵니다.
2. CDM (Cooling Distribution Manifold): 각 서버에 냉각 액체를 공급하고 반환 경로를 제공합니다.
3. Cold Plates: CPU 또는 GPU에 직접 부착되며, 사용자 정의 디자인입니다.

이 시스템은 고성능, 고전력 CPU 및 GPU에 대한 데이터 센터의 PUE를 크게 향상시키는 데 효과적입니다.

냉각 액체는 기본적으로 서버에서 발생하는 열을 방열시키는 효율적인 냉각 방식이며, 최대 1000배까지 향상될 수 있다고 알려져 있습니다.

Supermicro는 고객과 함께 작업하여 랙 수준에서 최신 액체 냉각 기술을 설계, 구현, 테스트하며, 이를 통해 고객의 데이터 센터에 빠르고 원활하게 설치할 수 있습니다. 액체 냉각 솔루션을 구현한 고객은 데이터 센터의 PUE와 TCO를 전력 비용 기준으로 40% 이상 개선할 수 있습니다.

Supermicro는 Direct to Chip (D2C) 냉각, Immersion 냉각, Rear-door Heat Exchanger (RDHx) 냉각 또는 이러한 기술의 조합을 제공합니다.

성과 및 성장

Supermicro는 2023년 회계 연도에 71억 달러의 매출을 기록 하였으며, 전 세계적으로 5,000명 이상의 직원을 고용하고 있습니다.

이 회사는 서버 및 스토리지 노드 130만 대를 출하 하였으며, IDC와 가트너에 따르면 이로 인해 전 세계 서버 벤더 중 리더 그룹에 속하게 되었습니다.

미래 전망

챗 GPT의 등장 이후, 이른바 M7이라고 하는 빅 테크 기업들의 AI 경쟁은 하루가 다르게 치열해 지고 있습니다.

Open AI를 필두로, 하루가 다르게 계속해서 새로운 아이디어와 뉴스가 쏟아져 나오고 있지만, 아직까지 시장에서 뚜렷하게 명확한 AI LLM기반의 비지니스 모델을 보여주고 있는 기업은 없습니다.

명확한 선두 주자가 나오지 않는 한, 빅테크들의 AI에 대한 투자는 계속해서 진행될 것이고 결국은 이러한 투자로 수혜를 입을 수 있는 업체들은 인프라스트럭쳐를 공급하고 있는 AI 반도체와 이런 반도체를 사용하여 시스템을 만들어 공급하는 서버 공급업체, 그리고 네트워킹 솔루션 공급업체들의 수혜는 계속될 것으로 판단됩니다.