* 엔비디아는 월요일 차세대 AI 붐을 주도하는 인공지능 모델의 훈련 및 배치를 위해 설계된 GPU인 H200을 공개했습니다.
* 엔비디아 H200에는 141GB의 차세대 “HBM3” 메모리가 포함되어 있어 AI 모델을 사용하여 텍스트, 이미지 또는 예측을 생성할 수 있습니다.
* 엔비디아의 AI GPU에 대한 관심은 이번 분기 매출이 170% 급증할 것으로 예상되는 등 엔비디아에 큰 힘을 실어주고 있습니다.
엔비디아는 월요일 AI 붐을 일으키고 있는 인공 지능 모델의 훈련 및 배치를 위해 설계된 그래픽 처리 장치인 H200을 공개했습니다.
H100 업그레이드된 엔비디아 H200
새로운 GPU는 OpenAI가 가장 진보된 대규모 언어 모델인 GPT-4를 훈련하는 데 사용한 칩인 H100의 업그레이드 버전입니다. 대기업, 스타트업, 정부 기관 모두 한정된 칩 공급을 놓고 경쟁하고 있습니다.
레이몬드 제임스의 추정에 따르면 H100 칩의 가격은 2만 5천 달러에서 4만 달러 사이이며, “훈련”이라는 프로세스에서 가장 큰 모델을 만들려면 수천 개의 칩이 함께 작동해야 합니다.
엔비디아의 AI GPU에 대한 기대감으로 엔비디아의 주가는 2023년 현재까지 230% 이상 상승했습니다. 엔비디아는 회계연도 3분기에 1년 전보다 170% 증가한 약 160억 달러의 매출을 예상하고 있습니다.
H200의 주요 개선 사항은 141GB의 차세대 “HBM3” 메모리가 포함되어 있어 칩이 텍스트, 이미지 또는 예측을 생성하도록 학습된 후 대규모 모델을 사용하여 “추론”을 수행하는 데 도움이 된다는 것입니다.
엔비디아는 H200이 H100보다 거의 두 배 빠른 속도로 출력을 생성할 것이라고 말했습니다. 이는 메타의 라마 2 LLM을 사용한 테스트를 기반으로 합니다.
2024년 2분기에 출시될 것으로 예상되는 H200은 AMD의 MI300X GPU와 경쟁하게 될 것입니다. AMD의 칩은 H200과 유사하게 이전 모델보다 메모리가 추가되어 추론을 실행하기 위해 하드웨어에 큰 모델을 장착하는 데 도움이 됩니다.
8-GPU Nvidia HGX 시스템의 Nvidia H200 칩. Nvidia
엔비디아는 H200이 H100과 호환되기 때문에 이미 이전 모델로 훈련 중인 AI 기업은 새 버전 사용을 위해 서버 시스템이나 소프트웨어를 변경할 필요가 없다고 밝혔습니다.
또한 H200 GPU와 Arm 기반 프로세서를 결합한 GH200이라는 칩뿐만 아니라 자사의 HGX 전체 시스템에서 4-GPU 또는 8-GPU 서버 구성으로 제공될 것이라고 밝혔습니다.
그러나 H200은 가장 빠른 엔비디아 AI 칩의 왕관을 오래 유지하지 못할 수도 있습니다.
엔비디아와 같은 회사는 다양한 칩 구성을 제공하지만, 새로운 반도체는 약 2년마다 제조업체가 메모리 추가나 기타 작은 최적화보다 더 큰 성능 향상을 가져오는 다른 아키텍처로 전환하면서 큰 진전을 이루는 경우가 많습니다. H100과 H200은 모두 Nvidia의 Hopper 아키텍처를 기반으로 합니다.
지난 10월, 엔비디아는 GPU에 대한 높은 수요로 인해 2년 주기 아키텍처 출시 주기에서 1년 주기로 전환할 것이라고 투자자들에게 밝혔습니다. 이 회사는 2024년에 곧 출시될 블랙웰 아키텍처를 기반으로 하는 B100 칩을 발표하고 출시를 시사하는 슬라이드를 보여주었습니다.
< 참고 : Nvidia unveils H200, its newest high-end chip for training AI models >
