* 마이크로소프트는 범용 컴퓨팅 작업을 위한 Arm 기반 칩과 함께 인공지능을 위한 첫 번째 칩을 출시합니다.
* 마이크로소프트는 시애틀에서 열린 이그나이트 콘퍼런스에서 이 두 제품 모두 마이크로소프트의 애저 클라우드에 도입될 예정이라고 밝혔습니다.
* 클라우드 선두주자인 AWS(Amazon Web Services)가 5년 전에 도입한 Graviton Arm 칩은 널리 채택되었습니다.
마이크로소프트는 수요일 시애틀에서 열린 이그나이트 콘퍼런스에서 두 개의 칩을 공개했습니다.
마이아 100 & 코발트 100 Arm
첫 번째 칩인 마이아 100(Maia 100) 인공지능 칩은 엔비디아(Nvidia)와 경쟁할 수 있는 AI 그래픽 처리 장치입니다. 두 번째 칩인 코발트 100 Arm(Cobalt 100 Arm) 칩은 일반 컴퓨팅 작업을 목표로 하며 인텔 프로세서와 경쟁할 수 있습니다.
현금이 풍부한 기술 기업들은 고객에게 애플리케이션을 실행하는 데 사용할 수 있는 클라우드 인프라에 대한 더 많은 옵션을 제공하기 시작했습니다. 알리바바, 아마존 및 구글은 수년 동안 이 작업을 수행해 왔습니다. 추정에 따르면 10월 말 현재 약 1,440억 달러의 현금을 보유한 마이크로소프트는 2022년 클라우드 시장 점유율이 21.5%로 아마존에 이어 2위를 차지할 것으로 예상됩니다.
코발트 칩에서 실행되는 가상 머신 인스턴스는 2024년에 애저 클라우드를 통해 상용화될 것이라고 회사 부사장인 라니 보르카는 CNBC와의 인터뷰에서 말했습니다. 그녀는 마이아 100의 출시 일정은 밝히지 않았습니다.
구글은 2016년에 AI 용 텐서 프로세싱 유닛을 발표했습니다. 아마존 웹 서비스는 2018년에 Graviton Arm 기반 칩과 Inferentia AI 프로세서를 공개했으며, 2020년에 모델 트레이닝을 위한 Trainium을 발표했습니다.
클라우드 제공 업체의 특별한 AI 칩은 GPU가 부족할 때 수요를 충족하는 데 도움이 될 수 있습니다. 하지만 마이크로소프트와 클라우드 컴퓨팅 분야의 다른 업체들은 엔비디아나 AMD와 달리 기업이 자사 칩이 포함된 서버를 기업들이 구매하도록 허용하지 않을 계획입니다.
보르카는 고객 피드백을 바탕으로 AI 컴퓨팅용 칩을 개발했다고 설명했습니다.
마이크로소프트는 마이아 100이 빙 검색 엔진의 AI 챗봇(현재는 빙 챗 대신 코파일럿이라고 함), 깃허브 코파일럿 코딩 도우미, 마이크로소프트가 지원하는 오픈 AI의 대규모 언어 모델인 GPT 3.5 터보의 요구 사항을 어떻게 충족하는지 테스트하고 있다고 말했습니다. OpenAI는 인터넷의 방대한 정보를 언어 모델에 공급하여 이메일 메시지를 생성하고, 문서를 요약하고, 사람의 몇 마디 지시만으로 질문에 답할 수 있습니다.
GPT 3.5터보 모델은 작년에 출시되자마자 인기를 끌었던 OpenAI의 ChatGPT 어시스턴트에서 작동합니다. 그 후 기업들은 소프트웨어에 유사한 채팅 기능을 추가하기 위해 빠르게 움직였고, GPU에 대한 수요가 증가했습니다.
“우리는 공급 위치를 개선하고 많은 고객과 고객의 수요를 지원하기 위해 전반적으로 그리고 모든 공급업체와 협력해 왔습니다.”라고 9월 뉴욕에서 열린 에버코어 콘퍼런스에서 Nvidia의 재무 책임자인 콜레트 크레스(Colette Kress)가 말했습니다.
OpenAI는 이전에 애저에서 엔비디아 GPU 모델을 학습시킨 적이 있습니다.
소프트웨어에서 하드웨어까지
마이아 칩을 설계하는 것 외에도 마이아 서버가 들어 있는 랙 바로 옆에 있는 랙에 장착할 수 있는 사이드 킥이라는 맞춤형 수랭식 하드웨어를 고안해냈습니다. 이 회사는 서버 랙과 사이드 킥 랙을 개조할 필요 없이 설치할 수 있다고 말했습니다.
GPU를 사용하면 제한된 데이터 센터 공간을 최대한 활용하는 것이 어려울 수 있습니다. 서버 스타트업 옥사이드 컴퓨터의 공동 설립자이자 CEO인 스티브 터크는 과열을 방지하기 위해 랙을 위에서 아래로 채우지 않고 GPU가 포함된 서버 몇 대를 랙 하단에 ‘고아’처럼 배치하는 경우가 있다고 말합니다. 기업들은 온도를 낮추기 위해 냉각 시스템을 추가하기도 한다고 터크는 말합니다.
아마존의 경험이 지침이 된다면 마이크로소프트는 마이아 AI 칩보다 코발트 프로세서를 더 빨리 채택할 수도 있습니다. 마이크로소프트는 코발트에서 팀즈 앱과 애저 SQL 데이터베이스 서비스를 테스트하고 있습니다. 지금까지 이 칩은 스타트업 Ampere가 만든 애저의 기존 Arm 기반 칩보다 40% 더 나은 성능을 보였다고 밝혔습니다.
지난 1년 반 동안 물가와 이자율이 상승함에 따라 많은 기업이 클라우드 지출을 더 효율적으로 할 수 있는 방법을 모색해 왔으며, AWS 고객의 경우 Graviton이 그 중 하나였습니다. 현재 AWS의 상위 100대 고객사 모두 Arm 기반 칩을 사용하고 있으며, 이를 통해 40%의 가격 대비 성능 향상을 달성할 수 있다고 부사장인 Dave Brown은 말합니다.
하지만 GPU에서 AWS 트레이니움 AI 칩으로 이동하는 것은 인텔 제온에서 그라비톤으로 이동하는 것보다 더 복잡할 수 있습니다. 각 AI 모델에는 고유한 특성이 있습니다. 브라운은 많은 사람들이 모바일 디바이스를 통해 널리 보급된 Arm에서 다양한 툴을 작동시키기 위해 노력해왔지만, AI 용 실리콘에서는 그렇지 않다고 말했습니다. 하지만 시간이 지나면 조직들이 트레이니움을 통해 GPU와 비교했을 때 비슷한 가격 대비 성능의 이점을 얻을 수 있을 것으로 기대한다고 그는 말했습니다.
“우리는 이러한 사양을 에코 시스템 및 에코 시스템의 많은 파트너와 공유했으며, 이는 모든 애저 고객에게 도움이 됩니다.”라고 그녀는 말했습니다.
보르카는 마이아의 성능이 엔비디아의 H100과 같은 대안과 비교했을 때 어느 정도인지에 대해서는 자세히 알지 못한다고 말했습니다. 월요일에 엔비디아는 H200이 2024년 2분기에 출시될 것이라고 밝혔습니다.
< 참고 : Microsoft announces custom AI chip that could compete with Nvidia >
