* IBM 노스폴(NorthPole)은 뇌의 구조와 효율성을 디지털 칩으로 모방하였습니다.
* 노스폴(NorthPole)은 기존 GPU와 비교했을 때 최대 96% 적은 에너지로 같은 AI 작업을 수행하는 결과를 보여줬습니다.
* 이 디지털 브레인 칩은 빠르고 에너지 효율적인 AI 모델을 지원하며, 미래 컴퓨터 기술의 가능성을 보여줍니다.
뇌는 매우 강력한 컴퓨팅 기계입니다. 과학자들은 오랫동안 뇌의 내부 구조를 기계적인 마음으로 재현하려고 노력해 왔습니다.
IBM 노스폴(NorthPole) vs GPU
IBM의 한 연구팀은 뇌의 구조와 효율성을 모방한 완전 디지털 칩인 노스폴(NorthPole)을 통해 그 암호를 풀었을지도 모릅니다. AI 프로그램을 실행하는 데 가장 일반적으로 사용되는 최첨단 그래픽 처리 장치(GPU)와 비교했을 때, IBM의 두뇌와 유사한 칩은 여러 표준 테스트에서 최대 96% 더 적은 에너지를 사용하면서 승리를 거두었습니다.
IBM은 두뇌에서 영감을 받은 칩을 개발하는 데 익숙합니다. 트루노스(TrueNorth)부터 스파이너커(SpiNNaker)에 이르기까지 10년 동안 뇌 아키텍처를 활용하여 AI 알고리즘을 더 잘 실행하기 위한 연구에 몰두해 왔습니다.
프로젝트마다 목표는 동일했습니다. 어떻게 하면 더 빠르고 에너지 효율적인 칩을 만들어 휴대폰이나 자율 주행 차량의 컴퓨터와 같은 소형 기기에서 “엣지”에서 AI를 실행할 수 있을까 하는 것이었습니다. 엣지 컴퓨팅은 클라우드의 원격 서버 팜에 요청을 보낼 필요 없이 실시간으로 문제를 모니터링하고 대응할 수 있습니다. 전화 접속 모뎀에서 광섬유 인터넷으로 전환하는 것처럼, 이러한 칩은 최소한의 에너지 비용으로 대규모 AI 모델의 속도를 높일 수 있습니다.
문제는 무엇일까요? 두뇌는 아날로그입니다. 반면 기존의 컴퓨터 칩은 0과 1의 디지털 처리를 사용합니다. 오래된 VHS 테이프를 디지털 파일로 변환하려고 시도해 본 적이 있다면 이것이 간단한 과정이 아니라는 것을 알 것입니다. 지금까지 뇌를 모방하는 대부분의 칩은 아날로그 컴퓨팅을 사용합니다. 안타깝게도 이러한 시스템은 노이즈가 많고 오류가 쉽게 발생할 수 있습니다.
IBM은 노스폴을 통해 완전히 디지털화했습니다. 256개의 코어에 220억 개의 트랜지스터를 촘촘히 집적한 이 칩은 컴퓨팅과 메모리 모듈을 나란히 배치하여 뇌로부터 신호를 받습니다. 작업에 직면하면 각 코어는 문제의 일부를 맡습니다. 그러나 뇌의 신경 섬유처럼 장거리 연결을 통해 모듈을 연결하여 정보를 교환할 수도 있습니다.
이 연구에 참여하지 않은 캘리포니아대학교 로스앤젤레스 캠퍼스(UCLA)의 수브라마니안 아이어(Subramanian Iyer) 박사와 브와니 로이초두리(Vwani Roychowdhury) 박사는 이러한 공유가 ‘혁신’이라고 말합니다.
이 칩은 점점 더 비용이 많이 들고 전력을 많이 소비하는 AI 모델을 고려할 때 특히 유용합니다. 노스폴은 완전히 디지털화되어 있기 때문에 기존 제조 공정(트랜지스터 패키징 및 유선 연결)과도 잘 맞아떨어져 대규모 생산이 더 쉬워질 수 있습니다.
이 칩은 “에너지, 공간, 시간의 경계에 있는 신경 추론“이라고 저자들은 사이언스지에 게재된 논문에서 설명했습니다.
뇌 vs 기계
달리(DALL-E)에서 ChatGPT에 이르기까지, 생성 AI는 놀라울 정도로 인간과 유사한 텍스트 기반 응답과 이미지로 세상을 놀라게 했습니다.
하지만 연구 저자 다르멘드라 S. 모댜 박사는 생성 AI가 지속 불가능한 길을 걷고 있다고 말합니다. 이 소프트웨어는 웹에서 스크랩한 수십억 개의 예제를 학습하여 응답을 생성합니다. 알고리즘을 생성하고 실행하는 데는 엄청난 양의 컴퓨팅 성능이 필요하므로 비용이 많이 들고 처리 지연이 발생하며 많은 탄소 배출량이 발생합니다.
이러한 인기 있는 AI 모델은 뇌의 내부 작용에서 느슨하게 영감을 받았습니다. 하지만 그것들은 현재 컴퓨터와 잘 맞지 않습니다. 뇌는 기억을 처리하고 같은 위치에 저장합니다. 반면 컴퓨터는 메모리와 처리를 별도의 블록으로 나눕니다. 이러한 설정은 각 계산을 위해 데이터를 주고받기 때문에 트래픽이 쌓여 병목 현상, 지연, 에너지 낭비를 초래할 수 있습니다.
이는 “데이터 이동의 위기”라고 팀은 설명합니다. 따라서 “훨씬 더 계산 효율이 높은 방법”이 필요합니다.
한 가지 아이디어는 뇌가 작동하는 방식과 유사한 아날로그 컴퓨팅 칩을 만드는 것입니다. 이 칩은 전등을 켜고 끄는 스위치처럼 0과 1로 구성된 개별 시스템을 사용하여 데이터를 처리하는 대신 조광기처럼 작동합니다. 각 컴퓨팅 ‘노드’가 여러 상태를 포착할 수 있기 때문에 이러한 유형의 컴퓨팅은 더 빠르고 에너지 효율적입니다.
안타깝게도 아날로그 칩은 오류와 노이즈가 발생하기도 합니다. 조광기로 스위치를 조정하는 것과 마찬가지로 약간의 실수만 있어도 출력이 달라질 수 있습니다. 유연하고 에너지 효율적이지만, 이 칩은 대규모 AI 모델을 처리할 때 작업하기가 어렵습니다.
천생연분
뉴런의 유연성과 디지털 프로세서의 신뢰성을 결합하면 어떨까요?
이것이 바로 노스폴의 추진 컨셉입니다. 그 결과 여러 표준 테스트에서 최고의 GPU를 능가하는 우표 크기의 칩이 탄생했습니다.
연구팀의 첫 번째 단계는 각 코어 내부의 메모리와 컴퓨팅 모듈을 물리적으로 가깝게 유지하면서 데이터 처리를 여러 코어에 분산하는 것이었습니다.
IBM의 TrueNorth와 같은 이전 아날로그 칩은 특수 소재를 사용해 연산과 메모리를 한 곳에 결합했습니다. 노스폴 칩은 비표준 소재를 사용한 아날로그 방식 대신 표준 메모리와 프로세싱 구성 요소를 나란히 배치합니다.
노스폴의 나머지 설계는 뇌의 더 큰 조직에서 차용한 것입니다.
이 칩에는 감각, 추론, 의사 결정을 담당하는 뇌의 가장 바깥쪽 층인 피질과 같은 코어가 분산 배열되어 있습니다. 피질의 각 부분은 서로 다른 유형의 정보를 처리하지만 계산을 공유하고 결과를 전체 영역에 브로드캐스트 합니다.
이러한 통신 채널에서 영감을 얻은 연구팀은 기억의 민주화를 위해 칩에 두 개의 네트워크를 구축했습니다. 대뇌 피질의 뉴런처럼 각 코어는 자체적으로 계산에 액세스할 수 있을 뿐만 아니라 전역 메모리에도 액세스할 수 있습니다. 이 설정은 데이터 처리에서 계층 구조를 제거하여 모든 코어가 동시에 문제를 해결하고 결과를 공유할 수 있도록 함으로써 계산의 일반적인 병목 현상을 제거합니다.
또한 연구팀은 공간과 시간 모두에서 문제를 영리하게 각 코어에 위임하는 소프트웨어를 개발하여 컴퓨팅 리소스가 낭비되거나 서로 충돌하지 않도록 했습니다.
이 소프트웨어는 “[칩] 아키텍처의 모든 기능을 활용” 하는 동시에 “기존 애플리케이션과 워크플로우”를 칩에 통합하는 데 도움이 된다고 논문에서 설명했습니다.
IBM의 두뇌에서 영감을 받은 아날로그 칩인 트루노스에 비해 노스폴은 640배 더 크고 3,000배 더 많은 연산을 수행하는 AI 모델을 지원할 수 있습니다. 트랜지스터 수는 4배에 불과합니다.
디지털 브레인 프로세서
그 다음 연구팀은 노스폴과 여러 GPU 칩을 비교하는 일련의 성능 테스트를 진행했습니다.
노스폴은 동일한 문제에 대해 25배 더 효율적이었습니다. 또한 이 칩은 두 가지 까다로운 AI 벤치마크 테스트에서 GPU에 비해 매우 빠른 속도로 데이터를 처리했습니다.
초기 테스트 결과, 노스폴은 이미 실시간 얼굴 인식이나 언어 해독에 사용할 수 있습니다. 이론적으로는 빠른 응답 시간 덕분에 자율 주행 차량이 순식간에 결정을 내릴 수도 있습니다.
컴퓨터 칩은 기로에 서 있습니다. 일부 전문가들은 칩의 트랜지스터 수가 2년마다 두 배로 증가한다는 무어의 법칙이 이제 한계에 다다랐다고 생각합니다. 아직 초기 단계이지만 뇌와 유사한 하드웨어와 양자 컴퓨팅과 같은 대체 컴퓨팅 구조가 각광받고 있습니다.
하지만 노스폴은 반도체 기술이 여전히 많은 가능성을 가지고 있음을 보여줍니다. 현재 이 칩에는 평방 밀리 미터당 3,700만 개의 트랜지스터가 있습니다. 하지만 예상에 따르면 20억 개까지 쉽게 확장할 수 있어 단일 칩에서 더 큰 알고리즘을 실행할 수 있습니다.
“아키텍처는 무어의 법칙을 능가합니다.“라고 연구팀은 말합니다.
연구팀은 노스폴과 같은 칩 설계의 혁신이 점점 더 강력해지지만 리소스를 많이 소모하는 AI 개발에 단기적인 솔루션을 제공할 수 있다고 믿습니다.
< 참고 : This Brain-Like IBM Chip Could Drastically Cut the Cost of AI >
