HBM 메모리, 인공지능(AI)을 업그레이드 하다

AI가 떠오르면, 같이 팔릴 수 있는 메모

2021년 10월 SK하이닉스가 현존하는 최고 사양 D램인 HBM3를 업계 최초로 개발했다. HBM3는 4세대 HBM이고, 꼭 SK하이닉스만 만들 수 잇는 D램은 아니다. 아무튼 SK하이닉스는 HBM3가 고성능 데이터센터에 탑재되고, 인공지능의 완성도를 높이는 머신러닝 및 슈퍼컴퓨터에  적용될 것이라고 전망했다. SK하이닉스는 2013년 세계 최초로 AMD와 함께 HBM을 개발 및 양산한 바 있다. 

삼성전자도 AI 서버용 D램 출시에 진심이다. 삼성전자는 HBM-PIM(지능형 메모리)를 개발했다. AMD의 GPU에 AI 가속기를 납품. HBM은 D램 여러 개를 수직으로 연결해 기존 D램보다 데이터 처리 속도를 대폭 끌어올린 것이다. PIM은 데이터를 임시 저장하기만 하던 메모리 반도체에 연산 기능을 추가한 것이다. CPU나 GPU와 함께 장착하면 연산 속도가 빨라진다. SK하이닉스도 PIM을 적용한 제품이 있다. 

 

AI에 왜 HBM 최고사양이 필요할까? 

D램은 기억을 담당하는 부품인데, 전력이 공급되는 동안에 데이터를 보관할 수 있다. CPU로부터 전송된 데이터를 임시 보관하는 역할을 한다. AI가 학습을 하려면 데이터를 순서대로 처리하는 CPU보다 다량의 데이터를 처리할 수 있는 GPU가 필요하고, 데이터를 저장할 수 있는 메모리가 필요한데, D램을 사용한다. 이 과정에서 GPU는 D램에 저장된 명령을 가져와 연산하는 식으로 데이터를 처리한다. 

원래 HBM은 D램과 비교했을 때, 활용도가 낮았다. 생산공정도 복잡하고 평균판매단가 높다. 최근 AI 서비스가 확대되면서 비싸더라도 성능을 내기 위해 HBM을 사용하려는 수요가 증가하고 있다. HBM3의 가격은 최고 성능 D램과 비교해서 최대 다섯 배 수준으로 상승하기도 했고, 삼성이나, SK하이닉스가 생각한 것보다 해당 시장의 성장이 두 배 이상 빠른 상황이다. 

요즘 화재가되는 오픈AI 회사가 개발한 챗GPT의 경우 학습 과정에서 엔비디아의 A100 GPU를 활용했고, SK하이닉스의 HBM2(3세대) 메모리를 활용했다. 최근 엔비디아는 A100에 이어 H100 제품도 챗GPT 서버용으로 납품하기 시작했다. H100 제품에는 SK하이닉스의 HBM3 메모리가 탑재되고 있다. 

APU와 TPU 그리고 GPU

데이터 처리에 특화된 반도체들이 등장하면서 HBM의 중요성도 더 커질 것이다. 대표적으로 요즘 APU라고 하는 (액셀러이트)가속화하는 반도체가 있다. CPU와 GPU를 융합시킨 것이라고 보면 된다. CPU랑 GPU를 같이 묶은 APU는 주로 노트북이나 스마트폰에 사용된다. AMD CPU가 탑재된 노트북을 사용하면 게임이 상대적으로 잘 돌아가는 것을 경험할 수 있는데, CPU 안에 GPU를 넣은 APU이기 때문에 그렇다. 

일반적으로 데이터를 순서대로 처리하는 CPU보다 동시에 처리 가능한 GPU가 AI 분야에서 훨씬 장점을 보이는데, TPU는 이런 GPU에 대항할 수 있는 구글의 반도체이다. TPU는 머신러닝 과정에서 생기는 작업 부하를 빠르게 처리하는 역할을 한다. 어떤 작업에 있어서 GPU는 6주가 걸리는 것을 TPU는 몇 시간만에 해냈다고 한다. 구글의 알파고도 GPU가 아니라 TPU로 구현됐다. 한정된 상황에서 진행한 실험에서는 TPU가 GPU보다 10배 빨랐다고 한다. 

APU를 사용하던, TPU를 사용하던, GPU를 사용하던, 머신러닝의 효율을 향상시키기 위해서는 하드웨어적 업그레이드가 필요하고, HBM이 업그레이드를 해줄 수 있다는 결론이 선다. 

AI(인공지능) 기업 솔트룩스가 주목받는 이유