'초거대 AI' 마주한 메모리…삼성 "PIM·PNM 초격차 대응"

삼성전자, 블로그 통해 차세대 AI 대응 첨단 메모리 기술 공개

HBM과 HBM-PIM 차이 설명 이미지 / 제공=삼성전자

[아시아경제 김평화 기자] 인공지능(AI) 기술이 빠른 속도로 발전하면서 메모리 반도체 분야에도 성능 과제가 대두하고 있다. 메모리 시장 1위 사업자인 삼성전자는 'HBM-PIM'과 'CXL 기반 PNM' 등 차세대 기술로 해당 요구에 대응, 업계 선도를 유지한다는 계획이다. 향후 IT 업계, 학계와 소통하며 관련 기술 확산에도 힘쓴다.

삼성전자는 20일 자사 블로그에 '삼성전자 반도체, 차세대 AI를 위한 첨단 메모리 기술 공개' 제목으로 게시글을 올려 이같은 내용을 공유했다.

삼성전자에 따르면 최근 AI 분야 화제는 '초거대 AI'다. 초거대 AI는 기존 AI에서 한 단계 진화해 인간의 뇌처럼 스스로 학습해 사고, 판단하는 수준을 이른다. 이같은 수준의 AI를 구현하려면 기존 대비 더 많은 대용량 데이터를 통한 학습과 연산이 필요하다. 이를 수행할 컴퓨팅 인프라도 필수다. 컴퓨팅 성능을 뒷받침할 충분한 D램 용량과 대역폭을 제공하는 것이 메모리 업계 숙제가 된 배경이다.

삼성전자는 초거대 AI를 지원하고자 프로세싱인메모리(PIM)와 프로세싱니어메모리(PNM) 해법을 내놨다. 관련 기술을 활용한 메모리 솔루션도 확보했다. 이를 구현하는 데 필요한 소프트웨어 표준화도 완료한 상태다.

HBM-PIM 적용 GPU 가속기, 1년간 2100GWh 절감

PIM은 프로세서가 수행하는 데이터 연산 기능을 메모리 내부에 구현한 기술이다. PIM이 없는 시스템에선 프로세서와 메모리 간 다량의 데이터 이동이 일어나면서 처리하는 데이터가 과도할 경우 병목현상이 나타날 수 있다. PIM은 이를 해결하고자 메모리 내부에서 연산을 처리한다. 그만큼 데이터 이동이 줄어들기에 AI 가속기(AI 실행을 위한 전용 하드웨어) 시스템의 성능과 에너지 효율을 높일 수 있다.

삼성전자는 이같은 기술을 활용해 지난해 2월 고대역폭메모리(HBM)-PIM을 선보였다. HBM은 고성능 컴퓨팅(HPC) 등에 쓰이는 메모리다. 삼성전자는 HBM2 아쿠아볼트(Aquabolt)에 AI 프로세서를 더해 차세대 메모리를 선보였다. HBM-PIM은 기존 HBM2 대비 성능은 2배 높고 시스템 에너지는 70% 감소한 것이 특징이다.

삼성전자는 미 반도체 기업 AMD와 협력해 AMD의 그래픽처리장치(GPU) 'MI-100' 가속기 카드에 HBM-PIM 메모리를 탑재하기도 했다. 이후 HBM-PIM 클러스터를 구현해 대규모 AI 및 HPC 애플리케이션에 적용한 결과, 기존 GPU 가속기 대비 성능은 2배 늘고 에너지 소모는 50% 감소한 것을 확인했다.

삼성전자 측은 "8개 GPU 가속기로 시스템 구성해 대용량 AI 언어 모델을 학습한 결과, HBM-PIM을 탑재한 GPU를 사용했을 때 (HBM 탑재 대비) 1년 동안 사용하는 에너지를 2100기가와트(GWh) 절감할 수 있는 것으로 확인했다"며 "2100GWh의 에너지 사용을 절감하면 탄소 배출량을 약 96만톤 줄일 수 있으며 이는 약 1억 그루 소나무가 1년 동안 흡수하는 탄소보다 많다"고 설명했다.

삼성전자는 HBM-PIM을 활용하면 초거대 AI와 관련해 직면하는 데이터센터 과제가 상당수 해결될 수 있을 것으로 봤다. 이에 HBM-PIM 사용을 위한 소프트웨어 지원에도 나섰다. 삼성전자는 개방형 소프트웨어 표준(SYCL)을 활용해 GPU 가속기에서 사용할 수 있는 소프트웨어 사양을 정의했다. 이를 바탕으로 한 소프트웨어는 내달 공개 예정이다.

CXL 품은 PNM으로 성능 2배 ↑

삼성전자 내놓은 또 다른 카드는 PNM이다. PNM은 PIM처럼 메모리에 데이터 연산 기능을 활용해 그래픽처리장치(CPU)와 메모리 간 데이터 이동을 줄여주는 기술이다. PIM이 메모리 안에서 연산 기능을 수행한다면, PNM은 메모리 옆에 연산 기능을 두는 것이 차이점이다. CPU와 메모리 간 발생하는 병목 현상을 줄여 시스템 성능을 높이려는 목적은 동일하다.

삼성전자는 PNM을 활용하고자 컴퓨트 익스프레스 링크(CXL)에 주목했다. CXL은 컴퓨팅 시스템에서 프로세서와 함께 사용되는 가속기, 메모리 등을 효율적으로 사용하도록 새롭게 제안된 인터페이스다. 기존 메모리 용량의 물리적 한계를 극복해 용량 확장을 돕는 역할을 한다.

삼성전자는 고용량 AI 모델 처리에 적합하도록 CXL 인터페이스 기반의 PNM 기술을 개발했다. 높은 메모리 대역폭을 요구하는 추천 시스템이나 인-메모리 데이터베이스 등의 응용에서 2배 이상의 성능을 보인 기술이다. 삼성전자는 이달 초 미국 실리콘밸리에서 개최한 '삼성 테크 데이 2022'서 업계 최초로 해당 기술을 공개한 바 있다.

삼성전자는 향후 HBM-PIM과 CXL 기반 PNM 기술을 확산하고자 IT 업계 및 학계와 적극적으로 소통할 계획이다. HBM-PIM과 CXL 기반의 PNM 솔루션을 지원하는 통합 소프트웨어도 공개 예정이다. 업계 최대 슈퍼 컴퓨팅 학회로 내달 13일(현지시각) 미국 텍사스에서 열리는 SC22에도 참가해 해당 솔루션을 전시, 시연할 예정이다.

박철민 삼성전자 메모리사업부 신사업기획팀장(상무)은 "HBM-PIM 클러스터 기술은 업계 최초의 거대 규모 AI 맞춤형 메모리 솔루션"이라며 "통합 소프트웨어 표준화 과정을 거쳐 CXL-PNM 솔루션과도 접목, 에너지 절감과 탄소 배출 저감 효과를 극대화해 친환경 경영에 기여하고자 한다"고 말했다.

김평화 기자 peace@asiae.co.kr