PIM 반도체 원리 구조 향후 전망

PIM 반도체, 차세대 AI 메모리라 불리고 있습니다. PIM의 현황과 향후 발전 방향을 알아 봅니다.

PIM 반도체 주목 받게 된 이유

우리가 쓰는 스마트폰, 태블릿 그리고 PC까지 이른바 모든 스마트 기기들은 프로세서와 메모리로 만들어지는 폰 노이만 방식을 사용하고 있습니다.

폰 노이만(John von Neumann) 방식의 컴퓨팅 아키텍처는 중앙처리장치(CPU), 메모리, 입출력장치 등으로 이루어진 구조입니다. 

이 구조는 프로그램과 데이터를 동일한 메모리 공간에 저장하고, 저장된 정보를 순차적으로 처리하는 방식을 가지고 있습니다.

정보를 어디에서 가져오고 가져온 정보를 가공하고 가공된 정보를 다시 저장하는 일의 연속입니다.

따라서 정보의 양과 정보가 흘러 다니는 길이 좁으면 정보가 전달되는 동안 이와 관련된 장치들은 일을 하지 않고 전기만 “태우고” 있게 됩니다. 

치명적 단점인 병목 현상

이런 현상을 “병목”이라고 부릅니다.

메모리와 프로세서 간의 데이터 이동이 느려질 수 있습니다.

성능 면에서 제한을 받을 수 있으며, 느려지는 속도로 인하여 전체적인 전력 소비에 영향을 미칠 수 있습니다. 

이런 병목 현상은 요즘 ChatGPT와 같은 생성형 인공지능 개발 속도에 영향을 미치고 있습니다.

생성형 인공지능을 이야기 할 때 이른바 “파라미터의 개수”가 중요한 품질의 기준으로 여겨지고 있으며, 최근 서비스를 하고 있는 생성형 인공지능은 적어도 수십조개의 파라미터를 사용합니다.

인공지능 소프트웨어의 성능을 규정하는 수십조개의 정확한 파라미터 값을 얻기 위해 엄청난 양의 정보를 인공 지능에 제공하고 계산 결과로 나오는 답변을 조정하는 작업을 적어도 수개월에서 몇년 동안 진행합니다. 

결국 속도와 시간의 싸움입니다. 이 경쟁에서 병목은 제품개발 속도를 방해하는 중요 요소입니다.

이런 문제점을 해결하기 위해 뇌 구조와 유사한 메모리 중심 컴퓨팅으로 전환하여 연산과 저장 기능을 통합한 PIM(Processing-In-Memory) 기술이 논의 되어 왔습니다.

PIM 반도체 기본 동작 원리

Processing in Memory (PIM) 기술은 CPU와 메모리 간의 데이터 이동을 줄여 성능과 에너지 효율성을 향상시키기 위해 메모리 칩에 직접 처리 기능을 통합하는 다양한 아키텍처와 디자인을 포함합니다. 다음은 PIM 구현의 주요 유형입니다

Near-Memory Processing (NMP)

NMP는 처리 요소를 메모리 셀 자체 내부가 아닌 메모리 배열에 가깝게 배치하는 것을 말합니다.

이 접근 방식은 일정 수준의 병렬 처리를 가능하게 하며 메모리 모듈 내의 높은 대역폭을 활용할 수 있습니다.

In-Memory Computing (IMC)

IMC는 메모리 배열 내에 계산 논리를 통합하여 메모리 셀에 저장된 데이터에 대해 직접 연산을 수행할 수 있게 합니다.

기계 학습 및 과학 컴퓨팅에서 흔히 볼 수 있는 벡터 연산 및 행렬 곱셈과 같은 특정 워크로드에 대해 상당한 성능 향상이 가능니다..

Computational RAM (CRAM)

CRAM은 메모리 셀이 간단한 계산을 수행하도록 설계된 PIM 유형입니다.

이는 비트 연산과 같이 많은 수의 메모리 셀에 걸쳐 병렬화될 수 있는 연산에 특히 효과적일 수 있습니다.

Hybrid Memory Cube (HMC) 및 High Bandwidth Memory (HBM)

HMC와 HBM 모두 로직 레이어 위에 쌓인 DRAM 셀의 레이어를 포함하는 3D 스택 메모리 기술입니다.

로직 레이어에는 PIM 기능을 가능하게 하는 처리 요소가 포함될 수 있습니다.

이 기술들은 높은 대역폭을 제공하며 PIM 애플리케이션에 사용될 수 있습니다.

3D-Stacked PIM

각 처리 로직이 스택의 각 레이어에 통합되어 있는 3D 메모리 스택 접근 방식의 확장입니다.

비휘발성 메모리를 위한 PIM

PIM은 Phase-Change Memory (PCM), Resistive RAM (ReRAM), Magnetoresistive RAM (MRAM)과 같은 비휘발성 메모리 기술에 대해서도 탐구되고 있습니다. 이러한 메모리는 전력 없이도 데이터를 유지하며 저장된 데이터에 대한 계산을 수행할 수 있어, 지속적인 컴퓨팅 패러다임을 제공할 수 있습니다.

이러한 PIM 유형 각각은 고유한 장점과 도전 과제를 가지고 있습니다. 예를 들어, IMC는 데이터 집약적인 연산에 대해 상당한 속도 향상을 제공할 수 있지만, 메모리 셀 설계와 제조 공정에 상당한 변경이 필요할 수 있습니다. 반면에 NMP는 기존 기술과의 호환성을 더 쉽게 구현할 수 있지만 IMC만큼의 성능 이점을 제공하지 않을 수 있습니다.

PIM 반도체 주요 공급사

SK하이닉스와 삼성 반도체가 제공하는 PIM(Processing-In-Memory) 제품입니다:

• 제품명
  • SK하이닉스: GDDR6-AiM
  • 삼성 반도체: AiMX
• 기술적 차이
  • SK하이닉스의 GDDR6-AiM은 그래픽용 메모리(GDDR)를 기반으로 행렬 및 벡터연산기를 추가한 PIM 기술을 사용하여, 그래픽 및 AI 응용에 중점을 둔 제품으로 보고되고 있습니다.
  • 삼성 반도체의 AiMX는 더 넓은 범위의 응용을 대상으로 하는 것으로 보고되었으며, 이에 대한 상세한 기술적 차이는 명시 되지 않았습니다.

PIM 반도체 향후 전망

결론적으로, PIM 기술은 모든 상황에 맞는 해결책이 아니라 특정 애플리케이션과 워크로드에 맞춰 조정될 수 있는 다양한 아키텍처를 포함합니다. PIM 유형의 선택은 원하는 성능 향상, 에너지 효율성 개선 및 메모리 기술과 처리 기능을 통합할 수 있는 실현 가능성 사이의 균형에 따라 달라집니다.

아울러 대한민국의 강점인 DRAM 제조의 측면에서 강점이 있는 In-Memory Computing의 경우, DRAM의 독자적인 기술발전으로 달성될 수 있는 것이 아니라 콘트롤러 역할을 수행하는 엔비디아나 AMD가 어떤 기술을 채용하는지가 중요합니다.

AI 반도체 제조사들과의 지속적인 협업과 파트너쉽이 중요한 이유입니다.