D램, HBM, CXL 반도체 이야기

 

D램[Dynamic Random Access Memory, 동적 메모리]

 

용량이 크고 속도가 빠르기 때문에 컴퓨터의 주력 메모리로 사용되는 램.

 

램은 정보를 기록하고 기록해 둔 정보를 읽거나 수정할 수 있는 메모리로, 전원을 공급하는 한 데이터를 보존하는 S램과 시간이 흐름에 따라 데이터가 소멸되는 D램이 있다.

D램은 전원이 차단될 경우 저장된 데이터가 소멸되는 휘발성 기억소자이며, 시간이 지나면서 축적된 전하가 감소되기 때문에 전원이 차단되지 않더라도 저장된 데이터가 자연히 소멸되는 단점이 있다. 따라서 D램은 일정 시간마다 데이터를 유지해주는 기능인 리프레시가 필요하다.

D램은 정보를 저장하는 방인 셀을 가지고 있는데, 메모리셀은 트랜지스터와 커패시터 각각 1개로 구성된다. 커패시터는 전하의 유무에 따라 디지털 정보의 기본 단위인 0 혹은 1이라는 정보를 저장하고 이 두 숫자를 판별하는 방식으로 데이터를 저장한다.

하지만, 시간이 지나면서 커패시터의 전자가 누전되어 데이터를 유지하는 시간이 짧아지는데, 이를 방지하기 위해서 커패시터에 주기적으로 리프레시(재생)를 시켜 데이터를 상기시켜 주는 것이다.

 

CXL [Computer Express Link ]

 

메모리채널과 다른 장치를 효율적으로 연결하는 고속 인터페이스

 

최근 빅데이터 기반의 서비스가 확장되면서 메모리 성능에 대한 요구가 끝없이 늘어나고 있다. ‘반도Chat’ 시리즈 다섯 번째 이야기의 주제는 기존 메모리의 한계를 극복하고, 미래 메모리 기술 개발에 핵심이 될 새로운 인터페이스, ‘CXL’이다.

인공 지능, 머신 러닝 등의 기술 발전으로 처리해야 할 데이터양이 폭증하면서, 고성능 CPU는 빠른 데이터 처리를 위해 단일 칩에 점점 더 많은 코어(Core)를 통합하고 있다. 특히 AI 서비스를 위한 고성능 CPU에는 100개가 넘는 코어가 존재한다. 코어 수가 증가할수록 각 코어를 담당할 충분한 메모리가 필요한데, 현재 위와 같은 상황으로 인해 고속 인터페이스를 사용하고 용량 확장이 용이한 메모리 제품에 대한 수요가 급증하고 있다.

그러나 기존에 사용되어 온 DDR 인터페이스 기반의 D램은 한정된 범위 내에서만 용량을 확장할 수 있어 AI 서비스에 필요한 성능을 충족시키지 못했다.

이로 인해 기존 메모리 성능과 고성능 CPU 간에 격차가 생기면서 병목 현상이 발생하게 되었고, 이 한계를 넘어서기 위해서는 완전히 새로운 인터페이스가 필요했다. 그렇게 삼성전자 반도체는 ‘CXL’이라는 차세대 인터페이스를 메모리 설계에 도입하기 시작했다.

빠르게 연결해서 연산한다’는 의미를 지닌 CXL(Compute Express Link)은 CPU, GPU, 스토리지 등의 다양한 장치를 효율적으로 묶어, 보다 빠른 연산 처리를 가능하게 하는 차세대 인터페이스다.

기존에는 각 장치마다 별도의 인터페이스가 존재해 서로 다른 인터페이스 간의 효율적인 연결이 어려웠으며, 각 장치 간 통신 시 다수의 인터페이스를 통과하는 과정에서 지연 현상이 발생했다.

반면 CXL은 다수의 장치를 하나의 인터페이스로 통합해 여러 장치가 한 번에 연결되게 함으로써 데이터 처리 속도를 높이고, 시스템 용량과 대역폭을 확장할 수 있는 기반을 제공한다. 이러한 획기적인 기술은 무수히 많은 양의 데이터가 막힘없이 효율적으로 오갈 수 있는 고속도로가 되어주고 있다.

 

HBM [High Bandwidth Memory]

 

초거대 AI 기술 발전의 핵심인 메모리 반도체.

 

HBM(High Bandwidth Memory)은 이름 그대로 넓은 대역폭을 지닌 메모리를 뜻한다. 여기서 ‘대역폭’이란 주어진 시간 내에 데이터를 전송하는 속도나 처리량, 즉 데이터 운반 능력을 의미한다. HBM은 현재 메모리 시장에서 가장 넓은 대역폭을 지닌 메모리 반도체인데, 간단히 이야기하면 메모리 중 데이터를 가장 빠르게 처리하고 전송할 수 있다는 것이다. 이로써 HBM은 응용처의 성능과 전력 효율 향상에 기여할 수 있게 된다.

초거대 AI란 딥러닝으로 대용량 데이터를 스스로 학습해 인간처럼 종합적 추론이 가능한 차세대 AI를 말한다. 챗GPT가 인간과 유사한 수준으로 질문에 적절하게 응답하는 것도 파라미터(parameter, 매개 변수)가 1,750억 개에 달하는 수많은 데이터를 학습한 언어모델이기 때문이다.

‘챗GPT’, ‘DALL·E’, ‘Bard’의 등장과 같이 AI 서비스 종류가 다양해지고 고도화될수록, 메모리 반도체가 수행해야 할 역할도 더욱 확장되고 있다. AI 서비스를 원활하게 구현하려면 대량의 데이터를 기반으로 여러 연산을 동시에 빠르게 수행하는 능력이 필요하기 때문이다.

이러한 상황에서 반도체 업계는 ‘AI 서비스와 함께 폭발적으로 증가하는 데이터를 어떻게 효율적이고, 빠르게 처리할 것인가’에 대한 해답을 찾게 된다. 차원이 다른 고성능 기술을 제공하는 AI 시대의 핵심 반도체, ‘HBM’이 바로 그것이다.

HBM(High Bandwidth Memory)은 이름 그대로 넓은 대역폭을 지닌 메모리를 뜻한다. 여기서 ‘대역폭’이란 주어진 시간 내에 데이터를 전송하는 속도나 처리량, 즉 데이터 운반 능력을 의미한다. HBM은 현재 메모리 시장에서 가장 넓은 대역폭을 지닌 메모리 반도체인데, 간단히 이야기하면 메모리 중 데이터를 가장 빠르게 처리하고 전송할 수 있다는 것이다. 이로써 HBM은 응용처의 성능과 전력 효율 향상에 기여할 수 있게 된다.

.

MAP 3. 처리 속도, 전력 효율 모두 잡은 HBM 속 숨은 기술

주로 게임이나 그래픽 작업과 같은 고성능 그래픽 분야에 활용되는 GDDR은 비교적 낮은 비용으로 높은 성능과 용량을 제공할 수 있다. 한편, HBM은 GDDR 대비 상대적으로 제조 과정이 복잡하고 비용이 높을 수 있지만, 더 높은 에너지 효율을 기반으로 HPC·AI 응용 수준의 높은 대역폭을 제공할 수 있다.

이는 HBM에 TSV(Through Silicon Via)라는 기술이 적용됐기 때문이다. TSV는 메모리 칩을 수직으로 쌓고, 적층된 칩 사이에 얇은 금속 터널을 만들어 전기적 신호가 칩 간 직접 전달되게 하는 패키징 기술이다. 이로써 데이터 전송 속도의 지연을 최소화하고, 적은 전력으로 많은 양의 데이터를 처리할 수 있게 된다. 한편, HBM에는 CoW(Chip on Wafer)  기술과 TCB(Thermal Compression Bonding) 기술도 적용되었다. CoW는 이름 그대로 웨이퍼 위에 칩을 붙이는 기술을 의미하며, TCB는 TSV가 적용된 얇은 칩이 전기적으로 연결될 수 있게 정밀하게 쌓아 올리는 패키징 기술을 말한다.

 

 

 

출처-삼성전자 반도체 뉴스룸