[분석정보] GPU의 메모리 대역을 1TB/sec로 끌어올리는 HBM 준비 완료

 

SK 하이닉스에 이어 삼성도 생산 준비가 되었다고 설명

 차세대 광대역 메모리 HBM (High Bandwidth Memory)이 이륙하려 한다. HBM은 이미 SK Hynix가 제품화를 진행하고 있으며, 내년 (2015년) 1분기부터 양산 출하를​​ 시작한다. Samsung도 SK Hynix에 이어 HBM의 제조 준비를 하고 있는 것을 밝혔다.

 

 스택형의 새로운 메모리 규격에는 HBM과 HMC (Hybrid Memory Cube)가 있는데, Samsung은 HBM을 제안한다고 JS Choi 씨 (Samsung Semiconductor)는 메모리 관련 컨퍼런스 "MemCon 2014" 에서 말했다. HBM 쪽이 시장의 적용범위가 보다 넓기 때문이라 한다. HBM은 그래픽부터 시작하지만, 네트워크나 HPC (High Performance Computing) 등, 더 많은 메모리 응용 프로그램이 기대 가능하다고 삼성은 본다. HMC는 HPC에 채용되고 있지만, 시장성은 HBM보다 좁다는 분석이라고 보여진다.

 

 그래픽 시장에서의 HBM의 큰 이점은, 한계에 있는 GDDR5보다 넓은 메모리 대역과 낮은 소비 전력이다. 그러나 그래픽뿐만은 아닌 네트워크 장비도 HBM의 유망한 시장이라고 Samsung는 설명한다.

 

 

HBM은 네트워크 장비도 대상으로

 

 

 

 

 

HBM의 개요

 

 데이터 센터의 네트워크 어플리케이션에서는 현재 10Gigabit Ethernet이 가장 대중적이지만, 후면에서는 더 고속인 100Gbit부터 한층 고속인 200Gbit와 400Gbbit가 침투 할 전망이라고 한다. 따라서 조회 (Lookup) 및 패킷에 대한 버퍼로 고성능 메모리가 필요하게 된다. 현재 네트워크 장비에서는 커스텀 메모리 (RLDRAM 등)을 사용하거나, 기존의 메모리를 많은 채널로 사용하고 있어, 시스템 비용이 높게 붙는다. HBM은 이 문제를 해결 가능하다고 Samsung의 Choi 씨는 말한다.

 

 한편, HPC (High Performance Computing) 시장에서도 HBM은 유망하다고 Samsung의 Choi 씨는 말한다. "테라 스케일 HPC의 세계에서 가장 중요한 사항은 소비 전력을 줄이는 것이기 때문"으로, 대역 당 전력을 큰폭으로 줄일 수 있는 HBM이 이점이 있다고 한다. 또 설치 면적이 좁은 것도 HBM의 이점으로, 복수의 스택을 쓰는 것으로, 작은 면적에 4TB의 메모리를 설치 가능하다고 설명한다. HPC에서 HBM의 난점인 ECC의 문제도, JEDEC (반도체 표준화 단체)에서 ECC가 규격에 더해진 것으로 해결 했다고 한다.

 

 

메모리 버스 폭 로드맵

 

 

 

 

대역 당 전력을 40% 나 줄일 수 있는 점이 HBM의 매력

 

 

열전도를 위한 더미 범프도 배치

 

 HBM 대해 남은 문제는 발열이나 비용, 제조 공정이나 생태계 등이다.

 

HBM은 DRAM 다이를 최대 8개 적층한 스택으로 하기 때문에, 표면적이 작은 스택의 열이 문제가 되기 쉽다. 문제는 DRAM이 열에 약한 것. 온도가 올라가면 누설 전류 (Leakage)가 늘어나서, DRAM 메모리 셀부터 누수가 증가한다. 그러면 DRAM의 메모리 내용을 유지하기 위해서 리프레시 횟수를 늘리지 않으면 안된다. 그러나 리프레시가 한층 열을 올려 버린다. (전통적으로 램은 두가지로 나뉘는데, SRAM과 DRAM으로 나뉩니다. Static RAM(Random Access Memory)은 플립플롭 구성으로 리프레시가 필요없어, 전원이 연결되어 있으면 내용을 항상 기억하며 매우 빠르지만, 용량에 비해서 크기가 매우 큽니다 (대용량 불가). 주로 CPU의 캐시에 사용. Dynamic RAM은 커패시터 구조로 시간이 지나면 자연히 램에 저정된 내용이 사라지기(방전) 때문에, 주기적으로 리프레시(재 기록, 재 충전)을 해줘야 내용을 유지할 수 있습니다. 속도가 느리지만, 용량에 비해서 크기가 작아 (대용량 가능) 메인 메모리로 사용 합니다. SDRAM, DDR SDRAM (1,2,3,4) 등은 DRAM의 종류)

 

 "DRAM의 경우는 85℃ 까지의 온도로 멈추는 것이 바람직하다. 95 ℃로 다소 고온에서 누설 전류가 늘어나서 리프레시 모드의 최적화가 필요하게 된다. 105 ℃에 이르면 매우 고온으로 (빈번한) 리프레싱이 필요하게 된다. 따라서 다이 온도를 낮추기 위한 효과적인 쿨링 솔루션이 필요하게 된다"고 AMD의 Joe Macri 씨 (CVP and Product CTO)는 설명한다.

 

 Samsung은 Memcon에서 2.5D 솔루션인 HBM의 온도 측정 결과의 개요를 보여 주었다. 그 위에, 효과적인 서멀 솔루션 기술의 모두를 HBM에 투입한 결과, 4 스택에서는 모든 다이가 양호한 온도로 수습되는 것이 검증 되었다고 설명했다. Samsung에 따르면, HBM에서 열은 이미 문제는 없다고 한다.

 

 

Samsung에 의한 2.5D 솔루션에서의 HBM의 열 테스트 결과

 

 HBM에서의 열 관리 기술의 일부에 관해서는 SK Hynix가 올해 (2014년) 8월의 Hot Chips에서 설명했다. DRAM의 실리콘 자체는​​ 열 전도성이 좋고, TSV와 마이크로 범프도 열 전도성이 좋다. 그러나 HBM의 DRAM 스택은 TSV 이외의 부분에서는 완전하게 다이끼리 밀착되어 있는 것은 아니고, 따라서 다이 사이의 열 전도 효율은 낮다. 결과적으로, 통상 HBM 같은 TSV에 의한 스택을 만들면, 최하층의 로직 다이의 온도가 매우 높아져, 그 위의 DRAM 다이의 온도도 위험 단계인 95 ℃ 이상으로 올라 버린다.

 

 

더미 범프에 의해 열전도를 높이고 폐열 효율을 높이기

 

 그래서 SK Hynix는 다이 사이에 열 전도용 더미 범프를 배치했다고 한다. 신호 전달은하지 않고, 열 전도만을 위한 범프다. 이 더미 범프에 의해서, 다이 사이의 열전도가 극적으로 개선 되어, 폐열이 양호하게 처리되도록 한다. 또 더미 범프이므로 기계적인 신뢰성의 문제도 발생하지 않는다고 한다.

 

 

싱글 뱅크 리프레시를 지원

 

 참고로, 리프레시에 관해서는, HBM은 온도에 따라 리프레시율을 변화시키는 "Temperature Compensated Self Refresh"를 지원한다. 윗 단에서 Macri 씨가 언급한 것이 그 기능이다.

 

 

 

 또한 GDDR5와 달리 HBM에서는 리프레시 동작도 뱅크 단위로 개별적으로 하는 "Single-Bank Refresh"를 지원한다. 기존의 PC용 DRAM은, DRAM 칩 전체에서 리프레시 동작을 하는 사양으로 되어 있었다. 리프레시 동작 중에는 데이터 액세스가 가능하지 않기 때문에 메모리의 실효 대역이 먹히고 있었다. 반면, HBM은 개별 뱅크 단위로 리프레시를 할 수 있다.

 

 

 

 

 

 

DRAM의 효율을 높이는 싱글 뱅크 리프레시

 HBM은 1 스택에서 8 채널 구성에서, 채널 당 8 또는 16 뱅크. 하나의 뱅크를 리프레시 하는 사이, 다른 뱅크에 명령 발행과 동작을 병렬하는 것이 가능하다. 따라서 대역과 지연이 개선된다.

 

 

 

 

인터포저 비용은 양산 효과로 절감을 기대

 HBM의 비용에 대해서는 여전히 문제가 남아있다. 현재 HBM 제품은 DRAM 다이 스택에 로직 인터페이스 다이, 그리고 실리콘 인터포저를 사용한다. 단순한 다이 코스트만으로도, 로직 다이와 실리콘 인터포저의 비용이 DRAM 비용에 더해진다.

 

 HBM은 Through Silicon Via (TSV) 기술에 의한 다이 스태킹 기술을 사용하지만, TSV 스택에는 CPU나 GPU에 직접 D​​RAM 다이를 적층하는 "3D"와 실리콘 인터포저 위에 CPU나 GPU와 DRAM 스택을 나란히 연결 하는 방법 "2.5D"의 두가지 방법이 있다. 3D 스태킹에서는 GPU / CPU / SoC의 로직 칩 측에도 TSV로 홀을 비울 필요가 있다. 반면 2.5D라면 로직칩 측에는 TSV의 구멍을 열지 않아도 되기 때문에 CPU나 GPU 메이커가 적용하기 쉽다.

 

 

2.5D와 3D 솔루션의 차이

실리콘 인터포저는 위의 그림처럼 TSV에 의한 Via가 열려 배선이 되는 실리콘 칩이다. 인터포저 위에 CPU나 GPU 등의 로직 칩과 DRAM 칩을 얹는다. 양쪽이 인터포저와 마이크로 범프로 연결한다. DRAM 스택하는 경우는 TSV로 스택한다. 인터포저 자체는 통상의 범프로 PCB에 연결한다.

 

 

HBM의 2.5D 솔루션

 HBM이 2.5D에 주력하는 이유는 두가지 있다. 하나는 폐열의 문제로 전력 소비가 큰 고성능 GPU / CPU / SoC의 열을, 열에 약한 DRAM 통해서 방열하기 어려운 점. 또 하나는 첨단 공정 기술에서 TSV를 이용 가능하려면 시간과 비용이 걸리는 것이다. AMD의 Joe Macri 씨 (CVP and Product CTO)는 다음과 같이 설명한다.

 

 "HBM DRAM 자체에는 인터포저로 안하면 안된다는 제약은 없다. HBM에는 인터포저와 3D 스택의 양쪽 솔루션도 모두 가능하다. 어느쪽도 절충이 있다 .3D는 고성능인 로직 다이 Through Silicon Via (TSV)를 사용 비용이 든다, 2.5D는 패시브 또는 세미 패시브 인터포저를 사용 비용이 든다. 그것의 절충이다.

 

 인터포자의 비용에 대해서는, 생산 볼륨이 증가하는 것으로 비용이 내려간다고 한다. 장기적으로는 인터포저 비용의 문제는 해결된다고 생각한다. 다만 단기적으로는 인터포저에 의해서 오르는 비용을 더 높은 성능으로 정당화 시키지 않으면 안된다.

 

 또 FinFET 처럼 복잡한 공정에서는 Through Silicon Via (TSV)의 홀을 비우는 것이 더 어려워진다. 실리콘에 대해 압박인 공정에 대해서도 제어가 필요하다. 비용의 절충은 경우마다 달라, 인터포저 쪽이 비용이 낮은 경우도, 3D 스택의 쪽이 비용이 낮은 경우도 있다. 그래서 양쪽의 옵션을 사용할 수 있도록 하는 것이 중요하다."

 

 제조 볼륨이 늘어나는 것과 함께 TSV 인터포저 비용도 내려갈 것이라는 전망은 Samsung과 SK Hynix도 말했다.

 

 "업계 전체에서 HBM의 비용 절감에 대해서 많은 토론을 했다. 실리콘 인터포저가 아닌 다른 재료를 쓰는 인터포저 기판에 대해서도 검토했다. HBM이 시장에 나가는 내년 (2015년)에는 비용도 어셈블리도 다른 기술적 과제도 모든 것이 해결 되어 있을 것 "(Samsung Choi 씨).

 

 Samsung이 손대고 있는 실리콘 이외의 인터포저에 대해서는 SK Hynix도 유기 재료로 만드는 것도 이론적으로는 가능하지만 제한이 있다고 Memcon에서 설명했다. AMD의 Macri 씨도 다음과 같이 설명했다.

 

 "유기 소재의 기판을 인터포저에 쓰는 것이 가능하도록 될 가능성은 있다. 다만 그것은 신호 밀도를 줄이는 것이 가능하다면 이다. 오늘의 HBM 규격은 유기 기판에게는 조밀함이 지나쳐서 피치도 미세함이 지나치다. 그것이 HBM에서 실리콘 인터포저를 써야하는 이유다.

 

 그러나 하이브리드 설계에 의한 방법을 찾는 것이 가능할지도 모른다. HBM의 데이터 폭 (인터페이스)을 유지하는 것이 아니라, 반 폭 또는 4 분의 1 폭, 9 분의 1 폭 (인터페이스)로 절감한다. 그러면 HBM도 유기 기판에서 가능하다. 이 건도 엔지니어링 커뮤니티에서 논의하고 있는 옵션 중 하나다."

 

 

KGSD (Known Good Stacked Die)로 출하되는 HBM

 남은 HBM의 불안은 어셈블리이다. SK Hynix와 Samsung도 HBM을 기본 스택에서 패키지화 한 제품으로 공급할 방침이다. 고객 측에서는 기존의 DRAM 칩 패키지와 마찬가지로 HBM의 스택을 패키지로 구입하여 설치하게 된다. 2.5D의 TSV 인터 포저는 DRAM 업체 측이 아닌 고객 측이 준비한다.

 

 

 

 

 

 

 

 

SK Hynix의 KGSD 솔루션

 

 SK Hynix는 이 모듈을 "5mKGSD (molded Known Good Stacked Die)"라고 부른다. 양품인 것이 보장되는 다이 "Known Good Die (KGD)" 라고 부르는데, SK Hynix는 HBM에서는 그것을 확장해서 스택 된 상태에서 양품인 것을 보증한다. 다이를 적층하는 경우 KGD가 매우 중요하다. 그것은 복수의 다이 중 1매라도 불량품이 있다면 사용할 수 없기 때문에 수율이 큰폭으로 저하되기 때문이다. HBM에서는 스택 상태로 KGSD로 보증하는 것으로, DRAM 벤더는 KGD 문제의 해결을 도모한다.

 

 Samsung은 마찬가지로 HBM을 패키지화로 제공한다. 회사의 300mm 웨이퍼 생산 라인에서, HBM의 생산 준비가 갖추어 졌다고 설명. HBM 제품이 가까운 미래에 등장한다고 발표했다.

 

 

 

 

 

 

Samsung은 HBM의 생산 태세가 갖추어 졌다고 설명

 

 

HBM과 HMC 나뉜 DRAM 업계

 

이것에 의해서, 고성능의 스택 DRAM은 Micron이 HMC, SK Hynix와 Samsung이 HBM으로 갈라지게 된다. 물론, Samsung 등이 HMC를 제조 할 가능성은 여전히​​ 남아 있지만, 3강이 2 규격으로 나누어진 모습이다. AMD의 Joe Macri 씨 (CVP and Product CTO)는 HBM과 HMC 대해서 다음과 같이 설명한다.

 

 "HBM과 HMC는 본질적으로 목표가 다른 메모리 기술이다​. HMC는 (메모리 컨트롤러로 부터) 원거리에 배치하는 것에 최적화 되어있다. 반면, HBM은 (메모리 컨트롤러로 부터) 근거리에 위치 수에 최적화 되었다. (메모리의 배치가) 원거리가 되면 전력의 페널티는 제거할 수 없게 된다.

 

 HMC의 경우는 DRAM 스택의 내부는 매우 폭 넓은 데이터 경로다. 그러나 외부 (DRAM 스택과 컨트롤러 사이)는 좁은 데이터 경로로 이어져 있다. 데이터 경로를 줄이면 데이터 전송률과 주파수를 올리지 않으면 안된다. 따라서 HMC는 SerDes 같은 보다 복잡한 트랜스 미션 기술을 필요로 한다. SerDes는 피드백 루프로, 따라서 전력 소비가 오른다. HMC 쪽이 HBM보다 전력을 소비하고 열을 올리는 것은 의심이 없다. 바닥 로직 다이가 복잡해서 더 높은 주파수로 동작시켜야 하기 때문이다.

 

 그러나 HMC의 목적을 생각하면, HMC 열도 시스템 구성에서는 OK다. CPU로 부터 떨어져서 메모리를 배치하는 것은 DRAM의 냉각을 돕기 때문이다. 그리고 HMC 같은 아키텍처가 중요한 경우도 있다. HMC에서는 유리하지만 HBM에서는 이점이 없는 시스템을 추측하는 것은 쉽게 가능하다. HMC도 합리적인 기술이라고 생각한다.

 

 그렇다고 말한 그 정도의 이유로 JEDEC이 HBM에 더 HMC 같은 변형을 고려하는 것은 아니다. 실제로, JEDEC 안에서도, HMC 같은 HBM의 변형에​​ 대해서 토의한 것은 있다. 그러나 거기에는 시스템 트레이드 오프가 있어, 간단하지 않다. JEDEC은 순수 사용자 요구의 크기에 응해서 메모리를 규격화 하기 때문에 그러한 선택지는 채택하지 않았다. "

2014년 12월 19일 기사

 

[분석정보] JEDEC이 "DDR4"와 TSV를 사용 "3DS" 메모리 기술의 개요를 밝힌다

 

[분석정보] 광대역 메모리의 채용을 가능하게 하는 Intel의 새 패키징 기술 EMIB

 

[분석정보] 테라 바이트 대역의 차세대 메모리 HBM이 2015년에 등장

 

[분석정보] 호모지니어스 구성이 가능한 신생 Xeon Phi 나이츠 랜딩의 강함

 

[정보분석] IDF 2011 Justin Rattner 매니코어 시대가 다가옴 2/2부

 

[분석정보] 그리고 CPU는 DRAM 다이도 통합

 

[벤치리뷰] DDR4 4000 차이를 만드나