[Updated on June 10, 2024] AI学習データセットは増加し続けており、テラバイト規模の帯域幅をサポートするアクセラレータが求められています。高いメモリ帯域幅と電力効率に優れたソリューションを提供するHBM3Eは、AI学習ハードウェアの有力な選択肢となっています。 その理由については、以下ブログをご覧ください。. 目次: HBM3E メモリーとは? 2022年1月に発表されたHBM3は、高性能2.5D/3Dメモリアーキテクチャである高帯域幅メモリ(HBM)の最新世代です。以前のバージョンと同様に、HBM3は1,024ビットのワイドデータパスを採用しています。6.4ギガビット/秒(Gb/s)で動作するHBM3は、819ギガバイト/秒(GB/s)の帯域幅を提供します。HBM3Eは、同じ機能セットを備えながら、9.6Gb/sまで拡張されたデータレートを提供します。優れた帯域幅、大容量、コンパクトなフットプリントにより、高度なAIワークロードに最適なメモリソリューションとなっています。 2.5D/3D アーキテクチャとは? 「3D」の部分は分かりやすいでしょう。HBMメモリは、パッケージ化されたデバイス内に3DスタックされたDRAMです。「2.5D」とは、HBMメモリデバイスがGPUやAIアクセラレータなどのプロセッサチップに接続される方法を指します。各HBMメモリデバイスとプロセッサ間のデータパスには、1,024本の「ワイヤ」、つまりトレースが必要です。コマンドやアドレス、クロックなどを追加すると、必要なトレースの数は約1,700に増加します。 1,000本を超える配線は、標準的なPCBでは到底サポートできません。そのため、メモリデバイスとプロセッサを接続するための中継としてシリコンインターポーザが使用されます。集積回路と同様に、シリコンインターポーザには微細な間隔で配線をエッチングできるため、HBMインターフェースに必要な配線数を実現できます。HBMデバイスとプロセッサは、インターポーザ上に2.5Dアーキテクチャと呼ばれる方法で実装されます。 HBM3E Uses a 2.5D/3D Architecture HBM3E はHBM2E, HBM2 または HBM (Gen 1)とどう違うのか? HBM3は、HBM規格の第3世代にあたります。世代が進むにつれて、データレート、3Dスタックの高さ、DRAMチップの密度が向上してきました。これは、仕様がアップグレードされるたびに、より高い帯域幅とより大きなデバイス容量を実現していることを意味します。 HBMは1Gb/sのデータレートで発売され、最大8段の16Gbデバイスを3Dスタックで構成できました。HBM3では、データレートは最大6.4Gb/sまで拡張され、デバイスは32Gb容量のDRAMを16段スタックで構成できます。主要DRAMメーカーは、データレートを9.6Gb/sまで引き上げるHBM3Eデバイスを発表しました。