Blog Category: ブログ

AI（Artificial Intelligence）の急速な進化はエッジコンピューティングに変革をもたらしています。Expedera社の共同創業者兼チーフサイエンティストであるSharad Chole氏が、その影響について解説いたします。ニューラルネットワークIPプロバイダーであるExpederaは、エッジデバイス向けのNPU（ニューラルプロセッシングユニット）に注力しており、低消費電力、帯域幅の最適化、そしてコスト効率を重視しています。「Ask the Experts」の最新エピソードでは、Sharad氏がエッジにAI推論を導入する際の課題と機会について洞察を行いしました。 AIモデルの複雑さの指数関数的増加 Sharad氏はまず、AIモデルのパラメータ数が数億から数十億、そして今や数兆へと指数関数的に増加していることを指摘。この爆発的な増加は、特にリソースが限られたエッジデバイスに複雑なモデルを展開する際に、大きな課題をもたらします。 エッジAIの課題を克服する：メモリと帯域幅 Sharad氏の講演では、メモリと帯域幅について取り上げられました。エッジデバイスがAI推論を効率的に実行するには、システムリソースを圧迫することなくデータ処理を行える高度なメモリ管理・技術が必要です。Sharad氏は、AIモデルの計算負荷を軽減し、エッジに適したものにする量子化技術の役割を強調しました。AIアプリケーションを、人間業務の代替、AIエージェント、ツールの3つに分類し、業界では実用化に向けてAIエージェントとツールへの注目が高まっていると指摘しました。 Sharad氏は最後に、AIハードウェアが今後直面する重要な課題、特に学習と推論の両方における効率的なメモリと帯域幅管理の必要性について概説しました。AIの複雑さが増すにつれて、ハードウェアへの要求も高まっていくでしょう。 エッジAIテクノロジーの発展におけるExpederaの取り組みについてさらに詳しく知りたい方は、Expedera社のウェブサイトをご覧ください。（LinkedIn – Sharad Chole) ビデオインタビュー:  重要なポイント ニューラルプロセッシング ユニット: 2018 年に設立された Expedera は、エッジ デバイス向けのニューラル プロセッシング ユニット (NPU) を専門としており、低消費電力、最適化された帯域幅、コスト効率の高いソリューションに重点を置いており、すでに 1,000 万台を超えるデバイスに導入されています。 AI モデルの課題: Stable DiffusionやLLM などの AI モデル サイズの急速な増加は、特にメモリの管理や、量子化・知識蒸留などの手法によるモデル重みの最適化において、エッジ展開に大きな課題をもたらします。 マルチモーダルAI の複雑さ: テキスト、オーディオ、ビデオ、その他のメディアを統合するマルチモーダル AI では、モデルが複雑でメモリ要件が増大し、多様なデータを効率的に処理するために、クロスアテンション レイヤーなどの高度な方法が必要になります。 AI ワークロード: AI アプリケーションは、人間の代替、教師ありエージェント、教師なしツールの3 つのクラスで考えることができます。最後の 2 つは、特に翻訳や音声コマンド処理などのタスクで、より実用性を示しています。

専門家に聞く: Dr. Steven Woo   AIは急速に進化しています。昨年、生成AIアプリケーションの急速な発展により、私たちは今やAI 2.0の時代へと突入しました。この時代は、大規模な言語モデルによってAIが何百万もの消費者や企業に利用され、創造性とイノベーションの無限の可能性を提供するという特徴があります。 先日、Rambus Labsのフェローであり著名な発明家でもあるSteven Woo博士にインタビューを行い、AI 2.0と、今後のAIを形作る主要なテクノロジーについて詳しく聞きました。 AI 2.0とは?  AIは私たちの日常生活に浸透してきています。ホームアシスタントに天気を尋ねたり、検索エンジンを使ったり、今日観るべき映画を勧められたりしたことがありませんか？それらはすべてAI 1.0がひっそりと機能していると言えるでしょう。これらのAI対応アプリケーションは、システムにインテリジェンスを組み込むという点で目覚ましい進歩を遂げていますが、入出力の選択肢は限られています。例えば、音声を使って音声を出力したり、テキストを使ってテキストを出力したりといったことしかできません。これらのシステムは、データを分析し予測を行うだけで、その過程で何か新しいものを生み出すことはありません。 ChatGPTのようなアプリケーションの急速な発展により、AIはデータから何か新しいものを生み出すシステムを備えた次の段階、つまりAI 2.0へと確実に移行しました。この進化は、大規模言語モデル（LLM）によって可能になる生成AI機能を特徴とする新しい時代の到来を告げています。これらのLLMは、テキストやその他のメディアなど、複雑な入力を解釈し、従来のテキストベースの応答から、コード、画像、動画、さらには3Dモデルといったより高度な形式まで、幅広い出力を生成することができます。このマルチモダリティ、つまり入力と出力の幅広い組み合わせは、創造性とイノベーションの無限の可能性を切り開きます。   AI2.0の大規模言語モデルはどのように学習されるのでしょうか？  LLMの学習は、モデルの学習に使用するデータの収集から始まる、複雑で複数のステップからなるプロセスです。最先端のLLMは、数千億、あるいは数千兆ものサンプルに及ぶデータセットを使用します。収集されたデータは、学習の準備として分析、処理、そしてクリーンアップまたは正規化を行う必要があります。 この特定の目的や分析のために選択、整理されたデータセットを使用し、次の段階に進むことができます。この段階では、選択したアルゴリズムを用いてデータセットの学習を開始できます。LLMの学習を例に挙げると、モデルに単語のシーケンスを与えたときに、そのシーケンスで次に出てくる単語を正確に予測できるように学習します。このようにして、モデルは言語を生成する方法を学習し始めます。 モデルは、いくつかの単語をつなぎ合わせ、提示されたプロンプトや質問に基づいて、論理的に意味を成す次の単語を予測することを学習します。この反復学習では、ニューラルネットワークに層を追加したり、モデルの各層での出力への反応方法を変更したりするなど、通常、いくつかの調整が必要になります。 予期せぬ出力が得られたり、当初期待していたほど精度が高くなかったりする可能性があります。その場合、追加の改良と最適化が必要になります。期待される精度を維持し、エンドユーザーからの問い合わせに十分に答えられるようにするために、モデルと一部のパラメータを微調整する必要があったりします。 この学習プロセスの出力はAI推論モデルです。推論こそが真の面白さの始まりです。学習プロセスによって生成されたモデルは、何百万人ものユーザーに提供され、学習済みのモデルを超えた新しいコンテンツの作成に活用されるようになります。 AIの普及は推論側で起こっているのでしょうか、それとも学習側で起こっているのでしょうか、それとも両方でしょうか？AIの民主化にはどのような意味があるのでしょうか？  AIの普及は推論の分野で既に始まっています。ChatGPTのような生成AIアプリケーションは、AI推論を誰もが利用できるようにするための大きな変化をもたらしました。 同時に、オープンソースのAIモデルやフレームワークのトレンドも拡大しています。これにより、AI推論の進歩に貢献できる開発者や専門家の領域が拡大するだけでなく、最終的には学習面でもAIの普及が進むでしょう。 ハードウェア面から見ると、推論に一般的に使用されるハードウェアは、学習に必要なほど先進的ではありません。しかし、時間の経過とともに、半導体業界はこれまで通り、より低コストでより高い処理能力を提供していくでしょう。未来の半導体は、現在ではローカルで実行するには困難すぎると考えられているタスクを、パソコン、ノートパソコン、さらには携帯電話でも容易に実行できるようになるでしょう。 時間の経過とともに、私たちが自分のマシンでローカルに実行できる推論の種類は向上していきます。これは、業界が提供するより低コストで高性能な半導体によって部分的に推進されるでしょう。そして、これは学習にも波及し、人々は携帯電話やノートパソコンを使ってローカルに学習を行うようになるでしょう。これもまた、半導体業界がチップの性能向上とコスト削減を継続していくという事によって実現されていきます。 全体的に、Nvidia、AMD、Intel などの企業が提供するチップやプロセッサは、今後もさらに高性能化し、業界は AI の普及をサポートするより優れた機能を提供できるようになります。

[Updated on June 10, 2024] AI学習データセットは増加し続けており、テラバイト規模の帯域幅をサポートするアクセラレータが求められています。高いメモリ帯域幅と電力効率に優れたソリューションを提供するHBM3Eは、AI学習ハードウェアの有力な選択肢となっています。 その理由については、以下ブログをご覧ください。. 目次: HBM3E メモリーとは? 2022年1月に発表されたHBM3は、高性能2.5D/3Dメモリアーキテクチャである高帯域幅メモリ（HBM）の最新世代です。以前のバージョンと同様に、HBM3は1,024ビットのワイドデータパスを採用しています。6.4ギガビット/秒（Gb/s）で動作するHBM3は、819ギガバイト/秒（GB/s）の帯域幅を提供します。HBM3Eは、同じ機能セットを備えながら、9.6Gb/sまで拡張されたデータレートを提供します。優れた帯域幅、大容量、コンパクトなフットプリントにより、高度なAIワークロードに最適なメモリソリューションとなっています。 2.5D/3D アーキテクチャとは? 「3D」の部分は分かりやすいでしょう。HBMメモリは、パッケージ化されたデバイス内に3DスタックされたDRAMです。「2.5D」とは、HBMメモリデバイスがGPUやAIアクセラレータなどのプロセッサチップに接続される方法を指します。各HBMメモリデバイスとプロセッサ間のデータパスには、1,024本の「ワイヤ」、つまりトレースが必要です。コマンドやアドレス、クロックなどを追加すると、必要なトレースの数は約1,700に増加します。 1,000本を超える配線は、標準的なPCBでは到底サポートできません。そのため、メモリデバイスとプロセッサを接続するための中継としてシリコンインターポーザが使用されます。集積回路と同様に、シリコンインターポーザには微細な間隔で配線をエッチングできるため、HBMインターフェースに必要な配線数を実現できます。HBMデバイスとプロセッサは、インターポーザ上に2.5Dアーキテクチャと呼ばれる方法で実装されます。 HBM3E Uses a 2.5D/3D Architecture   HBM3E はHBM2E, HBM2 または HBM (Gen 1)とどう違うのか? HBM3は、HBM規格の第3世代にあたります。世代が進むにつれて、データレート、3Dスタックの高さ、DRAMチップの密度が向上してきました。これは、仕様がアップグレードされるたびに、より高い帯域幅とより大きなデバイス容量を実現していることを意味します。 HBMは1Gb/sのデータレートで発売され、最大8段の16Gbデバイスを3Dスタックで構成できました。HBM3では、データレートは最大6.4Gb/sまで拡張され、デバイスは32Gb容量のDRAMを16段スタックで構成できます。主要DRAMメーカーは、データレートを9.6Gb/sまで引き上げるHBM3Eデバイスを発表しました。

今回の「専門家に聞く」エピソードのテーマは、今まさに盛んに議論されている「AIのセキュリティ対策」です。ラムバスのセキュリティ製品担当シニアディレクター、Scott Bestに詳しく話を伺いました。 AIシステムのセキュリティ確保の課題に焦点を当て、FPGAシステムとの類似点も取り上げています。AI推論モデルが持つ計り知れない価値と、ハードウェアレベルのセキュリティソリューションが潜在的な攻撃者からAIシステムを守る鍵となる点について議論が行われました。 公開鍵暗号を侵害する可能性のある量子コンピュータの新たな脅威についても触れられました。こうした脅威に対抗するため、ラムバスはAIシリコンを保護するための幅広いセキュリティIPポートフォリオを提供しています。 インタビューでは、AIがAIシステムを攻撃するために使用される可能性について締めくくられ、堅牢なセキュリティ対策の必要性が理解できる内容となっています。 Ask the Experts: Securing AI  エキスパート Scott Best, Senior Director of Security Products, Rambus 重要なポイント 推論モデルのセキュリティ保護：AIシステムのセキュリティ保護は、AIモデルの学習に使用されたすべての情報を保持する推論モデルの保護を中心に展開されます。このモデルは敵対者や競合他社の潜在的な標的となる可能性があるため、メモリ内に保存されている状態（保存データ）であっても、チップに読み込まれている状態（使用データ）であっても、セキュリティ保護が不可欠です。 ハードウェアベースのAIセキュリティ：AIセキュリティはハードウェアレベルで実現する必要があり、安全なソリューションを実装するのはチップメーカーの責任です。これは、データのプライバシーと真正性を確保し、これらのセキュリティ対策がシステムのパフォーマンスを損なわないことを確認することを意味します。 セキュリティに対する量子脅威：強力な量子コンピュータの出現は、現在の公開鍵暗号に脅威をもたらします。現在構築中で、今後5～10年以上の運用が見込まれるシステムは、データのプライバシーと真正性を確保するために、耐量子暗号の実装を検討する必要があります。 Rambus セキュリティIP: Rambus は、AI シリコンのハードウェアベースのセキュリティを実現するセキュリティ IP の幅広いポートフォリオに加え、保存データの保護のための Root of