Archives: Blogs

AI（人工知能）とHPC（ハイパフォーマンスコンピューティング）における絶え間ないイノベーションは、かつてないほど膨大なデータの負荷に対応できる最先端のハードウェアインフラストラクチャを必要としています。こうした課題を克服し、パフォーマンスの新たな時代を切り開くため、RambusはPCI Express®（PCIe®）7.0 IPポートフォリオ（PCI Express® (PCIe®) 7.0 IP portfolio）の発表をします。このポートフォリオには、以下を含む包括的なIPソリューションスイートが含まれています: 次世代のAI および HPC アプリケーションに必要な高帯域幅、低レイテンシ、堅牢なパフォーマンスを実現するように設計された PCIe 7.0 コントローラ 信号再生（Signal regeneration）のための高度に最適化された低レイテンシのデータパスを実現するPCIe 7.0 リタイマー（Ritimer） 多数のアーキテクチャをサポートするために物理的に認識するPCIe 7.0 マルチポートスイッチ（Multi-port Switch） XpressAGENTTM により、ユーザーは最初のシリコンを迅速に立ち上げることができる 「新しいデータセンターアーキテクチャの出現に伴い、データセンターチップメーカーの市場が急成長を遂げています。堅牢で活気のあるエコシステムを構築するために、高性能インターフェースIPソリューションの提供が不可欠です」、「ラムバスのPCIe 7.0 IPポートフォリオは、比類のない帯域幅、低レイテンシ、そしてセキュリティ機能を提供することで、この課題に対処します。これらのコンポーネントは連携して動作し、AIおよびHPCアプリケーションの厳しい要求を満たす、シームレスで高性能なソリューションを提供します。」 Rambus PCIe 7.0 コントローラ IP の主な機能: 128 GT/sのデータレートを含むPCIe 7.0仕様をサポート リンクの堅牢性を高める低遅延前方誤り訂正（FEC, Forward Error Correction）の実装 高帯域幅効率を可能にするfixed-sized FLITs をサポート

ここ数年の生成AIの急激な発展により、システムアーキテクトやハードウェア設計者はデータセンターのトポロジーの見直しを迫られています。AIモデルのサイズとコンピューティング能力は指数関数的に増大する一方で、I/Oスループットとメモリアクセスは線形的に増大しています。こうした傾向は持続不可能なギャップを生み出しており、チップレベルの物理層からネットワーク層に至るまで、スタック全体にわたって対処する必要があります。 新しい外部ケーブルソリューションは、常に変化するデータセンタートポロジーを可能にします。例えば、ラック単位の接続は、長距離ケーブルを介した次世代アーキテクチャを定義するでしょう。銅線は数メートル程度であれば機能しますが、ラック間接続で7メートルのケーブルを使用する場合や、より大規模なクラスタリング用途で10メートルを超えるケーブルを使用する場合には、光ケーブルソリューションが必要になります。 CXLとは? CXL は、次世代データセンタートポロジを加速するために設計された、画期的で高速な、CPU からデバイス、およびCPUからメモリへの相互接続です。 CXL は、異種コンピューティングおよび分散ユースケース向けに、ホストプロセッサとアクセラレータ、メモリコントローラ/エクスパンダ、スマート I/O デバイスなどのデバイス間の高帯域幅、低レイテンシの接続を提供するオープンな業界標準です。. CXLコンソーシアム (CXL® Consortium) は、データセンターアクセラレータやその他の高速化のためのオープンエコシステムをサポートしながら、新たな利用モデルにおける画期的なパフォーマンスを実現する技術仕様を開発するために設立された、オープンな業界標準グループです。CXLコンソーシアムは、大手クラウドサービスプロバイダー、通信OEM、IP/シリコン/デバイスプロバイダー、システムOEMなど、幅広い業界の専門知識を持つ企業で構成されています。 Rambusの CXLコントローラIP Rambusの高性能CXLコントローラIPは、SoC、ASIC、FPGAでの使用に最適化されています。これらの業界をリードする高性能インターフェースソリューションは、AI/ML、データセンター、エッジアプリケーションに対応します。 Rambus CXLコントローラIPは、CXL.ioにシリコン実証済みのPCIeコントローラアーキテクチャを活用し、CXL規格固有のCXL.cacheおよびCXL.memを追加します。コントローラIPは、CXL.ioトラフィック用のネイティブTx/Rxユーザーインターフェースと、CXL.memおよびCXL.cacheトラフィック用のIntel CXL-cache/memプロトコルインターフェース（CPI）を提供します。 提供されるGUIウィザードを使用すると、設計者は、CXL デバイス タイプ、PIPE インターフェイス構成、バッファ サイズとレイテンシ、低電力サポート、SR-IOV

AI（Artificial Intelligence）の急速な進化はエッジコンピューティングに変革をもたらしています。Expedera社の共同創業者兼チーフサイエンティストであるSharad Chole氏が、その影響について解説いたします。ニューラルネットワークIPプロバイダーであるExpederaは、エッジデバイス向けのNPU（ニューラルプロセッシングユニット）に注力しており、低消費電力、帯域幅の最適化、そしてコスト効率を重視しています。「Ask the Experts」の最新エピソードでは、Sharad氏がエッジにAI推論を導入する際の課題と機会について洞察を行いしました。 AIモデルの複雑さの指数関数的増加 Sharad氏はまず、AIモデルのパラメータ数が数億から数十億、そして今や数兆へと指数関数的に増加していることを指摘。この爆発的な増加は、特にリソースが限られたエッジデバイスに複雑なモデルを展開する際に、大きな課題をもたらします。 エッジAIの課題を克服する：メモリと帯域幅 Sharad氏の講演では、メモリと帯域幅について取り上げられました。エッジデバイスがAI推論を効率的に実行するには、システムリソースを圧迫することなくデータ処理を行える高度なメモリ管理・技術が必要です。Sharad氏は、AIモデルの計算負荷を軽減し、エッジに適したものにする量子化技術の役割を強調しました。AIアプリケーションを、人間業務の代替、AIエージェント、ツールの3つに分類し、業界では実用化に向けてAIエージェントとツールへの注目が高まっていると指摘しました。 Sharad氏は最後に、AIハードウェアが今後直面する重要な課題、特に学習と推論の両方における効率的なメモリと帯域幅管理の必要性について概説しました。AIの複雑さが増すにつれて、ハードウェアへの要求も高まっていくでしょう。 エッジAIテクノロジーの発展におけるExpederaの取り組みについてさらに詳しく知りたい方は、Expedera社のウェブサイトをご覧ください。（LinkedIn – Sharad Chole) ビデオインタビュー:  重要なポイント ニューラルプロセッシング ユニット: 2018 年に設立された Expedera は、エッジ デバイス向けのニューラル プロセッシング ユニット (NPU) を専門としており、低消費電力、最適化された帯域幅、コスト効率の高いソリューションに重点を置いており、すでに 1,000 万台を超えるデバイスに導入されています。 AI モデルの課題: Stable DiffusionやLLM などの AI モデル サイズの急速な増加は、特にメモリの管理や、量子化・知識蒸留などの手法によるモデル重みの最適化において、エッジ展開に大きな課題をもたらします。 マルチモーダルAI の複雑さ: テキスト、オーディオ、ビデオ、その他のメディアを統合するマルチモーダル AI では、モデルが複雑でメモリ要件が増大し、多様なデータを効率的に処理するために、クロスアテンション レイヤーなどの高度な方法が必要になります。 AI ワークロード: AI アプリケーションは、人間の代替、教師ありエージェント、教師なしツールの3 つのクラスで考えることができます。最後の 2 つは、特に翻訳や音声コマンド処理などのタスクで、より実用性を示しています。

専門家に聞く: Dr. Steven Woo   AIは急速に進化しています。昨年、生成AIアプリケーションの急速な発展により、私たちは今やAI 2.0の時代へと突入しました。この時代は、大規模な言語モデルによってAIが何百万もの消費者や企業に利用され、創造性とイノベーションの無限の可能性を提供するという特徴があります。 先日、Rambus Labsのフェローであり著名な発明家でもあるSteven Woo博士にインタビューを行い、AI 2.0と、今後のAIを形作る主要なテクノロジーについて詳しく聞きました。 AI 2.0とは?  AIは私たちの日常生活に浸透してきています。ホームアシスタントに天気を尋ねたり、検索エンジンを使ったり、今日観るべき映画を勧められたりしたことがありませんか？それらはすべてAI 1.0がひっそりと機能していると言えるでしょう。これらのAI対応アプリケーションは、システムにインテリジェンスを組み込むという点で目覚ましい進歩を遂げていますが、入出力の選択肢は限られています。例えば、音声を使って音声を出力したり、テキストを使ってテキストを出力したりといったことしかできません。これらのシステムは、データを分析し予測を行うだけで、その過程で何か新しいものを生み出すことはありません。 ChatGPTのようなアプリケーションの急速な発展により、AIはデータから何か新しいものを生み出すシステムを備えた次の段階、つまりAI 2.0へと確実に移行しました。この進化は、大規模言語モデル（LLM）によって可能になる生成AI機能を特徴とする新しい時代の到来を告げています。これらのLLMは、テキストやその他のメディアなど、複雑な入力を解釈し、従来のテキストベースの応答から、コード、画像、動画、さらには3Dモデルといったより高度な形式まで、幅広い出力を生成することができます。このマルチモダリティ、つまり入力と出力の幅広い組み合わせは、創造性とイノベーションの無限の可能性を切り開きます。   AI2.0の大規模言語モデルはどのように学習されるのでしょうか？  LLMの学習は、モデルの学習に使用するデータの収集から始まる、複雑で複数のステップからなるプロセスです。最先端のLLMは、数千億、あるいは数千兆ものサンプルに及ぶデータセットを使用します。収集されたデータは、学習の準備として分析、処理、そしてクリーンアップまたは正規化を行う必要があります。 この特定の目的や分析のために選択、整理されたデータセットを使用し、次の段階に進むことができます。この段階では、選択したアルゴリズムを用いてデータセットの学習を開始できます。LLMの学習を例に挙げると、モデルに単語のシーケンスを与えたときに、そのシーケンスで次に出てくる単語を正確に予測できるように学習します。このようにして、モデルは言語を生成する方法を学習し始めます。 モデルは、いくつかの単語をつなぎ合わせ、提示されたプロンプトや質問に基づいて、論理的に意味を成す次の単語を予測することを学習します。この反復学習では、ニューラルネットワークに層を追加したり、モデルの各層での出力への反応方法を変更したりするなど、通常、いくつかの調整が必要になります。 予期せぬ出力が得られたり、当初期待していたほど精度が高くなかったりする可能性があります。その場合、追加の改良と最適化が必要になります。期待される精度を維持し、エンドユーザーからの問い合わせに十分に答えられるようにするために、モデルと一部のパラメータを微調整する必要があったりします。 この学習プロセスの出力はAI推論モデルです。推論こそが真の面白さの始まりです。学習プロセスによって生成されたモデルは、何百万人ものユーザーに提供され、学習済みのモデルを超えた新しいコンテンツの作成に活用されるようになります。 AIの普及は推論側で起こっているのでしょうか、それとも学習側で起こっているのでしょうか、それとも両方でしょうか？AIの民主化にはどのような意味があるのでしょうか？  AIの普及は推論の分野で既に始まっています。ChatGPTのような生成AIアプリケーションは、AI推論を誰もが利用できるようにするための大きな変化をもたらしました。 同時に、オープンソースのAIモデルやフレームワークのトレンドも拡大しています。これにより、AI推論の進歩に貢献できる開発者や専門家の領域が拡大するだけでなく、最終的には学習面でもAIの普及が進むでしょう。 ハードウェア面から見ると、推論に一般的に使用されるハードウェアは、学習に必要なほど先進的ではありません。しかし、時間の経過とともに、半導体業界はこれまで通り、より低コストでより高い処理能力を提供していくでしょう。未来の半導体は、現在ではローカルで実行するには困難すぎると考えられているタスクを、パソコン、ノートパソコン、さらには携帯電話でも容易に実行できるようになるでしょう。 時間の経過とともに、私たちが自分のマシンでローカルに実行できる推論の種類は向上していきます。これは、業界が提供するより低コストで高性能な半導体によって部分的に推進されるでしょう。そして、これは学習にも波及し、人々は携帯電話やノートパソコンを使ってローカルに学習を行うようになるでしょう。これもまた、半導体業界がチップの性能向上とコスト削減を継続していくという事によって実現されていきます。 全体的に、Nvidia、AMD、Intel などの企業が提供するチップやプロセッサは、今後もさらに高性能化し、業界は AI の普及をサポートするより優れた機能を提供できるようになります。