「GPUは同じテキストを二度読み込まない」:ベルギーのスタートアップCorbenic、サーバーのSSDをAIメモリ化へ――ただし14倍の高速化は「読み込みの削減」によるもの
ベルギーのスタートアップ企業Corbenicは、大規模言語モデルの推論時におけるGPUメモリの制限に対処するため、サーバー用SSDを人工知能ワークロードの拡張メモリとして活用するソフトウェアを開発しています。
ベルギーのスタートアップ企業Corbenicは、大規模言語モデルの推論時におけるGPUメモリの制限に対処するため、サーバー用SSDを人工知能ワークロードの拡張メモリとして活用するソフトウェアを開発しています。エンタープライズ向けSSDの帯域幅は専門のGPU VRAMよりも大幅に低いものの、Corbenicは冗長なデータ読み込みを排除することで最大14倍の高速化を実現したと報告しています。キー・バリュー(KV)データをキャッシュおよびインデックス化することで、GPUが同一のコンテキストやテキストを複数回処理するのを回避し、ストレージと計算ハードウェア間のI/Oボトルネックを大幅に軽減します。このアプローチは、組織が高価なメモリハードウェアの拡張を必要とせずに、既存のインフラ上でより大きなモデルや長いコンテキストウィンドウを実行できるようにすることを目的としています。