「GPU絕不重複讀取同一文本」:比利時新創公司Corbenic希望將伺服器SSD轉化為AI記憶體,但其14倍的提速更多歸功於「少讀取」
比利時新創公司Corbenic正在開發一款軟體,利用伺服器SSD作為人工智慧工作負載的擴充記憶體,旨在解決大語言模型推理過程中的GPU記憶體限制問題。儘管企業級SSD的頻寬遠低於專用的GPU顯示記憶體(VRAM),但Corbenic透過消除冗餘資料讀取,實現了高達14倍的加速。
比利時新創公司Corbenic正在開發一款軟體,利用伺服器SSD作為人工智慧工作負載的擴充記憶體,旨在解決大語言模型推理過程中的GPU記憶體限制問題。儘管企業級SSD的頻寬遠低於專用的GPU顯示記憶體(VRAM),但Corbenic透過消除冗餘資料讀取,實現了高達14倍的加速。該技術透過快取和索引鍵值(KV)資料,使GPU無需多次處理相同的上下文或文字,從而顯著減少了儲存與計算硬體之間的I/O瓶頸。這種方法旨在幫助企業在現有的基礎設施上運行更大的模型和更長的上下文視窗,而無需進行昂貴的記憶體硬體擴充。