„Die GPU liest denselben Text nie zweimal“: Das belgische Startup Corbenic will die SSD Ihres Servers in AI-Speicher verwandeln – die 14-fache Beschleunigung verdankt sich jedoch eher dem geringeren Lesen
Das belgische Startup Corbenic entwickelt eine Software, die Server-SSDs als erweiterten Speicher für Workloads der künstlichen…
Das belgische Startup Corbenic entwickelt eine Software, die Server-SSDs als erweiterten Speicher für Workloads der künstlichen Intelligenz nutzt und so Speichergrenzen von GPUs bei der Inferenz großer Sprachmodelle adressiert. Obwohl Enterprise-SSDs eine deutlich geringere Bandbreite bieten als spezialisierter GPU-VRAM, berichtet Corbenic von einer bis zu 14-fachen Beschleunigung durch die Eliminierung redundanter Datenlesezugriffe. Durch das Cachen und Indizieren von Key-Value-Daten, sodass die GPU dieselben Kontexte oder Texte nicht mehrmals verarbeiten muss, reduziert die Technologie E/A-Engpässe zwischen Speicher- und Rechenhardware erheblich. Dieser Ansatz soll es Unternehmen ermöglichen, größere Modelle und längere Kontextfenster auf bestehender Infrastruktur auszuführen, ohne teure Speicherhardware-Erweiterungen zu benötigen.