« Le GPU ne lit jamais deux fois le même texte » : La startup belge Corbenic veut transformer le SSD de votre serveur en mémoire IA, mais son accélération par 14 est plutôt due au fait de moins lire
La startup belge Corbenic développe un logiciel qui exploite les SSD de serveur comme mémoire étendue pour les charges de travail d'…
La startup belge Corbenic développe un logiciel qui exploite les SSD de serveur comme mémoire étendue pour les charges de travail d'intelligence artificielle, répondant ainsi aux limites de mémoire du GPU lors de l'inférence de grands modèles linguistiques. Bien que les SSD d'entreprise offrent une bande passante bien inférieure à la VRAM spécialisée des GPU, Corbenic fait état d'une vitesse jusqu'à 14 fois supérieure en éliminant les lectures de données redondantes. En mettant en cache et en indexant les données clé-valeur afin que le GPU évite de traiter plusieurs fois un contexte ou un texte identique, cette technologie réduit considérablement les goulots d'étranglement E/S entre le stockage et le matériel de calcul. Cette approche vise à aider les organisations à exécuter des modèles plus volumineux et des fenêtres de contexte plus longues sur l'infrastructure existante sans nécessiter d'expansions matérielles de mémoire coûteuses.