«La GPU nunca lee el mismo texto dos veces»: La startup belga Corbenic quiere transformar el SSD de su servidor en memoria para IA, pero su aceleración de 14x se debe más a leer menos
La startup belga Corbenic está desarrollando un software que aprovecha los SSD de servidor como memoria extendida para cargas de trabajo…
La startup belga Corbenic está desarrollando un software que aprovecha los SSD de servidor como memoria extendida para cargas de trabajo de inteligencia artificial, abordando los límites de memoria de las GPU durante la inferencia de grandes modelos lingüísticos. Aunque los SSD empresariales ofrecen un ancho de banda mucho menor que la VRAM especializada de las GPU, Corbenic informa de un aumento de velocidad de hasta 14 veces al eliminar las lecturas de datos redundantes. Al almacenar en caché e indexar los datos de clave-valor para que la GPU evite procesar el mismo contexto o texto varias veces, la tecnología reduce significativamente los cuellos de botella de E/S entre el hardware de almacenamiento y el de cómputo. Este enfoque busca ayudar a las organizaciones a ejecutar modelos más grandes y ventanas de contexto más largas en la infraestructura existente sin requerir costosas expansiones de hardware de memoria.