"A GPU nunca lê o mesmo texto duas vezes": A startup belga Corbenic quer transformar o SSD do seu servidor em memória de IA, mas seu ganho de velocidade de 14x se deve mais a ler menos
A startup belga Corbenic está desenvolvendo um software que aproveita os SSDs de servidores como memória estendida para cargas de trabalho…
A startup belga Corbenic está desenvolvendo um software que aproveita os SSDs de servidores como memória estendida para cargas de trabalho de inteligência artificial, enfrentando os limites de memória das GPUs durante a inferência de grandes modelos de linguagem. Embora os SSDs corporativos ofereçam uma largura de banda muito menor do que a VRAM especializada de GPU, a Corbenic relata uma aceleração de até 14 vezes ao eliminar leituras redundantes de dados. Ao fazer cache e indexar dados de chave-valor para que a GPU evite processar o mesmo contexto ou texto várias vezes, a tecnologia reduz significativamente os gargalos de E/S entre o armazenamento e o hardware de computação. Essa abordagem visa ajudar as organizações a executar modelos maiores e janelas de contexto mais longas na infraestrutura existente, sem a necessidade de expansões dispendiosas de hardware de memória.