슈퍼마이크로, IBM 및 엔비디아와 추론 성능이 막강한 KV 캐시 솔루션 출시

概要

KV(key-value, 키값) 캐시 솔루션으로 Supermicro Petascale 스토리지 서버와 IBM Storage Scale 소프트웨어, NVIDIA Dynamo 추론 소프트웨어, NVIDIA Spectrum-X 이더넷 스위치 통합 성능 테스트 결과, KV 캐시를 사용하지 않는 시스템 대비 긴 컨텍스트 구간의 첫 토큰 생성 시간(TTFT) 단축 GPU 활용률과 처리량,…