2026-11-05 · 출처：TechRadar
벨기에 스타트업은 vLLM, SGLang, Llama.cpp를 위한 정밀하고 암호화된 KV 캐시 재사용을 약속한다. 그러나 그 자리에는 LMCache, Nvidia, Phison이 이미 앉아 있다.
14배라는 숫자가 Corbenic이 가장 앞세우는 수치다. 벨기에 스타트업의 Galahad 소프트웨어는 서버의 SSD를 대규모 언어 모델 서빙용 AI 메모리로 바꾸며, 회사는 14배 가속의 실제 출처에 대해 솔직하다. 데이터를 더 빨리 읽는 것이 아니라 더 적게 읽는 것이다.
Corbenic 자신의 격언이 메커니즘을 요약한다. GPU는 같은 텍스트를 두 번 읽지 않는다. Galahad는 KV 캐시 재사용을 중심으로 설계됐다. 프롬프트를 소화하는 동안 모델이 만들어 내는 중간 상태를 포착해 SSD에 저장하고, 다시 계산하는 대신 불러오는 방식이다. 입력이 반복되거나 겹치면 가속기는 중복 작업을 아예 건너뛴다. 이 구분은 SSD 계층 캐싱을 평가하는 모든 이에게 중요하다. 성능 주장의 근거가 저장장치 대역폭이 DRAM을 앞지르는 것이 아니라 회피한 연산에 있기 때문이다.
이 제품은 가장 널리 배치된 세 가지 추론 스택인 vLLM, SGLang, Llama.cpp에서 정밀하고 암호화된 KV 캐시 재사용을 약속한다. 정밀성은 충실도를 말한다. 캐시된 상태는 근사가 아니라 그대로 재사용된다. 암호화는 프롬프트 자료가 영구 저장소에 기록되는 순간 생기는 기밀성 문제를 다룬다.
다만 Corbenic이 먼저 자리 잡은 것은 아니다. KV 캐시 오프로드를 둘러싼 원탁에는 LMCache, Nvidia, Phison이 이미 앉아 있다.
경쟁 구도 자체가 말해 주는 바가 크다. LMCache는 캐싱 소프트웨어 쪽에서, Nvidia는 가속기 계층에서, Phison은 저장 컨트롤러에서 이 문제에 접근한다. 즉 벨기에 신입은 GPU와 드라이브 사이의 모든 홉마다 잠재적 경쟁자를 마주한다. 차별화는 정밀한 재사용과 암호화를 결합한 데 있으며, 많은 운영자가 이미 프로덕션에서 구동 중인 오픈소스 프레임워크 전반에 적용된다.
AI 인프라 구매자에게 Galahad는 SSD의 더 넓은 재편, 즉 대용량 저장장치에서 추론 경제성을 좌우하는 메모리 계층으로의 이동을 보여주는 데이터 포인트다. 14배 수치의 출처에 대한 Corbenic의 정직함은 이 범주 전체의 유용한 잣대가 된다. 여기서 벤더 주장을 저울질하는 운영자라면 같은 질문을 던져야 한다. 가속의 얼마가 더 영리한 캐싱에서 오고, 얼마가 하드웨어 자체에서 오는가?
태그: Corbenic · Galahad · KV Cache · SSD Storage · vLLM · Nvidia
萬安算交所 AIXX · AIXX · 검증된 컴퓨트 거래소 · 현물 홀 입장