vLLMは大規模言語モデル（LLM）の推論およびサービングエンジンです。バージョン0.5.5から0.23.1rc0まで、vLLMのGGUFデクオンタイズカーネル（csrc/quantization/gguf/gguf_kernel.cu）におけるテンソル次元の整数切り捨てにより、テンソルの部分的な処理が発生していました。出力テンソルはtorch::emptyによって完全なサイズで割り当てられますが（初期化されていないメモリ）、デクオンタイズCUDAカーネルは切り捨てられた要素数のみを処理します。そのため、出力テンソルの未処理部分には、GPUメモリに以前存在していたデータがそのまま残っていました。マルチテナントの推論環境において、この残留GPUメモリは他のユーザーの推論リクエストのテンソルデータを含んでおり、情報漏洩を引き起こす可能性がありました。この脆弱性は0.23.1rc0で修正されています。

ベンダ情報を参照して適切な対策を実施してください。