视觉模型推理研发
每个数字都可复现
固定输入 · 贪心解码 128 token · 2 次预热 + 20 次测量取中位数。与「硬件方案」板块面向多种硬件不同，本板块为纯技术研发，全部数据实测于单张 RTX 4090。
llama.cpp × transformers 双后端对比
同一模型、同一张图、同一协议，唯一变量是推理栈：HF transformers（bf16，公平基线）对 llama.cpp（Q4_K_M 量化，部署栈）。
| 模型 | 输入 token * | TTFT bf16 | TTFT Q4 | decode bf16 | decode Q4 | 提速 |
|---|---|---|---|---|---|---|
| Qwen2.5-VL-3B | 418 | 135.5 ms | 115.2 ms | 35.0 tok/s | 275.9 | 7.9× |
| Qwen2-VL-2B | 418 | 65.7 ms | 99.8 ms | 48.5 | 412.9 | 8.5× |
| SmolVLM2-2.2B | 1097 → 100 | 123.0 ms | 60.8 ms | 66.2 | 505.1 | 7.6× |
| InternVL3-2B | 3345 → 1317 | 172.9 ms | 501.6 ms | 52.0 | 438.0 | 8.4× |
| LLaVA-1.6-7B | 2357 → 2895 | 277.0 ms | 571.6 ms | 45.1 | 165.6 | 3.7× |
* 「A → B」表示 transformers 与 llama.cpp 的预处理产生不同视觉 token 数——同一模型在不同框架看到的不是同一张图。跨框架对比必须以实测 input_tokens 为准。
三个结论：① Q4 decode 全线 4–8×，五模型全部落在带宽定标线（104 tok/s × 8B ÷ 参数量）±1% 内；② llama.cpp 视觉编码是短板，视觉 token 多的模型 TTFT 恶化 2–3×；③ 它没有原生视频管线——这两点即二次开发切入点。
量化：速度白拿，质量守住
Q4_K_M（约 4.5 bit/权重）把每个 token 要搬运的权重字节砍到 1/4——decode 是内存带宽瓶颈，提速近乎线性；关键问题是质量掉不掉。我们用 18 道人工核对答案的图像任务实测。
结论：Q4 量化无质量代价（86% vs 基线 83%，同分数段，速度快 6 倍）；1/4 像素的代价高度集中——丢的全是计数与细小物体，颜色 / 动作 / 大字 OCR / 抗幻觉全部保住，适合作端侧常驻快筛档。组合栈（llama.cpp × 1/4 token）实测 TTFT 69ms + 284 tok/s，对基线端到端 7.3×。
vLLM 真视频实测：288ms 看懂 10 秒视频
10 秒 360p 视频（Big Buck Bunny）经 base64 直接喂给 vLLM 的 OpenAI 兼容接口，Qwen2.5-VL-3B 原生视频输入，无任何手工抽帧。
视频的延迟账单
RTX 4090 Qwen2.5-VL-3B bf1610 秒视频被抽成约 20 帧、编码为 3018 个视觉 token（约 150 token/帧）——是单图（418）的 7.2 倍。vLLM 只用 2.2 倍的时间吞下它：prefill 斜率约 0.06ms/token，是三个后端中最优（transformers 0.10、llama.cpp 0.16）。20 次测量的 decode 速度波动仅 ±0.15%。
实测数据（20 次中位数）
外推到边缘硬件：150 token/帧 × 边缘算力 ≈ 每帧 0.3–0.5s prefill，8 帧视频 TTFT 达 2–4s——这正是抽帧策略与视觉 token 压缩在端侧价值千金的原因，也是本实验室与「硬件方案」板块的接合点。