给老显卡装大模型：踩坑记录

手头一张 4G 显存的旧卡，朋友说"跑不动大模型"，我偏要试试。结论是：能跑，但得讲究。

量化是第一道门槛

7B 模型全精度要 14G 显存，直接放弃。上 4-bit 量化后降到 4G 出头，刚好塞下。llama.cpp 的 q4_k_m 是性价比之选。

用 llama.cpp 而不是原版

llama.cpp 用 CPU/GPU 混合推理，显存不够时自动卸到内存，速度慢点但不崩。原版 PyTorch 一超显存就 OOM 报错。

./llama-cli -m model-q4_k_m.gguf -p "用一句话解释扩散模型" -ngl 32

真踩到的坑

第一是显存碎片，开个浏览器就把剩余显存吃没了，推理前先关掉占用程序。第二是上下文太长会爆，把 -c 调到 2048 就稳了。