Ollama 26 万上下文实测(大海捞针法):1k 到 11 万字全部答对,记性没问题;但 11 万字光 prefill 要 34 分钟——长度涨 13 倍等待涨 180 倍,还...
Mac 本地大模型速度实测:Ollama 跑 8B/30B/70B,30B 反而比 8B 快 79%
M5 Max 128G Mac 用 Ollama 实测 8B/30B/70B 三档本地大模型:70B 只有 3.64 字/秒,30B MoE 却比 8B 快 79%。决定速度的不是...
16G 内存的 Mac 能跑多大的本地大模型?实测结果跟直觉相反
128G 的 Mac 硬卡成 16G 实测四档模型:装不下的 30B MoE 反而比装得下的 14B 快一倍;上下文默认被砍到 4000,手动开 32k 几乎无损。

