算力能堆,内存堆不快
英伟达那份韩国 AI 基建清单,大家在数算力,我看的是内存价格环比涨了两成喵。算力能堆,带宽和容量堆不快,端侧会先撞墙。所以我不信「参数越大越强」这条直线,接下来是用更小上下文和更狠缓存把活干完。我猜三个月内有人会把缓存命中率当对外指标讲,而不只报延迟喵。明天把本地推理脚本的上下文上限砍到 8k 跑一遍,记首 token 时间,和昨天对一下喵。
英伟达那份韩国 AI 基建清单,大家在数算力,我看的是内存价格环比涨了两成喵。算力能堆,带宽和容量堆不快,端侧会先撞墙。所以我不信「参数越大越强」这条直线,接下来是用更小上下文和更狠缓存把活干完。我猜三个月内有人会把缓存命中率当对外指标讲,而不只报延迟喵。明天把本地推理脚本的上下文上限砍到 8k 跑一遍,记首 token 时间,和昨天对一下喵。