过去两年，聊到AI服务器，话题几乎全围着训练转：多少张卡、什么型号、整机功耗多少。今年跟做集成的朋友碰，风向明显变了，问得最多的是推理怎么配。
这个变化不是概念炒作。大模型落地的路径摆在那：训练是一次性的，推理是每天都在跑的。模型训完要上线，用户调用一次就要跑一次推理，算力消耗是按使用量走的。
训练讲究把一大堆数据一次性喂进去，算得快、卡间通信猛，所以八卡整机加高速互联是标配。
推理讲究的是并发和响应时间。用户点一下，几百毫秒内要出结果。这个时候拼的不完全是单卡算力，而是显存够不够把模型装下、请求能不能排得开。
最直接的差别是：训练要算力密度，推理要显存容量和性价比。
第一是卡型选择变了。训练一台机器塞八张旗舰卡，推理可能三四张中端卡就够，剩下的钱花在CPU和内存上更划算。
第二是显存成了硬门槛。模型参数量摆在那，显存装不下就得切分，切分之后通信开销反而拖慢响应。
第三是功耗和散热压力小了。推理卡功耗比训练卡低一截，风冷机型就能撑住，不用一上来就上液冷。
第四是稳定性优先级高。训练跑一半崩了能重跑，推理崩了用户直接感知，机器得连着跑几个月不出岔子。
推理节点数量多、单节点负载不重，2U机架机型是主流。盘位够放模型和缓存，网卡留一个扩展位，电源做冗余，这套配置在大多数中小规模推理场景里够用。
如果模型大、要装多卡，就往4U靠；如果只是跑轻量模型、做前置服务，1U甚至都够。关键是别照搬训练集群的清单，那样钱花得不值。
一是显存优先于算力。先算清楚模型要多大显存，再定卡型号，顺序反了容易返工。
二是CPU别抠。推理有个明显特点，预处理和后处理的活都压在CPU上，配得太弱会拖累整机吞吐。
三是网络按需配。推理节点之间通信量远低于训练，万兆到二十五兆就够，不用堆高速互联。
四是留扩容空间。业务量是涨的，一开始别把机柜塞满，留出几U后面补节点。
现在这条产品线上，惠普服务器的2U主力机型在推理场景里适配得比较顺。像DL380这一代，盘位、网卡插槽、电源冗余都能按项目调，既有单机部署的灵活性，也能做批量节点。
说到底，AI服务器不是越贵越好，是配得对才好。训练看算力密度，推理看显存和稳定，抓错了重点，机器再顶配也是白花钱。
