折腾 Zhēteng

给新收的Asus X99 WS规划一个大House

Created: 24 min read

NOTE

未完待续

最近在 Facebook Marketplace 上收了一张 Asus X99-E WS USB 3.1 主板（配合 E5 1660 v3 CPU）。对于我这个“半吊子垃圾佬”来说，这板子算是我心心念念有段时间的准满配 X99 神板了。

主板自带双 PLX 芯片，最大的优势就是拥有 7 个全长 PCIe 槽位，并且支持 x16/x8/x8/x8/x8/x8/x8 的拆分。看着这些 PCIe 槽和至少 x8 的带宽，我就总在琢磨：能不能把家里用来跑 Ollama 的机器和 Home Server 合并在一起，尽量榨干这张主板的拓展价值？

  • 没错，这就是一种既要又要。
  • 既要满足现在的需求，又要满足想象中的未来的需求。
  • 不仅要满足未来想象中的一种需求，还要满足另一种需求。
  • 不仅要满足两种需求，还要在未来需求产生二次分叉的时候，依旧能满足需求。
  • 唉。。。人啊.

这部分的研究主要集中在机箱的物理空间推演。我需要综合考虑目前手头已有的显卡，以及未来作为 All-in-One 节点可能需要增加的扩展卡。

  • 目前的显卡： 一张 Zotac 3090 Trinity（2.5 槽厚，推演中按不到 3 槽计算），以及 3 张 Zotac 3070 Twin Edge（基本上算 2 槽厚）。
    • 想要考虑的情况包括：只用现有的卡，或者“再购入 3090”的情况。目前来看，3090 算是某种“甜点位置”，24GB的 VRAM，基本上是家里玩 ollama 的，比较实际的，单卡上限了。（如果三张3090还不够，大概就应该严肃考虑去买 mac ultra 了）
  • 常规扩展卡： U.2 转接卡、万兆网卡（10Gbps Ethernet Adapter），或者是 HBA 卡。需要说明的是，我目前手头并没有这些扩展卡，只是按照大家对 All-in-One 的理解作为标准体积进行空间推演。
    • 其中 U.2 我觉得还是挺有必要的，毕竟如果跑 PVE 的话，肯定还是至少 enterprise 级别的 NVME，要不就是消费级 NVME 但是要 ZFS Mirror。可是这个 x99 毕竟10年前了，配置豪华如斯也只有一个板载 m.2。不想赌博想要严肃一点给家人提供服务的话，还是要考虑一下 U.2 的。

要在满足散热和走线的前提下塞进这些硬件，加拿大市面上能考虑的机箱屈指可数。在此基础上的进阶配置，基本就只剩下 Fractal Design Define 7 XL 和 Phanteks Enthoo Pro 2 Server Edition 两个选择了。

(感觉国内其实选择也很少，但是国内有极度发达的淘宝工控机定制服务，换句话说就是要啥就可以有啥…)

下面是详细空间推演过程

1. 基础配置：1x 3090 + 2x 3070 Twin Edge

这是最基础的情况。为了尽可能减少主板上被遮挡的可用槽位，这唯一的一张 3 槽厚的 3090 肯定要放在主板最底部的第 7 槽位。这样它多出来的厚度只会向下占用机箱的第 8、9 槽位空间。这种情况下的技巧在于，尽量让更多的显卡在 x16 模式下，并尽量直插，减少不必要的花费。

结果是，无论是 Fractal Design Define 7 XL 还是 Phanteks Enthoo Pro 2 Server Edition 都通用：

  • Slot 1: 3070 Twin Edge
  • Slot 3 / 4: 扩展卡（U.2 或万兆网卡）
  • Slot 5: 第二张 3070 Twin Edge
  • Slot 7: 3090

此时，机箱的门槛变成了需要 9 个直插槽位的高度，这基本排除了市面上绝大多数机箱。除了上述两款，可能还能考虑的只剩下 Rosewill 的 Thor NAS 机箱（10 个 PCIe 槽位高度）。

此时还不需要用任何延长线。但是，Slot 5 的 3070 已经只能运行在 x8 模式下了，因为 Slot 4 被占用了。如果想要确保所有 GPU 都在 x16 模式下，就需要把 Slot 1 的 3070 挪出去：

  • Define 7 XL： 直接延长线到原装竖装位置。
  • Enthoo Pro 2 Server Edition： 需要一根延长线从 Slot 1 直接引到 Slot 9 或 10 的位置。这就要求 PCIe 延长线够长且灵活（right in right out），好走长线。

挪走第一槽的 3070 后，U.2 转接卡和网卡就可以占用 2、3 槽位，共用一个 x16 (拆成 x8/x8)，非常和谐。但如果想在此基础上再加一个 HBA card，占用 Slot 4，那就不可避免地需要一个显卡使用 x8 模式了。主板上的 4 个分组已经占满，引入第三个非显卡扩展卡时，必须跟一个 GPU pair 在一起。唯一能做的就是尽量不要影响 3090 的带宽。

2. 四卡基础配置：1x 3090 + 3x 3070 Twin Edge

实际上这个时候，更合理的选择是直接二手出掉 3070 换一张 3090 回来。但如果没有蹲到合适的价格，又需要凑够 48GB 显存，就只能上这种比较极限、略显鸡肋的方案了。这也意味着我们开始需要使用 MNPCTech 的 120 fan GPU mount bracket（显卡吊装架）了。

对于 Define 7 XL 优化后的排布：

  • Slot 1 (3090): 延长线直接引到机箱前部，利用顶部最靠前的 120mm 风扇固定位，通过 MNPCTech 支架吊装（Stage 1 应该就够了）。金手指朝后，电源口朝右（机箱前方），方便接线。
  • Slot 2: U.2 或 10Gbps
  • Slot 3: 3070 Twin Edge
  • Slot 4: (被 Slot 3 占用)
  • Slot 5: PCIe 延长线引到竖装 (vertical slots) 位置，放第二张 3070
  • Slot 6: U.2 或 10Gbps
  • Slot 7: 第三张 3070

这个方案提高了 3090 和最下面 3070 的散热能力。同时竖装位置放双槽的 3070，压力也会小很多。

对于 Enthoo Pro 2 Server Edition： 总体排布基本一样，区别在于 Slot 5 的延长线是往下引到 Slot 9 或 10。在 PCIe 延长线上，Define 7 XL 竖装位置的线更好买；但两者的 Slot 1 延长线都需要好好挑一挑。

关于散热与机箱空间差异： Enthoo Pro 2 机箱内有一个侧边 3x120mm 风扇架。在这个配置下，架子必须固定在打开侧板的那一侧，让风扇从侧面吸风，直吹显卡越肩处，这对多卡直插的散热很有保证。移动这个架子后，才能在顶部最右侧吊装显卡。因为 Enthoo 顶部最大只能装 360 冷排（x 轴长度有限）。 相比之下，Define 7 XL 顶部支持 480mm 冷排，如果主板换成双路 E5 或双路 Epyc，理论上甚至能在 480 冷排最右侧额外吊装一张 3090（内部进深优势明显）。

另外，MNPCTech 的架子挺贵。也许可以在 Aliexpress 上找找平替，或者用 radiator pump 架子 + universal gpu vertical mount bracket 拼一个出来。不过这部分缺乏实体参考，只能说“也许可以”。

3. 进阶推演：2x 3090 + 2x 3070 Twin Edge

如果压榨一下，把一张 3070 换成 3090，此时我们对 3090 的厚度就有了硬性要求：大于 3 槽厚的 3090 直接排除，太残暴搞不定。

  • Define 7 XL： 很好解决，只要把 Slot 7 或 Slot 5 (竖装位) 的 3070 换成 3090 即可。
  • Enthoo Pro 2 Server Edition： 需要把 Slot 7 换成 3090，然后把原本 Slot 5 → Slot 9/10 的转接位换成 3070。注意，这次只能到 Slot 10，因为 Slot 9 已经被 Slot 7 的 3090 占用了。另一个选择是把 Slot 5 引到 Slot 9 插 3090，然后 Slot 7 直插 3070。但这取决于 Slot 9 的位置是否真的能放下 PCIe riser card 的底座。

4. 再次进阶：3x 3090 + 1x 3070 Twin Edge

  • 对于 Define 7 XL，事情依旧比较容易： Slot 1 (顶部吊装)、Slot 7 (直插)、Slot 5 (竖装) 安排 3 张 3090。Slot 3/4 安排 3070。这样还能空出 Slot 2 和 Slot 6 给 U.2 或万兆网卡。
  • 对于 Enthoo Pro 2 Server Edition，事情开始变得难搞： 机箱总共 11 槽。顶部吊装 1 张 3090（不占主板槽位），还需解决 2x 3090 + 1x 3070（共 8 槽）加 2 张扩展卡（2 槽），总计 10 槽需求，这正好是理论上限。但别忘了，引出 PCIe 延长线也要算槽宽，底座会多占 1 个槽位。 从理论上讲，如果需要引线且使用机箱的 PCIe 拓展槽，已经不可能把 2x3090 + 1x3070 + 2 张扩展卡放下了。

唯一的破局思路是引入第二个 MNPCTech 支架，把 3070 的金属挡板朝下，固定在机箱底部的 120mm 风扇孔位上。但这大概率行不通：一来垂直空间（y 轴）可能和顶部吊装的 3090 打架，因为机箱前后长度（x 轴）不够长，无法错开；二来机箱底部是否还有可用风扇位都不好说；三来挡板朝下的安装隐患也比较大。

所以这就是 Server Edition 的极限：就算放弃一张扩展卡（只保留 1 个），如果 Slot 9 无法安装 PCIe riser card 底座，排布也只能是：

  • Slot 1: 3090 (顶部吊装)
  • Slot 2/3/4: 第二张 3090
  • Slot 5: 引至 Slot 10 (3070)
  • Slot 6: 扩展卡
  • Slot 7/8/9: 第三张 3090 此时可以说是非常极限了。如果连最后一张扩展卡也不要，多出来的槽位也没法再塞一张 2 槽显卡。

相比之下，Define 7 XL 总计 12 个挡板位（9 直插 + 3 竖插）的优势显露无疑。在这个阶段，Server Edition 已经没办法把主板上的 M.2 接口转接出来做网卡了，因为没有物理槽位了。

5. Define 7 XL 的理论极限：五张卡的情况

对于 Define 7 XL 来说：

  • Slot 1: 顶部吊装 (3 槽 GPU)
  • Slot 7: 直插 (3 槽 GPU)
  • Slot 6 (或 2): 引出到竖装位置 (3 槽 GPU) 此时，中间还剩下 Slot 2 到 5 总共四个槽位。这里可以 fit 进两个 2 槽显卡。这就达成了 5 张卡的极限配置（3 张三槽 + 2 张两槽），代价是没有任何地方放扩展卡了。当然，这只是理论，3070 Twin Edge 因为背板厚度实际上比真 2 槽宽一点，可能放不进去。

当然，也可以配4个三槽3090，加一个扩展卡。这也是非常夸张的配置了。

6. 回归 3 卡情况分析：3x 3090

如果只用 3 张 3090 呢？

  • 对于 Define 7 XL： 在有吊装支架的情况下，1 吊装 + 1 竖装 + 1 直插（Slot 7），直接搞定 3 张 3090。主板前部的 Slot 1-4 全部空余。这 4 个槽位甚至可以上：1 单槽 Quadro + 1 万兆网卡 + 1 HBA + 1 U.2，直接拉满 All-in-One 加上 72GB VRAM 的 Ollama 节点。非常震撼。 既然 Define 7 XL 这么强，那如果不买 MNPCTech 的吊装架子呢？ Slot 6/7/8/9 安排直插加竖装两张 3090。我们还剩 Slot 1, 2, 3, 4, 5。一张 3090 用掉 3 槽，最多剩下两个槽位，正好满足 10Gbps + U.2 的 All-in-One 需求。 结论：Define 7 XL 恐怖如斯，哪怕不用吊装支架，也能完美搞定 3x 3090 + 2 张扩展卡。
  • 对于 Enthoo Pro 2 Server Edition： 如果不买吊装支架：3x 3 槽用掉 9 个，机箱最多 11 个，剩 2 个。一旦加延长线，底座多占一个槽，理论上就不可能搞定 3x3090 + 2 张扩展卡了。 那能搞定 1 张扩展卡吗？ 这里取决于 Slot 9 是否能插卡。如果 Slot 9 确实可以用（Lucky Scenario），我们可以：
  • Slot 9/10/11: 3090 (从 Slot 2 引出)
  • Slot 6/7/8: 3090
  • Slot 3/4/5: 3090
  • Slot 1: 空出，完美放入 1 张扩展卡。 如果 Slot 9 没法用（Unlucky Scenario），必须用 Slot 10，那么 3 张 3090 插满后，根本没有地方给拓展卡了。

如果配合 MNPCTech 支架： 不管 Slot 9 能不能用，有了吊装腾出的空间，都能实现 3x 3090 + 2 张（甚至 3 张）扩展卡。

最终梳理

为了方便查阅，我把两个机箱在各个状态下的极限罗列如下：

Phanteks Enthoo Pro 2 Server Edition (Unlucky: Slot 9 不可用):

  • 无 MNPCTech: 2x 3090 + 1x 3070 + 2 扩展卡，或 3x 3090 + 0 扩展卡
  • 有 MNPCTech: 3x 3090 + 1x 3070 + 1 扩展卡，或 2x 3090 + 2x 3070 + 2 扩展卡

Phanteks Enthoo Pro 2 Server Edition (Lucky: Slot 9 可用):

  • 无 MNPCTech: 3x 3090 + 1x 3070 + 1 扩展卡，或 3x 3090 + 3 扩展卡
  • 有 MNPCTech: 3x 3090 + 1x 3070 + 1 扩展卡，或 2x 3090 + 2x 3070 + 2 扩展卡

Fractal Design Define 7 XL:

  • 无 MNPCTech: 3x 3090 + 2 扩展卡，或 3x 3090 + 1x 3070 (0 扩展卡)
  • 有 MNPCTech: 3x 3090 + 2x 3070 (88 GB VRAM，不浪费 3070)，或 4x 3090 + 1 扩展卡（96GB VRAM，最大显存了？纯显存容量看到企业级的尾灯了吗？另外，这个配置解锁了这个主板理论上的最大张量并行），或 3x 3090 + 1x 3070 + 2 扩展卡（维持 All-in-one 底线，还能有 80 GB VRAM），或 3x 3090 + 4 扩展卡 (榨干 7 个槽位，72GB VRAM 的同时，依旧满足 All-in-one 服务器的几乎所有拓展需求)

经过这番极其烧脑的推演，结论也算清晰了：

  • Phanteks Enthoo Pro 2 Server Edition：

    • 性价比高一些，侧边风扇支架带来的更强的散热能力。但是由于缺乏独立竖装空间，slot 9还有很多不确定性。如果一定要满足 All-in-one的基本需求的话，它的极限止步于 2x 3090 + 2x 3070 + 2 扩展卡。
    • 但是这个附带显卡支架的方案真的是很香。而且侧风扇位长期来讲对GPU的寿命可能更友好。当然，静音方面就别问了，虽然我觉得也不会很差，但是肯定比 Define 7 XL 吵。
    • 总体来说，确实更适合给正经服务器的双槽涡轮卡使用。

  • Fractal Design Define 7 XL：

    • 目前来看当之无愧的终极 All-in-One 解决之选。它巨大的内部空间（原生竖挂 + 巨大的前置顶部空腔）提供了很强的扩展能力。
    • 保持 2 个扩展卡的同时，还能有 80GB (虽然这也就是正经计算卡一张卡的 VRAM。。。。）VRAM 可供使用。如果是 Phanteks Enthoo Pro 2 Server Edition，就会少 16GB VRAM。
      • 不要小瞧这 16GB，虽然对于 70b 以上的模型，显存的边际下降了，毕竟70b, 120b, 235b, 671b, 1t 这之间的 gap 越来越大，同样 16GB 的差距，在 32b 以下的时候，能横跨好几个模型版本，而 120b 以上，有这 16GB 和没有这 16GB 该跑不了还是跑不了。
      • 但是对于 32b/36b/70b/80b 这些量级，16GB 意味着可以用更高的量化，更长的 Context。而这两者对于 agentic coding 是很重要的。之后有机会试试 Happy + Claude Code + Ollama 的。不过我现在就算搞也就是 40GB 的 1x 3090 + 2x 3070 瞎搞搞。这个文章就完全是给未来进行推演，看看哪个机箱好使，耐用。

也许，Define 7 XL 真的可以当传家宝吧。

这篇记录，算是彻底给自己的“选机箱内耗”画上了一个完美的句号。

机箱与前提条件辅助配件显卡配置方案 (3090 按 3 槽，3070 按 2 槽)剩余扩展卡槽位
Enthoo Pro 2 Server Edition
(Unlucky: Slot 9 不可用于插卡)		无 MNPCTech 支架方案 A: 2x 3090 + 1x 3070
方案 B: 3x 3090		2 张
0 张
使用 MNPCTech 支架方案 A: 3x 3090 + 1x 3070
方案 B: 2x 3090 + 2x 3070		1 张
2 张
Enthoo Pro 2 Server Edition
(Lucky: Slot 9 可用于插卡)		无 MNPCTech 支架方案 A: 3x 3090 + 1x 3070
方案 B: 3x 3090		1 张
3 张
使用 MNPCTech 支架方案 A: 3x 3090 + 1x 3070
方案 B: 2x 3090 + 2x 3070		1 张
2 张
Define 7 XL无 MNPCTech 支架方案 A: 3x 3090
方案 B: 3x 3090 + 1x 3070		2 张
0 张
使用 MNPCTech 支架方案 A (大显存池+最大3070复用,无扩展): 3x 3090 + 2x 3070 (五卡/88GB VRAM)
方案 B(3x 3090解锁TP 或 4显卡PP用88GB VRAM): 3x 3090 + 1x 3070
方案 C: 3x 3090
方案 D(最强AI形态，解锁96GB VRAM + VLLM(i.e. TP)): 4x 3090		0 张
2 张
4 张 (7槽位全满)
1 张 (网卡/U.2二选一)

Appendix

这次研究中发现的一些神奇的东西，极大的拓展了大空间机箱的可玩性：

再就是一些小感受：

  • 机箱确实越来越多的往海景房方向发展了。有些8槽的机箱都是海景房。不过嘛，这些都不是这个文章需要考虑的机箱。但是实打实适合用来 Homelab 的机箱真的选择不多了。尤其是大箱子。
  • 横插槽位大于等于九的机箱屈指可数。尤其加拿大。
  • Define 7 XL 确实恐怖如斯，配合 MNPCTech 的挂架，其实还有可能塞入更多显卡，因为 Define 7 XL 的前风扇位可能可以变成让显卡金属挡板朝前的竖插位置。而如果机箱x轴（从前到后）的长度够，可能就可以放下一个3070.如果放下一个，那很可能上下那么多前进风风扇都能挂一个3070甚至3090(比如靠上的位置)。
  • 其实，如果到了要去凑 72GB 显存的时候，Mac Studio/Ultra 的优势就开始显现出来了。
    • Mac Ultra 似乎能达到 820Gbps 的带宽？这个其实也没有比 3090 936Gbps 的带宽低太多了。如果就是用来跑 Ollama 个人使用，大于等于 3 张 3090 的时候，真的要严肃考虑为什么不去买 Mac 了。
    • 像文中提到的一些相对发烧的配置情况，真的很难说和 Mac 比谁更有性价比，别忘了： Mac 很小，发热很少，非常安静, 而且，极度保值，如果投资512GB的那个，是货真价实的一步到位。
    • 而如果用 Define 7 XL 搞，其实，如果要想搞出来同样的 400GB VRAM，其投入很可能要远高于 Mac Ultra 的。哪怕是 96 GB VRAM 我觉得也是 Mac 最有性价比。GPU这边还能占一个性能强，速度快的优势。只能等到更小的显存区间的时候，二手显卡才能显出优势。

Graph View