折腾 Zhēteng

给新收的Asus X99 WS规划一个大House

Created: Modified: 21 min read

最近在 Facebook Marketplace 上收了一张 Asus X99-E WS USB 3.1 主板（配合 E5 1660 v3 CPU）。对于我这个“半吊子垃圾佬”来说，这板子算是我心心念念有段时间的准满配 X99 神板了。

主板自带双 PLX 芯片，最大的优势就是拥有 7 个全长 PCIe 槽位，并且支持 x16/x8/x8/x8/x8/x8/x8 的拆分。看着这些 PCIe 槽和至少 x8 的带宽，我就总在琢磨：能不能把家里用来跑 Ollama 的机器和 Home Server 合并在一起，尽量榨干这张主板的拓展价值？

  • 没错，这就是一种既要又要。
  • 既要满足现在的需求，又要满足想象中的未来的需求。
  • 不仅要满足未来想象中的一种需求，还要满足另一种需求。
  • 不仅要满足两种需求，还要在未来需求产生二次分叉的时候，依旧能满足需求。
  • 唉。。。人啊。

这部分的研究主要集中在机箱的物理空间推演。我需要综合考虑目前手头已有的显卡，以及未来作为 All-in-One 节点可能需要增加的扩展卡。

  • 目前的显卡： 一张 Zotac 3090 Trinity（2.5 槽厚，推演中按不到 3 槽计算），以及 3 张 Zotac 3070 Twin Edge（基本上算 2 槽厚）。
    • 想要考虑的情况包括：只用现有的卡，或者“再购入 3090”的情况。目前来看，3090 算是某种“甜点位置”，24GB 的 VRAM，基本上是家里玩 Ollama 的，比较实际的，单卡上限了。（如果三张 3090 还不够，大概就应该严肃考虑去买 Mac Studio/Ultra 了）
  • 常规扩展卡（关键思路转变）： U.2 转接卡、万兆网卡（10Gbps Ethernet Adapter），或者是 HBA 卡。需要说明的是，我目前手头并没有这些扩展卡，只是按照大家对 All-in-One 的理解作为标准体积进行空间推演。
    • 其中 U.2 我觉得还是挺有必要的，毕竟如果跑 PVE 的话，肯定还是至少 enterprise 级别的 NVMe，要不就是消费级 NVMe 但是要 ZFS Mirror。可是这个 X99 毕竟 10 年前了，配置豪华如斯也只有一个板载 M.2。不想赌博想要严肃一点给家人提供服务的话，还是要考虑一下 U.2 的。

关于 All-in-one 最低要求的破局点： 实际上，我们可以把主板上 M.2 的位置转接为一个 10Gbps（甚至勉强 40Gbps）的网卡。这个网卡如果想引出机箱，只需要一个 PCIe 挡板。最绝的是，这个挡板位置，可以和 PCIe Riser Cable（延长线）共用一个 PCIe 出口挡板！ 几乎所有的三卡以上 Setup 都用了延长线，就算不用，机箱也绝对有多余的挡板位。 因此，All-in-One 的最低需求实际上就降级为：只要有 1 张扩展卡的物理空间，搞定双 NVMe 给 Proxmox 装系统跑 VM，配合 M.2 转接网卡，就能达成 Minimum Requirement！ 如果有 2 个扩展卡位置，就能解锁 HBA + 10Gbps + U.2；如果有 3~4 个，那就是满配了。

要在满足散热和走线的前提下塞进这些硬件，加拿大市面上能考虑的机箱屈指可数（感觉国内其实选择也很少，但是国内有极度发达的淘宝工控机定制服务，要啥有啥）。在此基础上的进阶配置，基本就只剩下 Fractal Design Define 7 XL 和 Phanteks Enthoo Pro 2 Server Edition 两个选择了。

下面是详细空间推演过程。

1. 基础配置：1x 3090 + 2x 3070 Twin Edge

这是最基础的情况。为了尽可能减少主板上被遮挡的可用槽位，这唯一的一张 3 槽厚的 3090 肯定要放在主板最底部的第 7 槽位。这样它多出来的厚度只会向下占用机箱的第 8、9 槽位空间。这种情况下的技巧在于，尽量让更多的显卡在 x16 模式下，并尽量直插，减少不必要的花费。

结果是两款机箱通用：

  • Slot 1: 3070 Twin Edge
  • Slot 3 / 4: 扩展卡（U.2 或万兆网卡）
  • Slot 5: 第二张 3070 Twin Edge
  • Slot 7: 3090

此时，机箱的门槛变成了需要 9 个直插槽位的高度，这基本排除了绝大多数机箱（除上述两款外，可能只剩 Rosewill Thor NAS 机箱了）。

此时还不需要用任何延长线。但是，Slot 5 的 3070 已经只能运行在 x8 模式下了，因为 Slot 4 被占用。如果想要确保所有 GPU 都在 x16 模式下，就需要把 Slot 1 的 3070 挪出去：

  • Define 7 XL： 直接延长线到原装竖装位置。
  • Enthoo Pro 2 Server Edition： 需要一根延长线从 Slot 1 直接引到 Slot 9 或 10 的位置。这就要求 PCIe 延长线够长且灵活（right in right out），好走长线。

挪走第一槽的 3070 后，U.2 转接卡和网卡就可以占用 2、3 槽位，共用一个 x16 (拆成 x8/x8)，非常和谐。但如果想在此基础上再加一个 HBA card，占用 Slot 4，那就不可避免地需要一个显卡使用 x8 模式了。

2. 四卡基础配置：1x 3090 + 3x 3070 Twin Edge

实际上这个时候，更合理的选择是直接二手出掉 3070 换一张 3090 回来。但如果没有蹲到合适的价格，又需要凑够 48GB 显存，就只能上这种比较极限、略显鸡肋的方案了。这也意味着我们需要使用 MNPCTech 120 fan GPU mount bracket（显卡吊装架）了。 (注：这种吊装方案的代价是，Define 7 XL 的 5.25 寸光驱槽位将无法使用，少了一个方便进行冷备份的硬盘位置，并会侵占前部 3.5 寸硬盘位。)

对于 Define 7 XL 优化后的排布：

  • Slot 1 (3090): 延长线直接引到机箱前部顶部吊装。金手指朝后，电源口朝右，方便接线。
  • Slot 2: U.2 扩展卡
  • Slot 3: 3070 Twin Edge
  • Slot 5: PCIe 延长线引到竖装位置，放第二张 3070
  • Slot 7: 第三张 3070

这个方案提高了 3090 和最下面 3070 的散热能力。

对于 Enthoo Pro 2 Server Edition： 排布基本一样，区别在于 Slot 5 的延长线往下引到 Slot 9 或 10。 关于散热差异：Enthoo Pro 2 内部有一个侧边 3x120mm 风扇架，固定在打开侧板那一侧直吹显卡越肩处，对多卡直插散热很有保证。移动架子后才能在顶部吊装显卡（顶部最大只支持 360 冷排）。相比之下，Define 7 XL 顶部支持 480 冷排，进深极大。

3. 进阶推演：2x 3090 + 2x 3070 Twin Edge

压榨一下，把一张 3070 换成 3090（大于 3 槽厚的 3090 直接排除）。

  • Define 7 XL： 把 Slot 7 或 Slot 5 (竖装位) 的 3070 换成 3090 即可。
  • Enthoo Pro 2 Server Edition： 把 Slot 7 换成 3090，然后把转接位换成 3070。注意，底座只能到 Slot 10，因为 Slot 9 已被 3090 占用。

4. 再次进阶：3x 3090 + 1x 3070 Twin Edge

  • Define 7 XL 依旧容易： Slot 1 (顶部吊装)、Slot 7 (直插)、Slot 5 (竖装) 安排 3 张 3090。Slot 3/4 安排 3070。还能空出 Slot 2 给 U.2 转接卡。
  • Enthoo Pro 2 Server Edition 变得难搞： 吊装 1 张 3090，机箱内需解决 2x 3090 + 1x 3070（共 8 槽）加 1 张扩展卡（1 槽），延长线底座再占 1 槽。 极限排布只能是：Slot 1 吊装；Slot 2/3/4 直插 3090；Slot 5 引至 Slot 10 放 3070；Slot 6 插扩展卡；Slot 7/8/9 直插 3090。可以说极其极限，如果 Slot 9 无法放延长线底座，连这张扩展卡也保不住。

5. Define 7 XL 的理论极限：五张卡的情况

对于 Define 7 XL 来说： Slot 1 吊装 (3槽) + Slot 7 直插 (3槽) + Slot 6 引出竖装 (3槽)。中间剩下 Slot 2 到 5 共四个槽位。这里理论上可以 fit 进两个 2 槽显卡（3070 Twin Edge），达成 5 张卡的极限配置（3张三槽+2张两槽）。代价是无处安放任何扩展卡。 当然，也可以配 4 个三槽 3090 加 1 个扩展卡，解锁最强 AI 算力形态。

6. 回归 3 卡情况分析：3x 3090

  • 对于 Define 7 XL： 不用吊装支架的情况下，Slot 6/7/8/9 安排直插加竖装两张 3090。还剩 Slot 1 到 5，插入第三张 3090 用掉 3 槽，正好剩下两槽供 U.2 和 HBA 使用！ 结论：Define 7 XL 恐怖如斯，不用吊装就能完美搞定 3x 3090 + 2 张扩展卡（进阶 All-in-One）。

  • 对于 Enthoo Pro 2 Server Edition： 不用吊装支架，3 张 3090 吃掉 9 个槽。 如果 Slot 9 确实可以插延长线底座 (Lucky)：只能把主板 Slot 2 引到 Slot 9/10/11，Slot 6/7/8 直插，Slot 3/4/5 直插。此时 Slot 1 空出，正好放入 1 张扩展卡（满足 Minimum All-in-One）。 如果 Slot 9 无法使用 (Unlucky)：必须用 Slot 10，那么 3 张 3090 插满后，根本没有地方给拓展卡了。

最终梳理

经过这番极其烧脑的推演，结论也算清晰了：

  • Phanteks Enthoo Pro 2 Server Edition：性价比高，侧边风扇支架带来极强的直吹散热能力（适合正经双槽涡轮卡）。由于缺乏独立竖装空间且受限于 Slot 9 的不确定性，想维持 All-in-One 底线，极限止步于 2x 3090 + 2x 3070 + 2 扩展卡。
  • Fractal Design Define 7 XL：当之无愧的终极 All-in-One 解决之选。巨大的内部空间带来了极其夸张的灵活性。保持 2 个扩展卡的同时，还能有 80GB VRAM。不要小瞧比 Enthoo 方案多出来的这 16GB VRAM，对于 32B/70B 量级，16GB 意味着更高的量化和更长的 Context，这对 Agentic Coding 很重要。

也许，Define 7 XL 真的可以当传家宝吧。这篇记录，算是彻底给这次头脑风暴收个尾。

下面是各配置的详细推演表格：

表 1：Phanteks Enthoo Pro 2 Server Edition (Unlucky - Slot 9 不可用)

(注：顶部吊装会导致失去 5.25 寸光驱位。M.2 转万兆网卡与 PCIe 延长线共用机箱挡板)

辅助配件显卡配置方案 (3090=3槽, 3070=2槽)总显存解锁 AI 推理能力剩余物理槽All-in-One 状态评估
无吊装1x 3090 + 2x 307040 GB异构分配 / PP2 张进阶 AIO (U.2 adapter + HBA + m.2→10Gbps网卡)
2x 3090 + 1x 307056 GB异构分配 / PP2 张进阶 AIO (U.2 adapter + HBA + m.2→10Gbps网卡)
3x 309072 GB解锁 3 卡 TP0 张仅m.2→10Gbps网卡 (无法满足 AIO)
有吊装1x 3090 + 3x 307048 GB异构分配 / PP2 张进阶 AIO (U.2 adapter + HBA + m.2→10Gbps网卡)
2x 3090 + 2x 307064 GB异构分配 / PP2 张进阶 AIO (U.2 adapter + HBA + m.2→10Gbps网卡)
3x 3090 + 1x 307080 GB3 卡 TP + 1 辅卡1 张基础 AIO (U.2 adapter + m.2→10Gbps网卡)

NOTE

如果第九槽位没法插卡，那其实同样无论如何搞不定4个需要三槽位的 3090，就算有吊装也不行，就算不要扩展卡了也不行。

表 2：Phanteks Enthoo Pro 2 Server Edition (Lucky - Slot 9 可用)

辅助配件显卡配置方案 (3090=3槽, 3070=2槽)总显存解锁 AI 推理能力剩余物理槽All-in-One 状态评估
无吊装2x 3090 + 1x 307056 GB异构分配 / PP2 张进阶 AIO (U.2 adapter + HBA + m.2→10Gbps网卡)
3x 309072 GB解锁 3 卡 TP1 张基础 AIO (U.2 adapter + m.2→10Gbps网卡)
3x 3090 + 1x 307080 GB3 卡 TP + 1 辅卡1 张基础 AIO (U.2 adapter + m.2→10Gbps网卡)
有吊装2x 3090 + 2x 307064 GB异构分配 / PP2 张进阶 AIO (U.2 adapter + HBA + m.2→10Gbps网卡)
3x 3090 + 1x 307080 GB3 卡 TP + 1 辅卡1 张基础 AIO (U.2 adapter + m.2→10Gbps网卡)
4x 309096 GB解锁 4 卡 TP0 张仅m.2→10Gbps网卡 (无法满足 AIO)

表 3：Fractal Design Define 7 XL

辅助配件显卡配置方案 (3090=3槽, 3070=2槽)总显存解锁 AI 推理能力剩余物理槽All-in-One 状态评估
无吊装1x 3090 + 2x 307040 GB异构分配 / PP2 张进阶 AIO (U.2 adapter + HBA + m.2转接网卡)
2x 3090 + 2x 307064 GB异构分配 / PP2 张进阶 AIO (U.2 adapter + HBA + m.2转接网卡)
3x 309072 GB解锁 3 卡 TP2 张进阶 AIO (U.2 adapter + HBA + m.2转接网卡)
3x 3090 + 1x 307080 GB3 卡 TP + 1 辅卡0 张仅m.2转接网卡 (无法满足 AIO)
有吊装1x 3090 + 3x 307048 GB异构分配 / PP2 张进阶 AIO (U.2 adapter + HBA + m.2转接网卡)
3x 3090 + 1x 307080 GB3 卡 TP + 1 辅卡2 张进阶 AIO (维持高规格 AIO)
3x 3090 + 2x 307088 GB3卡 TP + 2卡 PP0 张仅m.2转接网卡 (为了五卡牺牲 AIO)
3x 309072 GB解锁 3 卡 TP4 张满配 AIO (榨干主板槽位，要啥都有)
4x 309096 GB解锁 4 卡 TP (最强算力)1 张基础 AIO (U.2 adapter + m.2转接网卡)

IMPORTANT

Define 7 XL 默认还是有光驱位置的，一旦占用了，就没有方便的冷备份热插拔位置了。所以是不是要吊装，还是需要慎重。 不过我没有考虑把 显卡挂在顶架从左数第三个 120mm 风扇位的可能性，不知道这样能不能把光驱位让出来。这个没有机箱真的搞不定。

NOTE

Define 7 XL 牛就牛在，四卡 3090 的情况下，依旧可以搞定基础的 AIO，至少给出来一个位置装 U.2 的转接。 可以说，对于 Homelab 单机使用来说，算得上成品机箱里面的天生圣体了。

最终结论

Define 7 XL 算是终极答案了。

  • 如果保留 AIO 的能力和光驱位的冷备份热插拔盘位，最保守的布置方法，可以搞定至少三张三槽 3090。
  • 如果放弃光驱位，保留 AIO，可以搞定四张三槽 3090。
    • 如果都到这个地步了，冷备份用 USB 硬盘盒也不是不能接受的。
    • 到这一步的时候，确实就觉得 PCIE 3.0 x8/x16 的带宽对于 TP 来说，有点不够看了。也许就又开始幻想 4x 5090 走 PCIE 5.0 x16通道（足足是 PCIE 3.0 x16速度的四倍，是 PCIE 3.0 x8的8倍）的场景了吧（就算是 64k long context + TP 可能首字延迟对于个人使用来说也能接受了？）

Appendix

这次研究中发现的一些神奇的东西，极大的拓展了大空间机箱的可玩性，一定要记录下来：

再就是一些小感受：

  • 机箱确实越来越多的往海景房方向发展了。有些8槽的机箱都是海景房。不过嘛，这些都不是这个文章需要考虑的机箱。但是实打实适合用来 Homelab 的机箱真的选择不多了。尤其是大箱子。
  • 横插槽位大于等于九的机箱屈指可数。尤其加拿大。
  • Define 7 XL 确实恐怖如斯，配合 MNPCTech 的挂架，其实还有可能塞入更多显卡，因为 Define 7 XL 的前风扇位可能可以变成让显卡金属挡板朝前的竖插位置。而如果机箱x轴（从前到后）的长度够，可能就可以放下一个3070.如果放下一个，那很可能上下那么多前进风风扇都能挂一个3070甚至3090(比如靠上的位置)。
  • 其实，如果到了要去凑 72GB 显存的时候，Mac Studio/Ultra 的优势就开始显现出来了。
    • Mac Ultra 似乎能达到 820Gbps 的带宽？这个其实也没有比 3090 936Gbps 的带宽低太多了。如果就是用来跑 Ollama 个人使用，大于等于 3 张 3090 的时候，真的要严肃考虑为什么不去买 Mac 了。
    • 像文中提到的一些相对发烧的配置情况，真的很难说和 Mac 比谁更有性价比，别忘了： Mac 很小，发热很少，非常安静, 而且，极度保值，如果投资512GB的那个，是货真价实的一步到位。
    • 而如果用 Define 7 XL 搞，其实，如果要想搞出来同样的 400GB VRAM，其投入很可能要远高于 Mac Ultra 的。哪怕是 96 GB VRAM 我觉得也是 Mac 最有性价比。GPU这边还能占一个性能强，速度快的优势。只能等到更小的显存区间的时候，二手显卡才能显出优势。

Graph View