남는 PC를 로컬 AI 클러스터로 묶는 NVIDIA PAIR 설정법 대표 이미지

nvidia.com

用两台闲置 PC 搭建 NVIDIA PAIR 本地 AI 集群

如何用闲置 PC 设置 NVIDIA PAIR 本地 AI 集群开发

Personal AI Router for Local Inference | NVIDIA PAIR

Getting Started with NVIDIA Personal AI Router

Managing Engines in NVIDIA Personal AI Router

AI 请求排起了队，旁边 PC 的 GPU 却闲着

在主 PC 上同时运行编程代理和文档摘要时，一个请求要等另一个请求完成。即使桌边开着一台以前用过的游戏 PC 或笔记本电脑，要为每个应用分别管理连接地址和模型也很麻烦。

NVIDIA PAIR 在这种情况下会将多台计算机连接到同一个本地推理入口之后。应用通过当前计算机上的一个端点发出请求，PAIR 会选择一台能够运行所请求模型的节点并将任务发送过去。目前支持 Ollama 和 LM Studio。

不过，连接两台 PC 并不会变成一块巨大的 GPU。PAIR 减少的是多个独立请求在一块 GPU 前等待的时间。下面会先只在第二台 PC 上准备模型，以确认远程执行；随后再将相同模型添加到第一台 PC，以分配并发请求。

先确认一点：显存不会合并

在 PAIR 中，一个请求从头到尾都由一台选定的节点处理。它不支持 GPU 显存池化、将多块 GPU 变成一块逻辑 GPU、模型分片，或在节点间拆分正在进行的请求。

想做的事	PAIR 适配性	原因
同时处理编程、搜索和摘要代理的独立请求	适合	可将每个请求放到不同的可执行节点
减少多个本地应用的推理排队	适合	提供 Ollama 和 OpenAI 兼容代理路径
用两块 24GB GPU 运行 48GB 模型	不适合	不会合并显存，也不会把模型拆分加载到节点上
按 PC 数量提升单个请求的生成速度	不适合	单个请求只会在一个节点上运行

在 NVIDIA 的公开演示中，使用 Qwen 3.6 35B A3B 的五个子代理，在一台 RTX Spark 笔记本电脑上平均耗时 18 分钟；在这台笔记本电脑、DGX Spark 和 RTX 5090 组成的三台机器上，平均耗时为 8 分 48 秒。不过，NVIDIA 也将其描述为特定配置下的非官方演示。由于未公开重复次数和耗时分布，因此不应将其理解为普遍承诺的 2 倍加速。

不是两台都要装，而是执行候选节点需要同一模型

计算机要接收请求，必须处于在线状态、正在运行 Ollama 或 LM Studio，并且拥有请求中指定的精确模型。在多个执行节点上复制同一模型，才能增加可接收该模型请求的候选节点。

反过来说，集群中的所有计算机并不都需要引擎和模型。运行应用的计算机只需加入 PAIR 集群并提供本地代理，不需要 GPU 或自己的推理引擎。请在实际处理请求的节点上准备引擎和模型。

首次试验请从两台规格相近的机器和一个小型共用模型开始。

当前调度器主要查看排队任务和经过平缓校正的 GPU 利用率，不会考虑 GPU 型号、可用内存、延迟、模型是否已加载到内存中或请求成本。混用规格差异很大的 PC 时，可能会选中较慢的节点，反而更难排查原因。

PAIR 本身可混用 Windows 11、Linux 和 macOS 上的 x64 与 arm64 节点，Windows on ARM 支持仍处于实验阶段。发行文件分别为 Windows 的.exe、Debian 系 Linux 的.deb以及 macOS 的.dmg。不过，仍需根据每个节点的操作系统、GPU、驱动程序和内存条件，单独确认引擎和所选模型能否实际运行。

通过官方下载连接两台 PC

你需要两台连接到同一可信本地网络的计算机、用于存放模型的空间，以及用于下载的互联网连接。执行请求的 PC 必须有足够内存来运行所选引擎和模型。无显示器服务器可以使用终端界面，但执行节点显示等部分功能受限，因此首次验证使用桌面应用更方便。

从NVIDIA PAIR 官方页面下载适用于各操作系统的文件。 Windows 请运行安装程序；macOS 请将.dmg中的应用移至 Applications。在 Debian 系 Linux 中，请在下载目录运行sudo apt install./NVPAIR-Setup-*.deb。其他 Linux 发行版可能需要从源代码构建。
在每台计算机上打开 PAIR。 在首次运行设置中，你可以安装并启动 Ollama 或 LM Studio，也可以选择已在运行的引擎。第一台 PC 可以仅作为发送请求的客户端，因此不需要自己的引擎。在第二台 PC 上，启动实际处理请求的引擎，并确认 Overview 中显示该节点及其引擎状态。
从第一台 PC 邀请第二台 PC。 打开Add node或Settings → Cluster → Available nodes，选择另一台 PC。在受邀请的 PC 上输入第一台 PC 显示的六位 PIN。如果自动发现失败，可以通过 IP 地址直接添加。如果使用限制严格的防火墙，请允许本地 LAN 上用于 mDNS 发现的UDP 5353、用于节点间服务的TCP 14318~14323，并确保所用引擎的Endpoints或Engine settings中显示的代理端口可在已配对节点之间访问。默认端口是 Ollama 11434 和 LM Studio 1234，但应以界面显示的实际值为准。通过 IP 直接添加时不依赖 mDNS 发现，但仍需要 TCP 14318~14323 和引擎代理端口。连接后，Connected nodes或 Overview 中应显示两台设备。
仅在第二台 PC 上准备首次验证用的模型。 在 Overview 中选择第二台 PC，然后前往Engine settings → Add model，下载一个能轻松装入该 PC 内存的小模型。如果引擎要求显式加载，也请点击Load。暂时不要在第一台 PC 上安装相同模型，以便将执行目标限制为第二台 PC。
从运行应用的第一台 PC 的 Endpoints 中复制实际地址。 Ollama 代理通常使用http://127.0.0.1:11434，LM Studio 代理通常使用http://127.0.0.1:1234，但可能存在端口冲突或配置变更。不要手动输入默认值；请使用Endpoints界面显示的地址。
先检查模型列表，再发送聊天请求。 调用复制地址的/v1/models，确认能看到第二台 PC 上准备的模型。接着发送 Ollama 和 LM Studio 都支持的 OpenAI 兼容/v1/chat/completions请求。
```
curl <PAIR_BASE_URL>/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"<MODEL_NAME>","messages":[{"role":"user","content":"请用一句话说明路由器的作用。"}]}'
```
在 Overview 的 Jobs 中确认是否由第二台 PC 执行。 如果任务卡片的Ran on或Running on显示第二台 PC，就说明发送到第一台 PC 回环端点的请求已在另一节点执行。如果两边已经安装了相同模型，请从第一台 PC 删除该模型，或将第一台 PC 排除在执行候选之外，再次发送请求，以便明确验证目标节点。
确认远程执行后，再将相同模型添加到第一台 PC。 此时，如果第一台 PC 满足执行条件，请在同一引擎中安装完全相同的模型标签，并在需要时点击Load。同时发送多个独立请求后，检查 Jobs 是否将第一台和第二台 PC 都记录为执行节点，即可继续进行负载分配测试。

不要直接连接另一台 PC 的端口

PAIR 的明文 HTTP 推理端点只在该计算机的回环地址，即127.0.0.1上接受请求。其设计并不是让另一台 LAN 计算机直接连接到该 PC 的11434或1234端口。还需要在运行应用的计算机上安装 PAIR，并使用该计算机的本地端点。

已配对节点之间的主要通信使用经过身份验证的通道和双向 TLS。不过，六位 PIN 是用于初始信任设置的临时代码，部分节点发现辅助(discovery enrichment)和节点信息流量可能使用明文 HTTP。请在可信的家庭或私人办公室网络中连接，而不是在共享办公网络或公共 Wi-Fi 上连接，并且不要将 PAIR 或引擎端口暴露到互联网。

如果界面卡住，请先检查服务和端口。

如果 Overview 一直显示Loading...，请在Settings → Service中检查状态和日志，然后重启服务。如果 Endpoints 显示No engines are running，请先启动执行候选节点上的引擎。如果其他进程占用了代理端口，则需要在同一界面更改 PAIR 端口，或结束冲突进程。