長期運行的 AI Agent 真正花時間的地方，往往不是規劃，而是工具呼叫、結果驗證、子代理分派這些高頻次的執行步驟。每一個小動作都用頂級推理模型去跑，會帶來明顯的成本與延遲壓力。NVIDIA 推出的 Nemotron 3.5 Lightning 就是針對這個「執行層」設計的開放模型，採用 30B 參數的 Mixture-of-Experts（MoE）架構，但每次只啟動 3B 參數，在維持效率的同時兼顧準確度。
與坊間常見做法不同，Nemotron 3.5 Lightning 並非要取代大型推理模型，而是與之分工——前者處理高頻執行，後者專注規劃與複雜推理。模型本身針對 agent harness（如 OpenClaw、Hermes Agent）做了訓練優化，並提供 speculative decoding、NVFP4 與 BF16 量化版本，宣稱輸出速度比同級模型快 4 倍。這對需要長時間在線、隨時待命的 Agent 來說，省下的不只是金錢，還有回應時間。
Nemotron Lightning - NVIDIA's Super Fast Agent MoE
NVIDIA 同時推出 NeMo Switchyard，一個負責任務分派的路由函式庫，能根據任務類型自動挑選最合適的模型。整個 Nemotron 系列定位有點像「模型版的軟件庫」，每次發佈都在累積可組合的元件。對於需要自己掌控成本與效能的開發團隊，這套組合提供了相當完整的權重、數據與訓練配方，加上寬鬆的開源授權，方便做深度客製化。
- 專注 Agent 執行層：30B MoE 架構、3B 活躍參數，設計目標是高頻低延遲的工具呼叫與驗證。
- 速度與成本取捨：相比同級模型，輸出速度提升達 4 倍，搭配 NVFP4 量化可在本地硬件運行。
- 分層協作模式：與 Nemotron 3 Ultra 等大型推理模型分工，由 NeMo Switchyard 負責智能路由。
- 完整開源：權重、訓練數據與配方一併釋出，授權寬鬆，方便客製與整合。
- 生態整合：對應 NemoClaw 安全管理開源方案，支援 OpenClaw、Hermes Agent 等長期運行框架。