揀模型往往是部署 AI Agent 嘅最大難題之一。每一個請求嘅需要都唔同：有時要做分類，有時要做推理，亦可能只係簡單跟進任務。如果全部交俾最貴嘅模型，成本同延遲即刻飆升；硬揀細模型又會喺複雜任務上跌質素。NVIDIA NeMo Switchyard 就係為咗處理呢個矛盾而設計嘅 routing 框架。
開發者可以將 Switchyard 理解為一個智能分流器：每次有請求進入，router 會根據模型能力、成本同基建狀況等即時訊號，決定交俾邊個模型處理。整個判斷過程毋須事先大量微調，支援 tuning-free 同 tunable 兩種路由演算法，亦因為採用 provider-agnostic SDK，邏輯同具體模型供應商解耦，轉換模型時無需重寫應用。
Switchyard NVIDIA's Local Agent Router
呢套做法同「全部用一個模型」嘅常見做法相比，最大差異在於將選模型變成可調控嘅政策。LangChain 同 Cognition 等合作實測顯示，路由後既能維持高準確率，又能明顯降低成本。對於需要同時處理多類任務、又關心成本曲線嘅 Agent 工作流，呢種 system-of-models 嘅思維比起死鎖單一模型更貼近實際環境。
重點摘要：
- 動態路由：根據每次請求嘅 context、能力、成本同延遲限制，即時揀選最合適嘅模型。
- 彈性 SDK：provider-agnostic 設計令開發者無需為每個模型供應商重寫應用。
- 支援兩種路由策略：由 tuning-free 到可微調演算法，畀開發者按需要調整。
- 成本與質素平衡：實測顯示可以在保持高準確率嘅同時顯著降低開支。
- 即時訊號驅動：用 runtime 訊號做調度，適合 production 環境嘅 agent workflow。
對於正在建構多步驟 Agent、又唔想被單一模型綁死嘅團隊，NeMo Switchyard 提供咗一個相對務實嘅選擇：將「揀模型」變成可觀察、可調校嘅環節，而唔係每次模型換代都要由頭來過。
