
同一個應用想接 Google、Groq、Cerebras、SambaNova、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare 同 Z.ai,最煩通常唔係呼叫模型本身,而係供應商差異、可用模型變動,同埋管理方式分散。FreeLLMAPI V2 屬於開源 API 工具,用 Rust 寫後端,將多個免費層模型整合成 OpenAI-compatible API,旁邊再配一個 React/Vite 管理介面,處理查詢、切換同基本營運資訊。
它不只是做 API 轉發。crates/getmodelsapi 會負責 model discovery、scraping、filtering、enrichment、caching 同 serialization,代表項目本身會整理不同來源可用模型;crates/server 就接手 provider adapters、routing、SQLite persistence、health checks、analytics 同 graceful shutdown。呢個分工幾實際,因為你唔需要自己再砌一層模型清單同步服務。
項目比較像自架本地服務:後端預設監聽 127.0.0.1:3001,管理介面可另外用開發模式啟動,也可先 build client 再由伺服器提供內容。另有 desktop tray launcher,會喺本機啟動 server,再用瀏覽器開 dashboard;它唔內嵌 webview,亦唔依賴 Tauri。金鑰保護亦有交代,供應商憑證會用 AES-256-GCM,加密金鑰需用 64 個十六進位字元提供。
取捨同樣明顯。它集中火力解決「多供應商免費模型統一接入」呢件事,對於想快速驗證工作流、建內部工具、或者做模型切換測試的團隊會幾有幫助;但模型可用性本身受外部平台影響,所以 network-dependent provider smoke tests 不會放入一般測試,要另外開 GETMODELS_NETWORK_TESTS=1 驗證。換句話說,API 介面可以統一,免費模型是否穩定供應,仍然要跟住各家服務狀態走。
- 用 Rust 包辦後端與 model discovery,重點放在穩定服務、路由同資料持久化
- 提供 OpenAI-compatible API,較容易接入原本已支援 OpenAI 介面的應用
- 內建 React/Vite 管理介面,唔使自行補一套後台
- 支援 SQLite,較適合本地測試、小型團隊或輕量內部項目
- 免費模型來源多,但供應商連線與可用性仍需獨立驗證