手把手教你微调Deepseek R1，保姆级实战，建议收藏！
手把手教你微調 Deepseek R1
Memento：把長片段角色一致性補回來
Memento 是一個影片生成框架，重點解決長篇、多鏡頭故事影片中角色外觀容易前後不一致的問題。傳統做法多半只顧下一段鏡頭看起來合理，Memento 則把「能否從記憶重建角色」當成身份是否被保留的檢查方式。
它的做法是把全局故事描述、每個 shot 的文字提示，連同歷史記憶一起送入生成流程，逐鏡頭自回歸地產生影片。使用時可準備對應格式的 JSON 故事腳本，再配合提供的權重與基礎模型做推理；項目也支援訓練與輸出完整影片。
PhoneHarness：重新量度手機代理能力
PhoneHarness 是一個混合動作的手機代理評測框架與基準，解決只靠 GUI 點按去評分、卻量不到真實副作用的問題。論文指出，手機任務往往需要在 GUI、CLI 與 structured tools 之間切換，單看最後畫面會漏掉很多關鍵步驟。
它的做法是把行動路由、GUI 委派和可追蹤執行記錄放進同一個流程。當任務有明確可執行路徑時，系統會優先走 CLI 或 MCP 完成；只有必要時才交由 GUI worker 透過截圖互動，令評測更貼近真正手機工作流。
這個項目的新意在於把「能否完成」和「是否留下可驗證證據」綁在一起。JSONL traces 和 HTML viewer 令失敗可以被拆成模型推理、GUI 對齊、環境、工具或 verifier 不一致幾類，方便找出問題來源，而不是只見到一個分數。
論文中的 PhoneHarness Bench 在 annotated evaluation split 上取得 75.0% pass rate，較最強的非 PhoneHarness 設定高 12.9 個百分點。這表示它不只是測試介面操作，還在測試代理怎樣選擇動作面，對做手機自動化、裝置測試、或需要可審計流程的團隊都幾有參考價值。
- 混合支援 GUI、CLI、MCP tools，適合手機工作流評測
- 優先 deterministic 路由，減少不必要的畫面操作
- 可追蹤 traces，方便定位錯誤來源
- 適合研究 phone agents、裝置自動化與安全副作用檢查
相關模型／基準可一併留意：PhoneHarness、PhoneHarness Bench、AndroidWorld、AppAgent、Mobile-Agent-v2、MobileAgentBench、AndroidLab。
JoyAI-VL-Interaction 把影像助手變主動
現時多數視覺語言模型仍然沿用 turn-based 問答範式：用戶問一句，模型答一句；就算放進視像通話或直播介面，底層仍是被動回應。JoyAI-VL-Interaction 直接挑戰這個做法，改成持續觀看、按秒判斷要沉默、回應，還是把難題交給背景模型處理，目標是把 VLM 從「被問先答」推向即時互動。
這是一個多模態模型加可部署系統項目，想解決的不是普通問答，而是「畫面中的關鍵一刻不會等人發問」這個問題。技術報告提到它是 8B vision-first 模型，支援 real-time video-language interaction，並配合 time-aligned interaction data、training recipe 與完整系統，重點放在時間感、主動觸發與持續在線。
如果你想理解它是否適合自己，最容易的測試場景是把 webcam、直播畫面或監控串流接入，觀察它會否在有事件時主動開口，而不是每次都等指令。這種模式較適合直播助理、居家提醒、遠端看護、商務示範，甚至要一邊看影像一邊調用 API 或 agent 的流程。
- 核心改動是由問答式互動，轉向 watch-and-do 式互動
- 模型每秒自行決定沉默、回應或 delegation
- 系統可接駁 ASR、TTS、memory、API 與其他 agent
- 報告稱可長時間處理連續影片，延遲維持在 sub-second
- 人工評分比較中，對 Doubao 與 Gemini 的質量與時機掌握都有明顯優勢
創新位不只在模型本身，也在整個開放堆疊一起釋出：模型、數據、訓練方法與部署系統放在同一個項目脈絡，方便研究者與開發者沿原路線延伸。相關模型與組件包括背景大模型、API、agent，以及文中對比的 Doubao、Gemini；若完整開源內容如期提供，這個項目會對即時多模態互動研究有相當高參考價值。
GitHub： https://github.com/jd-opensource/JoyAI-VL-Interaction
項目：https://joyai-vl-video-future-academy-jd.github.io/JoyAI-VL-Interaction/
MiniMax Mavis：多 Agent 協作處理長任務
MiniMax 把原有 Agent 升級並命名為 Mavis，重點是加入 Agent Teams，讓多個 Agent 在桌面版同時運行，並以不同角色分工合作。這個方向主要處理單一 Agent 面對長任務時容易同時做執行者與裁判、資料整理與事實核對混在一起的問題。
過去把一個複雜要求直接交給單一 AI assistant，回覆速度可以很快，但當內容需要最新資料、來源整理、格式輸出與結果驗證時，流程便容易失焦。Agent Team 的做法是把任務拆成前台與後台、有驗收、有記憶的工作流；用戶仍然只需輸入一個要求，系統再判斷是否拆解、哪些角色可並行、哪些結果需要覆核。
對一般用戶而言，這項目最易理解的用法，是把它視為一個可分工的 AI 工作團隊。若你要處理長篇內容整理、跨格式輸出，或需要連續跟進的知識工作，Mavis 會比單一 Agent 更合適；如果只是一次性的小任務，官方亦暗示未必需要動用 Agent Team。
- 支援多個 Agent 並行，適合長時間與複雜任務
- 可建立不同角色分工，提升整理、驗證與交付流程
- 用戶只需提供一次指令，系統會自行判斷是否拆解任務
- 整合 TokenPlan 與 Agent Plan，CLI、API、Agent 共用訂閱與 credits
另一個更新是把 TokenPlan 與 Agent Plan 合併成單一訂閱，涵蓋 CLI、API、Agent，以及 M2.7、music、video、voice 等能力，credits 亦可共享。對已同時訂閱兩個計劃的用戶，官方表示會補送一個月會籍。這次內容未見具體跑分或量化基準，重點更偏向產品工作流與使用體驗的重整。
項目： https://www.minimax.io/blog/minimax-agent-team-long-running-1779893953
MiniMax Hub：本機優先的多模態創作工作站
MiniMax Hub 是一個 Multimodal Creative Agent，定位像 AI 創作工作站，不只是聊天工具。它把 Copy Generation、Image Creation、Video Editing、Audio & Voiceover、Auto Packaging 與 Multi-format Export 整合在同一個流程，讓用家由想法到成片可在一處完成。
它支援 macOS 與 Windows 下載，輸入簡報、文字想法，或直接加入本機素材後，主代理會先理解創作目標，再做 Smart task decomposition，之後交由多個 agents 並行處理文案、視覺與音訊。用家仍可手動選模型，亦會在關鍵節點收到確認，避免流程完全黑箱。
這個項目在於把創作流程保存成可重用的 Skills。系統會隨工作過程累積你的做法與風格，之後可重複套用；如果需要，也可從 MiniMax Skills Market 啟用現成 Skills 或外掛。對經常製作短劇、電商內容、品牌 TVC 與廣告素材的團隊來說，這類流程重用能力相當實用。
- 本機優先設計，頁面明確指出 local files stay on your machine
- 單一畫布整合腳本、分鏡、影片、音樂與剪輯流程
- 支援資產管理與 batch generation，可一次產出多個版本
- 代理會自動分解任務，並在關鍵步驟要求人工確認
- 可把工作流程沉澱成 Skills，逐步累積個人或團隊方法
MiniMax Hub較著重工作流編排與創作協作，而不是單一模型能力展示。網站未列出具體性能分數或公開評測結果，因此較適合把它理解為面向內容製作的本地化 AI 工具平台。文中未提供明確模型清單，只提到會自動匹配最合適模型。
Nemotron：NVIDIA 打造 Agentic AI 模型家族
Nemotron 是一個面向 agentic AI 的模型家族加開發資源項目，重點不是只放出權重，而是連 training recipes、deployment guides、資料準備與 use-case examples 一併提供，目標是縮短由研究到部署的距離。對想建立 AI agents 的團隊來說，這種整理方式比單獨下載模型更實用。
這個項目最實際的看法，是它把不同算力環境分得很清楚：Nano 針對 edge 和 PC，Super 主打單 GPU 高吞吐，Ultra 面向 multi-GPU datacenter applications。若你想先試概念，可由 Hugging Face 上的 Nemotron 模型開始，再按項目內的指引查看對應版本的訓練與部署資料。
創新點在於它不只講文字模型。Nemotron 3 Nano Omni 是 30B-A3B hybrid Mamba-Transformer MoE，原生支援 text、image、video、audio，定位為 agentic AI 的 multimodal perception sub-agent。這代表它較像多模態代理系統中的感知核心，而不只是一般聊天模型。
項目內容亦涵蓋 curate/、data prep/、sdg/ 和 translate/，即是連資料整理、Synthetic Data Generation (SDG) 與 corpus translation 都納入流程。這種由數據到模型再到部署的完整鏈條，對企業、研究團隊，以及想建立可重複流程的開發者尤其有吸引力。
- 提供 Nemotron Nano、Super、Ultra 等級，對應不同硬件規模
- 涵蓋 training recipes、deployment guides、資料處理與 SDG
- Nemotron 3 Nano Omni 支援文字、影像、影片、音訊多模態輸入
- 可配合 TensorRT-LLM 與 NIM microservices，部署彈性較高
- 適合 agentic AI、Computer-use agents、企業內部 AI workflow 測試
如果你想找的是一個可直接抄答案的成品，Nemotron 未必是最快捷的選擇；但若你需要一套可追溯、可調整、可延伸的開放模型項目，它的結構相當完整。現有資料顯示它更偏向給認真做產品化或研究驗證的人使用，而不是單次玩票式體驗。
VisualClaw：會進化的視覺代理
現時不少 vision-language agents 主要靠固定提示、整段影片送入模型，或者一次性工具調用去完成任務；作者認為這種 fixed scaffold 容易令延遲、成本同提示長度一齊上升，而且部署後幾乎唔會自己累積經驗。VisualClaw 因而提出一個 modular multimodal agent system，夾在 Claude Code、Codex、OpenClaw 同上游 LLM providers 之間，加入 retrieved memory、skill bank、self-evolution、video processing 同 evaluation hooks。
這個項目屬於框架兼工具型基建，重點唔係再訓練一個新模型，而係幫 Computer-use agents、tool-using vision-language agents 更有效處理影片、工作空間同多輪任務。配套的 VisualClawArena 則是獨立 benchmark/data release，收錄 200 個 scenario，要求代理真正在 workspace 內用影片證據、文件、動態更新與 executable checks 解題，補回一般 video-QA benchmark 對工具使用情境測試不足的缺口。
把它當成 gateway proxy，用熟悉的 OpenAI 或 Anthropic 相容介面接到現有 agent workflow，再逐步打開 skills、memory、video cascade 等模組。對已經在用 Claude Code 或 Codex 的團隊，這種接法尤其實用，因為毋須由零重寫整個代理流程。
- 核心結構清楚：gateway design 加上 pre/post hooks，方便在提示前後插入技能、記憶與評測。
- 創新位具體：以 hybrid encoding 處理 streaming video，配合 cascaded gate、keyframe context、hot/cold top-k injection，目標是壓低成本而保留關鍵視覺證據。
- 會累積經驗：self-evolution 會根據失敗回合與成功記憶更新 skill bank，唔係每次都由同一套靜態提示開始。
- 評測唔只看答對：VisualClawArena 把多輪問題、影片、workspace 操作同評估輸出綁埋一齊，更接近真實代理任務。
在 4 個 video-QA benchmarks、2 個 VLMs（Gemini 3 Flash、GPT-5.2）上，VisualClaw 對 full-frame upload 的每題 API 成本平均可減 98%，相對 offline uniform 8 frame baseline 亦再降 25.9%，同時多數設定下準確率有提升。到 VisualClawArena，配合 Codex（GPT-5.5）與 Claude Code（Sonnet 4.6）等 backend，macro accuracy 分別提升 2.9% 同 3.2%；如果你關心的是可插拔代理基建、多模態工作流，或者想為 live vision 與影片任務加上可持續進化能力，這個項目比單純模型包裝器更有研究同落地價值。
last30days-skill：用人氣做 AI 搜尋
last30days-skill 是一個 Agentic Skill 搜尋工具項目，核心做法不是依賴編輯式排序，而是把 Reddit、YouTube、TikTok、Instagram、Threads、GitHub、HN、Polymarket 等來源的互動訊號交叉比對，整理出近 30 日最受關注的資訊。它要解決的，是同一個主題分散在不同平台、普通搜尋又難以整合的問題。
這個項目的判斷邏輯相當有意思：不是只看網頁是否存在，而是看 upvotes、likes、留言、甚至真金白銀的市場訊號。對想快速了解某人物、產品、議題近期動向的人，這比傳統搜尋更接近「大家最近在講乜」。若只想先試基本能力，公開資料已可直接涵蓋 Reddit comments；再加入 API key，便可逐步打開 TikTok、Instagram、Threads、Pinterest 及 Perplexity Sonar 等來源。
YouTube transcripts 的候選池擴大了三倍，不再偏向音樂影片，較容易抓到訪談、評論與解說內容；YouTube comments 與 TikTok comments 則屬額外選項，因為每段影片都會增加額外查詢成本。這種把免費來源、付費來源與高成本來源分層處理的方式，反映它比較重視訊號品質與成本控制，而不是一味堆資料。
- 以 AI agent-led search engine 形式整合多平台近期討論
- 免費可用來源包括 Reddit comments，並附 upvote 數據
- 可選接入 Perplexity Sonar、TikTok、Instagram、Threads、Pinterest
- YouTube transcripts 強化了非音樂內容覆蓋範圍
- 適合研究人物近況、追話題熱度、做市場觀察初步整理
如果你平日會做內容選題、品牌觀察、人物背景搜集，這個項目幾適合放入工作流程。它未必提供嚴格學術式評測，現有資訊也未見標準 benchmark 成績，但從來源設計與成本開關來看，方向相當明確：用多平台真實互動訊號，讓 AI agent 幫你先篩走雜訊。相關能力亦牽涉 Perplexity Sonar、OpenRouter，以及可承載 Agent Skills 的 Claude Code、Codex、Cursor、Copilot、Gemini CLI、OpenClaw 等環境。
BadWorld：如何解決癱瘓視覺世界模型的未來推演
視覺世界模型（Visual World Models, VWMs）能從一張起始圖片，根據使用者動作序列合成出互動式的未來影片。現有做法多數沿用文字生成圖像或文字生成影片的對抗攻擊範式，但這類方法通常假設有固定的參考輸出或可取得的未來幀標籤。BadWorld 的作者指出，攻擊 VWMs 面對兩道根本限制：攻擊者根本拿不到真實的未來影片當作監督訊號，也無法預測使用者接下來會輸入什麼動作，因此傳統攻擊範式無法直接套用。
為此，團隊提出 BadWorld 框架，屬於一種安全研究工具，專門用來壓力測試自回歸式世界模型的時序穩健性。它繞過「需要未來監督」這道牆，採用自監督的速度擾動攻擊（self-supervised velocity attack），直接破壞模型早期的去噪動力學；同時，為了讓攻擊在未知動作下仍然有效，設計了軌跡自適應雙層優化（trajectory-adaptive bi-level optimization），主動挖掘困難的動作序列以鍛造「對動作無感」的擾動。
從測試結果來看，視覺上幾乎無法分辨的對抗圖片，能可靠觸發後續推演的災難性退化，出現去噪不完全、結構崩塌、控制訊號前後不一致等現象。這些發現對準備把世界模型應用於自動駕駛、機器人等安全關鍵場景的開發者是一記警鐘，同時也提供了一種可操作的隱私保護機制。
如果想自行驗證，可以針對 Matrix-Game-2.0 與 Astra 兩款開源世界模型測試。Matrix-Game-2.0 需約 32GB 顯示記憶體，Astra 則需 80GB，環境需要搭配 FlashAttention 與 NVIDIA Apex 等加速庫，並從 Hugging Face 下載預訓練權重。
- 屬於安全研究工具，針對視覺世界模型做對抗壓力測試。
- 突破傳統攻擊需「未來監督」的限制，採自監督速度擾動。
- 透過軌跡自適應雙層優化，鍛造對未知動作仍有效的擾動。
- 已在 Matrix-Game-2.0 與 Astra 上展示結構性崩潰。
- 對自駕、機器人、遊戲模擬等安全關鍵部署具警示意義。