Language Models Can Rewrite Their Own Weights 是一項語言模型自我改寫研究。由 Jiajun Fan 與 UIUC、CMU、Rutgers、Princeton、Stanford、Yale 多間院校團隊提出,核心是讓模型靠自己的推理找到失敗原因,直接修改權重,再保留通過測試的修改。
要修改既有照片,可以讓一張圖片填滿畫框,將它設為 edit mode 的 base image,亦可右擊指定。換衣服時,把人物照片放進框內,把衣服參考留在框外,再要求保留面孔、姿勢與背景,便能表達修改範圍。畫布位置仍須與文字要求一致:文件提醒,物件與 note 指定的位置相距太遠,主體可能被畫兩次;畫出的太陽圖示亦可能被原樣保留,需要用 note 說明想要真實日落光線。
同一幅畫布不能原封不動交給所有模型。MiniMax H3 會編輯 ,因此節點不向它傳送構圖拼貼圖,避免模型把拼貼本身重繪成結果,改以文字傳達位置和草圖。可選的 AI Director 會讀取附標註畫布與參考圖片,將場景描述加入整理後的 prompt;只接受文字的模型則看不到照片,使用者必須命名物件,節點才能轉成位置描述或 bounding boxes,即標示物件範圍的方框。
Depth Pro 2 是 Apple AI/ML Research 的開源專案。主要用作深度估算兼處理照片與影片。普通相機拍下的照片、整段影片及即時影像,都能交給同一個流程,按輸入完整解像度估算每個像素的距離以米(meter)制深度計算。處理影片時,預設模式每段讀取 16 frames,相鄰片段重疊 4 frames,讓接合位置的深度保持穩定。這種安排直接處理影片合成的麻煩:物件輪廓要清楚,前後影格的遠近判斷也要連貫。
本機測試可在 Linux 或 Apple silicon Mac 準備 uv,下載程式及模型權重,再交入照片或影片。系統會選用可用的 NVIDIA GPU、Apple silicon GPU 或 CPU;模型由 S、B、L 到預設 H+,較小型號較快,較大型號的深度較清晰穩定。記憶體需求隨影格尺寸及 window 增長,放不下時應先縮短 window,再考慮較小模型。大幅縮小輸入會失去細節,甚至改變深度尺度,不能只當成無損的加速方法。
Apple 亦提供 Core ML 模型及相機深度 Mac demo,後者需要 Apple silicon、macOS 15 或以上,以及 Xcode 16 或以上或其 command line tools。研究團隊可先用固定相機片段,檢查輪廓、時間穩定性及已知距離是否吻合,再接駁合成流程。儲存庫未附 training 或 evaluation code,輸入亦未交代維護節奏;模型權重限非商業科研及學術開發,商業製作不能直接沿用。