Image

LEGO-Anything：由單張圖片生成可編輯 3D 世界

2026 年 9 月 30 日

由一張圖片開始，coding agent 會逐步寫程式、渲染和修正，產出可查詢及編輯的 Blender 3D 場景。

由一張 RGB 圖片開始，coding agent 會自行規劃、執行 Blender 程式、渲染結果，再按視覺檢查持續修正，將參考畫面轉成可編輯、可查詢及可匯出的 3D 世界。LEGO-Anything 同時涵蓋 agentic scene reconstruction 的框架、評測基準 LEGO-Bench，以及協助分析建構過程的 LEGO-Plugin。

項目處理的核心問題，是如何讓模型不只生成一張相似圖片，而是建立具備幾何結構、鏡頭和物件狀態的可執行場景。Agent Workspace 管理產物，Action Space 提供操作，Blender Code Structure 保存可修改的場景狀態，Scene Construction Workflow 則把參考解讀、程式生成、渲染和驗證串連起來。

LEGO-Bench 收錄來自104個場景的208張圖片，涵蓋8個環境、17個主題及443項資產，並以 Indoor、Outdoor 和 Easy 至 Hard 的物件集合測試不同難度。評分同時考慮 Blender 場景是否有效、可見表面幾何重建，以及重新渲染後的色彩吻合度；無效提交或未能完成評估的案例會取得零分。

目前公開結果顯示，GPT-6-astra 在室內及戶外分別取得53.4%及39.6%的 Overall 分數，高於其他參與比較的 coding agents；戶外場景在各難度層級都較難處理，而場景有效率仍未代表幾何和視覺細節已經高度吻合。對需要可修改 Blender 資產、可重現場景或研究 Computer-use agents 3D 操作能力的工作流，這套框架提供了較完整的測試方式。

由單張圖片生成可執行的 Blender 場景
透過寫程式、渲染和驗證逐步修正結果
同時評估場景有效性、幾何重建和外觀吻合度
LEGO-Bench 涵蓋室內、戶外及多級物件難度
戶外場景和高視覺保真度仍是主要限制

項目主頁

Categories: 開源, Agentic, Image, 框架, Vibe Coding, 3D, 編程, Dataset 數據集

ComfyUI-MiniMaxH3Mod：可重用參考模組

2026 年 9 月 30 日

你可以把它理解成 MiniMax H3 的參考素材管理層，把圖像、影片和聲音整理成可重用的 RefMod。

想在 ComfyUI 的 MiniMax H3 工作流中重用同一組人物、場景或聲音參考，不必每次重新編碼原素材。ComfyUI-MiniMaxH3Mod 是一個開源 custom node 項目，處理 RefMod 的建立、儲存、載入、組合及套用，讓圖像、影片和音訊參考可以保存成 .safetensors，再交給 Apply H3 RefMod 使用。它不會訓練 H3 權重，也不是 LoRA 或監督式概念學習工具，而是接入 H3 原生 reference-token 路徑的儲存與選擇層。

使用時需要將項目放入 custom_nodes 後重新啟動，並把標準 H3 video VAE、audio VAE 及原生 CONDITIONING 接到相應節點。項目已提供 Create H3 RefMod、Create H3 RefMod Master、Load H3 RefMods、Apply H3 RefMod 等節點；Master 可以一次處理視覺和音訊，save=False 則可只產生記憶體中的 bundle，不寫入檔案。ComfyUI Manager 可處理 safetensors、numpy 和 Pillow 等 Python 依賴，影片資料夾載入則可按需要加入 opencv-python 或 imageio。

支援圖像、影片、音訊 RefMod，並可在同一個 .safetensors bundle 儲存視覺與聲音。
encode 保留較多細節但消耗更多 reference tokens；training 先壓縮 latent，降低 token 成本，亦可能損失細節和動態。
Collect H3 RefMod Masks 可處理不同尺寸的 MASK，並按對應參考素材保留尺寸；上游裁走的像素則無法恢復。
Full Reference video sampling 會先決定因果 frame 數，避免 16 等限制直接截掉影片尾段。
Loader 和 Axis 採用按需增加的參考槽位，並可分開選擇 All、Visual 或 Audio。

它和單純把素材放在工作流內的做法不同，RefMod 會把編碼結果保存下來，之後重用時可避免重複處理來源檔案。壓縮模式適合控制 token 和生成成本，完整 encode 則較適合作為身份或細節比較的基線；兩者都不能保證只轉移指定屬性，身份、服裝、背景和構圖仍可能互相混合。項目支援最多八個參考槽位、子資料夾、外置磁碟及 extra_model_paths.yaml 登記的 RefMod 根目錄，Library 和 Config 亦能搜尋及檢視已保存內容。

可調整的 max_tokens、frame limit、視覺 budget policy 和 Refinement Steps，令項目較適合需要反覆測試參考組合的創作者、ComfyUI 工作流作者，以及要管理大量人物或場景素材的團隊。truncate 會削減畫面內容以符合 token 預算，error 則在超出預算時停止保存；這些選擇直接影響細節保留和工作流是否繼續。項目目前沒有提供可與原生完整 reference workflow 對齊的正式基準測試，Windows 是原先測試環境，Apple Silicon 只覆蓋部分預處理和 H3 VAE 檢查。

音訊支援仍是最大限制。項目可以保存及混合視覺、音訊參考，亦曾成功處理音樂參考，但目前測試未能完成 speaker-identity transfer，因此不能當作已驗證的 voice cloning 解決方案；它亦不會自動修正影音同步。API 和 node schema 仍在演變，節點名稱及輸入欄位可能隨版本調整，適合接受工作流需要維護、並願意自行測試參考強度與 token 取捨的使用者。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型訓練, API, Video, Image, 影像處理, Audio, 工具, Content Creator, Clone, 庫, 語音, 音樂, 蘋果, MiniMax, LoRA

Diffusion Controller：讓模型更準確聽懂提示詞

2026 年 9 月 30 日

Diffusion Controller以輕量控制網絡改善提示詞對齊，同時保留原有影像質素與生成穩定性。

當影像模型明白你要一隻「戴太陽眼鏡的蜥蜴」，卻只生成蜥蜴，或勉強加入眼鏡後令面部變形，問題往往不在畫面是否逼真，而在提示詞要求與生成結果之間難以取得平衡。Google Research提出的 Diffusion Controller，正是針對這種提示詞對齊與影像質素互相牽制的情況而設計的輕量「steering damper」網絡。

Diffusion Controller可以接到包括 access-restricted、closed-source 模型在內的現有影像生成模型，無需改動基礎模型的核心結構，便能在生成過程中施加更精準的控制。它將原本由隨機噪聲逐步還原成影像的 denoising process，重新理解為一個連續、平滑的 control problem，讓控制訊號不必只在個別步驟中硬性修正結果。

改善文字提示與生成影像之間的 prompt alignment
以輕量 add-on network 控制現有模型，兼容 access-restricted、closed-source 模型
在提升指令符合度的同時，維持 baseline stability 和原有影像質素
將 inference-time guidance 與模型微調放入同一套分析框架
white-box 版本在所述測試中取得相對 baseline model 的 90% 勝率

過往做法通常分成兩條路線：一類是在 inference time 使用 classifier-free diffusion guidance，調整文字提示對生成過程的影響；另一類則透過 parameter-efficient adapters，例如 LoRA、reward-weighted regressions 或 policy gradients，對模型行為進行較重的微調。Diffusion Controller嘗試以統一的數學語言連接這些控制方式，減少工程師靠反覆試驗，在使用者偏好、提示詞要求和影像質素之間摸索的需要。

Google Research表示，Diffusion Controller的輕量版本表現優於用於配合人類偏好的業界標準方法；完全解鎖、可直接修改模型內部權重的 white-box 版本，則相對 baseline model 取得 90% 勝率。這些結果反映項目適合需要精準遵循文字描述、同時不希望破壞原有生成穩定性的影像工作流，但提供的內容未包括下載連結、安裝步驟或完整使用流程，讀者仍需等待論文或官方程式碼資料作進一步驗證。

項目主頁 · Paper

Categories: Google, Gemini, Image, 影像處理, 提示詞, 框架

OmniTaskonomy：令圖片生成圖片更準確

2026 年 9 月 30 日

OmniTaskonomy 以配對實驗檢驗 I2I 訓練能否改善 I2T 理解，並找出最有效的訓練次序與任務轉移關係。

I2I reconstructs the Jigsaw image, a dot moves from Visual Generation to Visual Understanding while changing color, and

同一個多模態模型既要生成圖片，又要讀懂圖片，兩種能力未必會自然互相提升。OmniTaskonomy 是一個研究型 benchmark 與資料集項目，透過 Image-to-Image（I2I）和 Image-to-Text（I2T）配對任務，測試視覺生成訓練何時能改善視覺理解。

項目沒有把生成與理解混成單一分數，而是比較六種訓練流程，包括只做 I2T、先做 I2I 再做 I2T（I2I → I2T），以及從一開始混合兩種目標。結果顯示，先以 I2I 更新與理解能力共用的權重，再進行 I2T 微調，通常比同步訓練或凍結共用權重更穩定；I2I 資料增加時，I2I → I2T 和 I2I → Mixed 的收益亦持續上升。

從 GitHub 儲存庫了解實驗流程，並配合 Hugging Face 上的 OmniTaskonomy 資料集重現配對任務。項目適合研究多模態模型訓練、視覺能力轉移及 curriculum learning 的團隊，但並非即裝即用的影像工具，重現結果仍要配合模型、訓練資源和原有設定。

幾個結果有助判斷它的研究價值：
– 定位與物件指向對 counting 的增益最大。
– 深度及 surface-normal prediction 可改善 metric 3D relation。
– 各種理解能力的 mean alignment 與 mean transfer 相關係數為 r = 0.795。
– 133 個 source–target pair 的相關係數降至 r = 0.529，反映任務之間的轉移並不一致。

Gradient alignment 主要集中在早期 pre-attention normalization layers，並與下游 transfer 呈正向關係。這讓 OmniTaskonomy 不只回答「生成能否幫助理解」，亦提供一套分析哪些生成任務值得加入訓練、哪些能力不應直接互相推論的方法。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, Image, 工具, 庫, Dataset 數據集

MiniMax-H3 Orbit LoRA 360° Bullet Time 環繞鏡頭

2026 年 9 月 30 日

一張相片配合同一張首尾關鍵幀，鏡頭可繞主體 360°移動，場景保持凝固並回到原始畫面。

想把靜態相片製成可循環播放的環繞鏡頭(Bullet Time)，MiniMax-H3 360° Orbit LoRA 針對的正是首尾畫面難以對齊、場景容易變形的問題。它是基於 MiniMaxAI/MiniMax-H3、FL2VA variant 的 LoRA adapter，配合同一張圖片作為 first frame 與 last frame，令鏡頭完成連續 360°orbit，而人物和物件維持原本位置、姿勢及形狀。

模型的 instance prompt 明確要求只移動相機，利用 camera parallax 產生視覺變化；模型不應加入縮放、切鏡、變形或新物件。影片末端回到開始畫面，因此多段 orbit 可以串接，減少循環接點出現跳變。

適合產品展示、人物定格、場景掃視，以及需要無縫循環的短片項目。
LoRA 屬於附加權重，不能單獨取代 MiniMax-H3；頁面未提供參數規模、上下文長度或訓練細節。
MTP draft speculation、v2 更新、檔名變更及 chat template 注意事項亦未有資料，不能據此推斷推論效能或資源需求。

結果比較採用相同 seed、prompt、解析度和 step count，但展示內容仍屬範例，未有量化的畫質、穩定性或速度指標。對需要精確幾何還原、長片一致性或非環繞運鏡的項目，頁面資料不足以證明效果。

模型

Categories: AI productions, 模型, 視頻模型, 模型訓練, Video, Image, 3D, MiniMax, LoRA

一個 LoRA 同時做卡片自轉與 360 度環繞

2026 年 9 月 29 日

MiniMax-H3 的 rank-32 LoRA可按提示詞切換卡片自轉與正常鏡頭環繞，適合製作具指定運鏡效果的短片。

相片會像按提示詞改為圍繞靜止主體作順時針 360 度運鏡。這個影像轉影片模型配接器基於 MiniMaxAI/MiniMax-H3，並針對 MiniMax-H3 Ref2VA 微調，屬於rank-32 LoRA，並非獨立的完整基礎模型。

模型以提示詞選擇兩種行為：ORB360_CARDSPIN 會讓畫面在5.125秒後準確回到原始相片；ORB360_CW 則維持一般順時針環繞效果。適合產品相片、人物肖像、寵物影像及需要固定鏡頭路徑的短片製作，同一個 LoRA 檔案可以因應不同鏡頭意圖重用。

頁面提供的示例使用單張參考圖，輸出尺寸為1024 x 768，共124幀，以20 steps 及指定 seed 生成。示例亦指出，加入卡片自轉能力後，原有的360度環繞效果仍能正常運作；不過頁面沒有提供系統化基準測試、失敗率、硬體需求或速度數據。

LoRA 權重為 rank-32，基於 MiniMax-H3 Ref2VA
以ORB360_CARDSPIN及ORB360_CW切換兩種運鏡行為
卡片自轉片段固定為5.125秒並回到起始畫面
標籤列出 ComfyUI、musubi-tuner及camera-control等相關工具或方向
頁面未提供GGUF檔案、量化版本、mmproj、上下文長度、v2更新或檔名變更資料

頁面展示了 MP4 示例及提示詞檔案，但沒有交代完整安裝流程、推論框架設定或MTP draft speculation支援。

模型

Categories: ComfyUI, AI productions, Video, Image, MiniMax, LoRA

LightMIS 以輕量化架構推進醫學影像分割

2026 年 9 月 29 日

LightMIS以精簡多尺度編碼器取代傳統逐階解碼器，嘗試在減少模型參數與運算量的同時，維持醫學影像分割表現。

在手機 GPU 上執行醫學影像分割，模型大小與處理速度都會影響部署選擇。LightMIS 是一款面向 2D 二元醫學影像分割的輕量模型，透過精簡多尺度編碼器和聚合式輸出頭，減少傳統逐階解碼器帶來的重複上採樣及特徵融合運算。

模型在每個空間尺度使用 Adaptive Fusion Cascade（AFC）處理特徵；其中的 Progressive Receptive Fusion（PRF）會暫時擴展通道，配合不同深度卷積感受野及分支間逐步傳遞資訊，補足窄通道特徵的表達能力。編碼器各層輸出再由 Scale-Aligned Projection（SAP）對齊至相同解析度與通道寬度，融合後交由最後一個 AFC refinement，毋須沿用逐層上採樣的解碼結構。

在 nnU-Net v2.3.1 的共同測試流程下，研究以六個資料集、五個影像領域及五折交叉驗證評估模型。LightMIS 的區域重疊指標與明顯更大的 Mobile U-ViT、nnWNet 和 nnU-Net 接近，邊界距離結果亦具競爭力；參數量少 90.58% 至 99.61%，GFLOPs 少 82.54% 至 96.14%。

在配備 Arm Mali-G52 MC2 GPU 的手機上，各版本都達到 100% GPU 算子覆蓋率；LightMIS-T 的委派中位延遲為 53.31 毫秒，LightMIS 為 138.31 毫秒。這些結果適合參考於需要控制模型體積、運算量或手機端推理的研究與開發工作，但不代表所有裝置和醫療場景都會有相同速度或準確度。

要重現測試，需配置 nnU-Net v2.3.1，將 DRIVE、Kvasir-SEG、DSB18、BUSI、ISIC-2017 或 ISIC-2018 等資料集轉成 nnU-Net 格式，再執行 2D 規劃、預處理及五折訓練。儲存庫提供資料轉換腳本和訓練器檔案；文章草稿所據內容未包含完整命令及硬件部署流程，不能據此推斷安裝後即可直接在手機執行。

適用任務： 2D 二元醫學影像分割。
核心做法： AFC 與 PRF強化多尺度特徵，SAP 對齊並聚合編碼器輸出。
主要取捨： 減少參數量與 GFLOPs，並省去傳統逐階解碼器。
評估範圍： 六個資料集、五個影像領域，採用五折交叉驗證。
部署參考： 手機 Arm Mali-G52 MC2 上各版本達到完整 GPU 算子覆蓋，但延遲因版本而異。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, Image, Medical醫學, 庫

FoMo 不用人手標註，讓影像更貼近感知

2026 年 9 月 28 日

FoMo 借助 diffusion model 生成由淺入深的影像變體，免除大量人工標註，訓練出可比較兩張圖片感知差異的模型。

FoMo: data generation from the forking moment of the diffusion trajectory, and ranked-BCE training

比較原圖與修改版本時，像素差異未必等於人眼感受到的差異。FoMo 以 reference-based perceptual distance metrics（參考式感知距離模型）處理這個問題，透過 FLUX.1-dev 的 img2img 軌跡製造有次序的影像變體，並以此訓練影像品質評估（image quality assessment，IQA）模型，屬於開源模型項目。

它的關鍵做法，是在 diffusion model 的去噪流程中，於不同 denoising steps 重新接回生成軌跡。重新接入得越早，生成圖與原圖的感知偏離通常越大；這個 forking moment 便提供了密集而有排序的監督訊號。項目用 480k 組影像資料配合 pairwise ranking objective，減少依賴人手逐張標註的成本。

項目提供七個模式，涵蓋 LPIPS、DISTS、DreamSim，以及以 frozen DINOv3、CLIP、MAE backbone 配合 prediction head 的版本。DreamSim 透過 LoRA adapters 微調，而 dinov3、clip、mae 會把兩張圖片按次序讀入同一組 token；預設會計算兩個方向的平均分，處理輸出可能不對稱的問題。

lower score 代表兩張圖片更相似，raw 輸出也是公開評估採用的數值
output=’loss’ 可提供以 identity pair 為錨點的 perceptual loss
CNN 類模型使用固定 256px crop，DreamSim 使用固定 224px crop
DINOv3、CLIP、MAE 支援 64 至 256px 隨機裁剪，並以 zero-padding 和 attention masking 組批
項目可透過 Python 套件 fomo-iqa 載入預訓練模型，直接比較參考圖與測試圖

FoMo 適合需要自動判斷生成圖片、編輯版本或重建結果相似程度的研究者與影像工具團隊。它的限制也很清楚：訓練訊號來自 FLUX.1-dev 的生成軌跡，不能直接等同人類偏好；不同 backbone 的輸出形式、裁剪策略與對稱處理亦會影響比較結果，因此應按工作流程選擇模型並自行驗證。

項目主頁 · GitHub

Categories: 開源, 模型訓練, Image, 影像處理, 工具, LoRA

Maestro：本地一鍵 AI 創作工作室，把導演、剪接、生成模型打包

2026 年 9 月 26 日

Maestro 把 LTX-2.5、MiniMax H3 等本地模型整合成一個創作介面，配合 LLM 編寫分鏡並自動生成音樂影片與短片，適合想在自己機器上完成後期的人。

用 LTX-2.5 或 Hunyuan 這類本地模型做創作時，最麻煩的往往不是模型本身，而是要自己串接腳本、分鏡、剪輯和多軌音訊。Maestro 直接把這條工作流收進一個桌面介面：LLM 先讀懂你的音訊或劇本，再交由圖像、影片、音訊模型接力生成。Director Mode 同時支援 Music Video（節拍感知分鏡）同 Short Film（劇本連戲）兩種套路，前者會分析 BPM 與段落（主歌、副歌、橋接），再把鏡頭對齊落拍；後者靠 pacing-bias slider 控制剪接密度，並維持角色與對白的一致性。Auto Mode 可以一鍵跑完整條 analyze → plan → generate → combine 流程，Manual Mode 則保留每一步檢查點。

Director v2 架構把編劇、結構化分鏡、模型格式化分成三層，H3 路徑直接走自家編譯器，其他模型則用 per-model polish。Studio 那邊亦提供適應性寫作與連戲指引，並對源動作、對白歌詞做一致性檢查。對比逐個 CLI 工具拼接的傳統做法，Maestro 的差異在於把 director 邏輯、prompt 優化同非破壞性多軌剪輯綁定在一處，省下不少膠水程式。

硬件門檻方面，Performance Auto-Tune 會在首次啟動時偵測 GPU、VRAM、RAM，並自動選取量化、VAE tiling 與 VRAM 安全係數；OOM 時還會彈出建議橫幅，一鍵降 headroom。Qwen Image 2.1 7B 支援最多十張參考圖、透明 PNG 輸出與專屬 prompt 增強，但屬研究／評估授權，商用要另外處理 Qwen 的授權。

重點摘要

整合 LTX-2.5、MiniMax H3、Wan、Hunyuan、SCAIL-2 等本地模型作影片生成、延伸、混合、重拍、上色與 upscale
Director Mode 用本地 LLM 自動規劃音樂影片分鏡或短片劇本，並維持角色與對白連戲
Auto Mode 全自動、Manual Mode 每步可審；Performance Auto-Tune 依硬件自動選 profile
Qwen Image 2.1 7B 支援十張參考圖、透明 PNG，但僅研究／評估授權
原始資料未提供具體安裝步驟或下載連結，需自行到倉庫頁查閱

內容生成後想拿來做音樂 MV、自媒體短片或概念分鏡的獨立創作者、小型工作室，會較容易受惠；商業團隊則要留意 Qwen 等模型的授權細節。Maestro 在 JavisBench、V ABench 等基準上對 LTX-2.3 的對比屬同捆支援模型本身的表現，工具層並未自稱有獨立 benchmark。

GitHub · Paper

Categories: 開源, 香港理工大學, 上海人工智慧實驗室, 騰訊, AI productions, 模型, Qwen, NVIDIA, Video, Image, Audio, 香港, 工具, Content Creator, LTX, 音樂, MiniMax

Bonsai 2 27B：5.9GB 模型，筆電可本地處理視覺、PDF 與工具調用

2026 年 9 月 25 日

Bonsai 2 27B 以近乎完整的推理能力縮至 5.9GB，兼顧視覺、工具調用與超長上下文。

想在筆記簿或單張 GPU 上處理 27B 級模型，Bonsai 2 27B 提供了一條更貼近本地工作的路線。這項目屬本地運行的低位元多模態語言模型示範工具，實際處理推理、圖片及 PDF 問答，以及需要工具往返的代理工作流。

Ternary Bonsai 2 27B 建基於 Qwen3.8 27B，使用 {-1, 0, +1} 三值權重和 FP16 group-wise scaling，模型大小約 5.9GB，達到 1.76 effective bits per weight。項目聲稱保留完整精度模型 98.2% 的整體基準表現，數學能力只相差約半分，編程表現亦接近基線；代價是必須使用 PrismML 的 llama.cpp binaries，stock llama.cpp 無法直接載入相關檔案。

• 262K-token context，配合 hybrid-attention backbone，較適合長文件處理
• 支援照片、截圖及 PDF 問答，llama.cpp 與 MLX 均可運行
• 原生 OpenAI-style tool_calls，並支援 MCP servers
• PTQ1_0 約 1.75 bits per weight；PQ2_0 以增加約 1.3GB 換取較快提示處理

由 setup 流程取得對應模型及自訂後端，再透過示範介面開啟聊天、視覺和工具功能。Mac 可用 Metal，Linux 或 Windows 可選 CUDA、Vulkan、ROCm，亦可用 CPU；介面可調節 reasoning effort，方便比較回應速度與推理深度。

適合需要離線處理文件、想在有限記憶體硬件運行較大模型，或要把本地模型接入 MCP 工具的開發者和小型團隊。項目提供的多個 Bonsai、Bonsai (1-bit) 及 Ternary-Bonsai 型號，讓硬件容量與能力之間有更多取捨。

項目主頁 · GitHub · 模型

Categories: 開源, MCP, 模型, 多模態模型, Qwen, NVIDIA, OpenAI, Image, 工具, Mac, Linux, LLaMa, 編程, Dataset 數據集

Page 11 of 28

« Previous 1 … 9 10 11 12 13 … 28 Next »