InferNews

MiniMax-H3 Orbit LoRA 360° Bullet Time 環繞鏡頭

Share to X

一張相片配合同一張首尾關鍵幀，鏡頭可繞主體 360°移動，場景保持凝固並回到原始畫面。

Og image

想把靜態相片製成可循環播放的環繞鏡頭(Bullet Time)，MiniMax-H3 360° Orbit LoRA 針對的正是首尾畫面難以對齊、場景容易變形的問題。它是基於 MiniMaxAI/MiniMax-H3、FL2VA variant 的 LoRA adapter，配合同一張圖片作為 first frame 與 last frame，令鏡頭完成連續 360°orbit，而人物和物件維持原本位置、姿勢及形狀。

模型的 instance prompt 明確要求只移動相機，利用 camera parallax 產生視覺變化；模型不應加入縮放、切鏡、變形或新物件。影片末端回到開始畫面，因此多段 orbit 可以串接，減少循環接點出現跳變。

  • 適合產品展示、人物定格、場景掃視，以及需要無縫循環的短片項目。
  • LoRA 屬於附加權重，不能單獨取代 MiniMax-H3；頁面未提供參數規模、上下文長度或訓練細節。
  • MTP draft speculation、v2 更新、檔名變更及 chat template 注意事項亦未有資料，不能據此推斷推論效能或資源需求。

結果比較採用相同 seed、prompt、解析度和 step count，但展示內容仍屬範例，未有量化的畫質、穩定性或速度指標。對需要精確幾何還原、長片一致性或非環繞運鏡的項目，頁面資料不足以證明效果。

模型

Categories: AI productions, 模型, 視頻模型, 模型訓練, Video, Image, 3D, MiniMax, LoRA

WorldPlay2 即時控制互動世界模型

Share to X

WorldPlay2嘗試令世界模型在多樣場景中持續演化，同時保留即時反應與細緻控制，代價是系統仍未準備好供外部重現。

Repository image for WorldPlay2/WorldPlay2

想令場景隨鏡頭、角色動作和語意事件持續發展，世界模型往往要在即時反應、控制彈性與長時段一致性之間取捨。WorldPlay2 屬於互動世界模型，處理的正是這個矛盾：它可以跨越不同場景與角色生成連貫內容，並回應多種控制訊號。

模型把控制拆成兩層：一層是與影格對齊的連續動作，例如相機俯仰；另一層是結構化語意控制，分開處理場景外觀、角色身份和動態語意事件。這樣做比只依賴單一動作介面更容易表達複合指令，但亦令控制學習和資料整理更複雜。

長時段生成由壓縮記憶和 Stable Forcing 支撐。歷史影格會被壓成緊湊的 memory tokens，供自回歸 student 與雙向 teacher 共用，蒸餾時改以分片、受記憶條件約束的分數評估，避免每次都處理整段 rollout；Stable Forcing 則先以少步策略初始化 student，再透過完整 rollout replay 維持長序列品質。

  • 可跨多樣場景與角色保持較長時間的一致性
  • 同時支援影格對齊動作與結構化語意控制
  • 以壓縮記憶降低長時段蒸餾開銷
  • 實驗聲稱整體表現優於既有方法，但未提供可核對的詳細指標

研究者、互動遊戲原型團隊和需要可控視頻生成的開發者較容易從中受益，尤其適合研究鏡頭控制、角色持續性及長期世界演化。儲存庫仍在整理程式碼與權重，README 沒有提供安裝、下載或測試流程，現階段較適合先觀看展示影片和研究方法；正式重現仍要等待相關檔案公開。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 世界模型, Video, 庫

MiniMax H3 TRANSFORMER LoRA 轉換過場片段

Share to X

將兩個畫面之間的轉換交給 MiniMax H3，適合製作流暢的影像變形效果。

Og image

由兩張圖片或場景之間的元素轉換入手，這個 LoRA 基於 MiniMax H3（Hailuo） diffusion transformer 微調，面向 text-to-video 及 image-to-video。它嘗試令人物、輪廓、材質和場景逐步拆解，再重新組合成下一個畫面，適合片頭轉場、視覺特效和概念展示。

模型以觸發詞 Tr@nsf0rmation_style 啟用效果，並可補充個別人物或物件的變化描述。讓轉換不只集中於整個主體，也能處理多元素場景的重組，但輸出穩定程度仍會受輸入圖片、提示詞和基礎模型工作流程影響。

• 基礎模型：MiniMax H3（Hailuo）
• 類型：LoRA，支援 text-to-video 及 image-to-video
• 觸發詞：Tr@nsf0rmation_style
• 用途：場景變形、主體轉換、多元素重組
• 兼容：MiniMax H3 的工作流程。

模型

Categories: 新聞

Audio8 ASR Infinite：持續運行語音轉錄

Share to X

Audio8 ASR Infinite 以可調音訊時鐘和延遲，處理長時間串流轉錄的反應速度與記憶體增長問題。

Repository image for Edge0-AI/Audio8-ASR-Infinite

長時間錄音、直播字幕或語音助理最怕轉錄愈跑愈慢，甚至因上下文累積而出現漂移。Audio8 ASR Infinite 屬於原生串流語音識別模型，透過 rolling KV cache 將記憶體和延遲維持在有界範圍，支援 24/7 連續轉錄；目前支援中文及英文。

模型可在 80、120、160 ms 音訊時鐘之間選擇，每秒作出 12.5、8.3 或 6.25 次決策，並可將 transcription delay 設於 240 至 560 ms。延遲愈低，回應愈快；較長延遲則有較多時間累積語境。Semantic VAD 亦會分辨思考停頓、口吃和真正句末，減少傳統 acoustic VAD 過早截斷語句的問題。

架構承接 Voxtral realtime audio architecture 和 DSM-style streaming：Causal Audio Tower 以 Voxtral Realtime 4B 為初始權重，Audio Projector 及 Frame Length Embedding 由隨機初始化訓練，Decoder 和 LM Head 則採用 Qwen2.5-3B-Instruct。項目仍屬 preview release，後續會在同一 frame grid 加入即時語義感知。

  • 適合直播字幕、長時間會議紀錄及持續運行的語音介面
  • 可按硬件資源和回應要求調整音訊時鐘及延遲
  • 目前資料未提供完整安裝流程、硬件需求或公開 benchmark 數據
  • 使用 adapted vLLM build 才能對應無限長度串流運行

對需要低延遲、不中斷轉錄的團隊，這個模型的價值在於把速度、延遲可調性和長時間穩定運行放在同一個架構內，但正式採用前仍要自行測量廣東話支援、GPU 佔用及不同時鐘組合的辨識準確度。

項目主頁 · GitHub · 模型

Categories: 開源, Embedding, 模型, 模型訓練, Audio, 語音, Dataset 數據集, 廣東話

一個 LoRA 同時做卡片自轉與 360 度環繞

Share to X

MiniMax-H3 的 rank-32 LoRA可按提示詞切換卡片自轉與正常鏡頭環繞，適合製作具指定運鏡效果的短片。

Og image

相片會像按提示詞改為圍繞靜止主體作順時針 360 度運鏡。這個影像轉影片模型配接器基於 MiniMaxAI/MiniMax-H3，並針對 MiniMax-H3 Ref2VA 微調，屬於rank-32 LoRA，並非獨立的完整基礎模型。

模型以提示詞選擇兩種行為：ORB360_CARDSPIN 會讓畫面在5.125秒後準確回到原始相片；ORB360_CW 則維持一般順時針環繞效果。適合產品相片、人物肖像、寵物影像及需要固定鏡頭路徑的短片製作，同一個 LoRA 檔案可以因應不同鏡頭意圖重用。

頁面提供的示例使用單張參考圖，輸出尺寸為1024 x 768，共124幀，以20 steps 及指定 seed 生成。示例亦指出，加入卡片自轉能力後，原有的360度環繞效果仍能正常運作；不過頁面沒有提供系統化基準測試、失敗率、硬體需求或速度數據。

  • LoRA 權重為 rank-32，基於 MiniMax-H3 Ref2VA
  • 以ORB360_CARDSPIN及ORB360_CW切換兩種運鏡行為
  • 卡片自轉片段固定為5.125秒並回到起始畫面
  • 標籤列出 ComfyUI、musubi-tuner及camera-control等相關工具或方向
  • 頁面未提供GGUF檔案、量化版本、mmproj、上下文長度、v2更新或檔名變更資料

頁面展示了 MP4 示例及提示詞檔案，但沒有交代完整安裝流程、推論框架設定或MTP draft speculation支援。

模型

Categories: ComfyUI, AI productions, Video, Image, MiniMax, LoRA

LightMIS 以輕量化架構推進醫學影像分割

Share to X

LightMIS以精簡多尺度編碼器取代傳統逐階解碼器，嘗試在減少模型參數與運算量的同時，維持醫學影像分割表現。

LightMIS accuracy–latency Pareto front

在手機 GPU 上執行醫學影像分割，模型大小與處理速度都會影響部署選擇。LightMIS 是一款面向 2D 二元醫學影像分割的輕量模型，透過精簡多尺度編碼器和聚合式輸出頭，減少傳統逐階解碼器帶來的重複上採樣及特徵融合運算。

模型在每個空間尺度使用 Adaptive Fusion Cascade（AFC）處理特徵；其中的 Progressive Receptive Fusion（PRF）會暫時擴展通道，配合不同深度卷積感受野及分支間逐步傳遞資訊，補足窄通道特徵的表達能力。編碼器各層輸出再由 Scale-Aligned Projection（SAP）對齊至相同解析度與通道寬度，融合後交由最後一個 AFC refinement，毋須沿用逐層上採樣的解碼結構。

在 nnU-Net v2.3.1 的共同測試流程下，研究以六個資料集、五個影像領域及五折交叉驗證評估模型。LightMIS 的區域重疊指標與明顯更大的 Mobile U-ViT、nnWNet 和 nnU-Net 接近，邊界距離結果亦具競爭力；參數量少 90.58% 至 99.61%，GFLOPs 少 82.54% 至 96.14%。

在配備 Arm Mali-G52 MC2 GPU 的手機上，各版本都達到 100% GPU 算子覆蓋率；LightMIS-T 的委派中位延遲為 53.31 毫秒，LightMIS 為 138.31 毫秒。這些結果適合參考於需要控制模型體積、運算量或手機端推理的研究與開發工作，但不代表所有裝置和醫療場景都會有相同速度或準確度。

要重現測試，需配置 nnU-Net v2.3.1，將 DRIVE、Kvasir-SEG、DSB18、BUSI、ISIC-2017 或 ISIC-2018 等資料集轉成 nnU-Net 格式，再執行 2D 規劃、預處理及五折訓練。儲存庫提供資料轉換腳本和訓練器檔案；文章草稿所據內容未包含完整命令及硬件部署流程，不能據此推斷安裝後即可直接在手機執行。

  • 適用任務： 2D 二元醫學影像分割。
  • 核心做法： AFC 與 PRF強化多尺度特徵，SAP 對齊並聚合編碼器輸出。
  • 主要取捨： 減少參數量與 GFLOPs，並省去傳統逐階解碼器。
  • 評估範圍： 六個資料集、五個影像領域，採用五折交叉驗證。
  • 部署參考： 手機 Arm Mali-G52 MC2 上各版本達到完整 GPU 算子覆蓋，但延遲因版本而異。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, Image, Medical醫學, 庫

tactile：讓電子皮膚學懂接觸位置的拓撲感知模型

Share to X

Tactile-JEPA 把分散式觸覺感測器的連接關係納入預訓練，令同一套表徵可支援力量、姿態及動作判斷。

Tactile-JEPA maps distributed tactile signals to topology-aware per-taxel embeddings using the taxel graph during pretra

電子皮膚面對的難題，不只是讀取感測數值，而是要理解哪些 taxel 彼此相鄰、接觸訊號如何在感測表面分布。Tactile-JEPA 屬於觸覺表徵學習模型，透過感測器拓撲預測被遮蔽的 taxel embedding，將原本分散的時間序列轉成可供下游任務重用的表示。

它沒有把感測面硬套成規則影像網格，而是沿着 sensor connectivity graph 抽取局部及全局遮罩；預設組合包含兩個 local masks 和兩個 global masks，兼顧局部接觸細節與整個表面的狀態。模型由 context encoder、exponential-moving-average (EMA) target encoder 和 predictor 組成，predictor 預測隱藏 embedding，再以 mean squared error 對齊 target encoder 輸出；預訓練完成後，凍結的 target encoder 可配合 task-specific heads 使用，而下游編碼不再需要圖結構。

項目涵蓋 Xela magnetic hand skins、piezoresistive tactile socks，以及雙手 DECO-50 等不同感測器形態，支援 force estimation、in-hand 及 full-body pose estimation、object/action classification 和 visuo-tactile policy learning。首頁報告指，模型相對各任務最強基線，in-hand orientation error 減少 20.8%，force estimation error 減少 6.3%，但預訓練模型及論文連結仍標示為 TBD，結果重現程度要視乎後續資源是否補齊。

測試需要 Linux、Conda 及具 CUDA-compatible driver 的 NVIDIA GPU，並由儲存庫建立環境、以 editable package 方式安裝。三個資料集合共涉及數百個 taxels，下載及整理成本不低，較適合研究觸覺感知、機械人操作或 visuo-tactile learning 的團隊；只需要單一感測器分類器的工作，未必能抵銷圖結構整理及 GPU 預訓練成本。

  • 以拓撲遮罩取代影像式規則遮罩，貼近不規則電子皮膚的實際排列。
  • Local 與 global targets 同時捕捉接觸細節及整體感測狀態。
  • 預訓練 encoder 可服務力量、姿態、物件及動作等多種下游任務。
  • 圖結構只參與預訓練，之後的編碼流程較容易接入不同任務。

項目主頁 · GitHub · 模型

Categories: 開源, Embedding, 模型, 模型訓練, Robotic, 庫, Dataset 數據集

FoMo 不用人手標註，讓影像更貼近感知

Share to X

FoMo 借助 diffusion model 生成由淺入深的影像變體，免除大量人工標註，訓練出可比較兩張圖片感知差異的模型。

FoMo: data generation from the forking moment of the diffusion trajectory, and ranked-BCE training

比較原圖與修改版本時，像素差異未必等於人眼感受到的差異。FoMo 以 reference-based perceptual distance metrics（參考式感知距離模型）處理這個問題，透過 FLUX.1-dev 的 img2img 軌跡製造有次序的影像變體，並以此訓練影像品質評估（image quality assessment，IQA）模型，屬於開源模型項目。

它的關鍵做法，是在 diffusion model 的去噪流程中，於不同 denoising steps 重新接回生成軌跡。重新接入得越早，生成圖與原圖的感知偏離通常越大；這個 forking moment 便提供了密集而有排序的監督訊號。項目用 480k 組影像資料配合 pairwise ranking objective，減少依賴人手逐張標註的成本。

項目提供七個模式，涵蓋 LPIPS、DISTS、DreamSim，以及以 frozen DINOv3、CLIP、MAE backbone 配合 prediction head 的版本。DreamSim 透過 LoRA adapters 微調，而 dinov3、clip、mae 會把兩張圖片按次序讀入同一組 token；預設會計算兩個方向的平均分，處理輸出可能不對稱的問題。

  • lower score 代表兩張圖片更相似，raw 輸出也是公開評估採用的數值
  • output=’loss’ 可提供以 identity pair 為錨點的 perceptual loss
  • CNN 類模型使用固定 256px crop，DreamSim 使用固定 224px crop
  • DINOv3、CLIP、MAE 支援 64 至 256px 隨機裁剪，並以 zero-padding 和 attention masking 組批
  • 項目可透過 Python 套件 fomo-iqa 載入預訓練模型，直接比較參考圖與測試圖

FoMo 適合需要自動判斷生成圖片、編輯版本或重建結果相似程度的研究者與影像工具團隊。它的限制也很清楚：訓練訊號來自 FLUX.1-dev 的生成軌跡，不能直接等同人類偏好；不同 backbone 的輸出形式、裁剪策略與對稱處理亦會影響比較結果，因此應按工作流程選擇模型並自行驗證。

項目主頁 · GitHub

Categories: 開源, 模型訓練, Image, 影像處理, 工具, LoRA

morphometric：人手示範跨越機械手形態，直接訓練視覺操控策略

Share to X

同一段人手操作示範，能否教會不同機械手抓握物件？Morphometric Imitation 嘗試保留接觸動作，再把示範轉成可在真實機械手執行的策略。

mmi teaser

讓不同機械手學習同一段人手抓握示範，難處不只是手指形狀不同，還要確保動作符合物理條件。Morphometric Imitation 是一套三階段機械人模仿學習框架，把重建的人手與物件互動（hand-object interactions，HOIs）轉成視覺運動控制策略，目標是毋須在真實環境再訓練便能執行。

框架先以形態優化（morphometric optimization，MMO）調整人手動作，盡量保留手指與物件的接觸位置；再用殘差強化學習（residual reinforcement learning，RL），結合示範中的物件姿態及接觸資訊，修正機械手未必做得到的動作。最後，系統把修正後的示範轉成依靠視覺輸入操作的策略，而非直接照搬人手軌跡。

Morphometric Imitation

在三款機械手、十種互動的測試中，MMO 的接觸 F1 分數在每款手上，都比五種比較方法中表現最好的一種至少高 8 個百分點；後續動態動作轉換的成功率最多提高 35 個百分點。不過，這些結果不能直接推算到其他機械手或未測試的物件。

  • 適合研究如何把人手示範轉移至多指機械手的團隊。
  • 核心取捨是增加動作修正步驟，換取可執行性及接觸保真度。
  • 物件姿態與接觸資訊各自有助於殘差 RL；消融測試顯示兩者作用互補。
  • 儲存庫目前表示程式碼稍後公開，未提供安裝或重現測試步驟。

項目網站提供影片和研究資料，可先用來了解示範涵蓋的物件與機械手動作。程式碼尚未釋出，現時無法按儲存庫自行部署或核對訓練流程。

項目主頁 · GitHub

Categories: 開源, 模型訓練, Robotic, 框架, 庫, 深度學習

Maestro：本地一鍵 AI 創作工作室，把導演、剪接、生成模型打包

Share to X

Maestro 把 LTX-2.5、MiniMax H3 等本地模型整合成一個創作介面，配合 LLM 編寫分鏡並自動生成音樂影片與短片，適合想在自己機器上完成後期的人。

Maestro UI

用 LTX-2.5 或 Hunyuan 這類本地模型做創作時，最麻煩的往往不是模型本身，而是要自己串接腳本、分鏡、剪輯和多軌音訊。Maestro 直接把這條工作流收進一個桌面介面：LLM 先讀懂你的音訊或劇本，再交由圖像、影片、音訊模型接力生成。Director Mode 同時支援 Music Video（節拍感知分鏡）同 Short Film（劇本連戲）兩種套路，前者會分析 BPM 與段落（主歌、副歌、橋接），再把鏡頭對齊落拍；後者靠 pacing-bias slider 控制剪接密度，並維持角色與對白的一致性。Auto Mode 可以一鍵跑完整條 analyze → plan → generate → combine 流程，Manual Mode 則保留每一步檢查點。

Director v2 架構把編劇、結構化分鏡、模型格式化分成三層，H3 路徑直接走自家編譯器，其他模型則用 per-model polish。Studio 那邊亦提供適應性寫作與連戲指引，並對源動作、對白歌詞做一致性檢查。對比逐個 CLI 工具拼接的傳統做法，Maestro 的差異在於把 director 邏輯、prompt 優化同非破壞性多軌剪輯綁定在一處，省下不少膠水程式。

硬件門檻方面，Performance Auto-Tune 會在首次啟動時偵測 GPU、VRAM、RAM，並自動選取量化、VAE tiling 與 VRAM 安全係數；OOM 時還會彈出建議橫幅，一鍵降 headroom。Qwen Image 2.1 7B 支援最多十張參考圖、透明 PNG 輸出與專屬 prompt 增強，但屬研究／評估授權，商用要另外處理 Qwen 的授權。

重點摘要

  • 整合 LTX-2.5、MiniMax H3、Wan、Hunyuan、SCAIL-2 等本地模型作影片生成、延伸、混合、重拍、上色與 upscale
  • Director Mode 用本地 LLM 自動規劃音樂影片分鏡或短片劇本，並維持角色與對白連戲
  • Auto Mode 全自動、Manual Mode 每步可審；Performance Auto-Tune 依硬件自動選 profile
  • Qwen Image 2.1 7B 支援十張參考圖、透明 PNG，但僅研究／評估授權
  • 原始資料未提供具體安裝步驟或下載連結，需自行到倉庫頁查閱

內容生成後想拿來做音樂 MV、自媒體短片或概念分鏡的獨立創作者、小型工作室，會較容易受惠；商業團隊則要留意 Qwen 等模型的授權細節。Maestro 在 JavisBench、V ABench 等基準上對 LTX-2.3 的對比屬同捆支援模型本身的表現，工具層並未自稱有獨立 benchmark。

GitHub · Paper

Categories: 開源, 香港理工大學, 上海人工智慧實驗室, 騰訊, AI productions, 模型, Qwen, NVIDIA, Video, Image, Audio, 香港, 工具, Content Creator, LTX, 音樂, MiniMax
Page 1 of 160
1 2 3 … 160