InferNews

CapCut 以外，Concat 把影片剪輯搬回本機

Share to X Facebook

想剪片但不想上載素材、註冊帳戶或處理浮水印？開源影片編輯器 Concat 提供本機字幕、語音與多軌剪輯功能。

Concat

剪短片、上字幕、替換背景，卻不想先建立帳戶，把原片交給雲端平台處理，Concat 提供了另一條路。這個跨平台開源影片編輯器把自動字幕、文字轉語音、聲音複製、背景移除、多軌剪輯及 4K 匯出放進同一個介面，支援 macOS、Windows、Linux 與 Android。

Concat 屬於桌面及流動裝置影片編輯工具，核心特色不是追求完整取代所有專業軟件，而是針對 CapCut 常用的剪輯流程，減少上載素材及依賴訂閱的摩擦。自動字幕由本機 Whisper 處理，選擇模型大小後即可把字幕放上時間軸，再配合文字轉語音、關鍵幀動畫、特效及標題完成內容製作。

這項取捨十分清楚：素材可完全留在本機，離線工作，不會因平台政策改變而失去作品控制權；但代價是本機運算能力會直接影響字幕生成等功能的處理速度。Concat 亦提供語音複製，只需數秒錄音便可建立聲音，適合處理旁白、角色對白及多語言版本，背景移除則涵蓋人物、物件，亦可自行修正遮罩。

  • 支援 macOS、Windows、Linux 及 Android
  • 本機 Whisper 自動字幕，無須上載影片
  • 提供文字轉語音、聲音複製及背景移除
  • 支援多軌剪輯、關鍵幀、特效、標題與 4K 匯出
  • 無浮水印、無需帳戶，亦沒有上載限制或訂閱費用

對內容創作者、獨立製作者、教育工作者及需要處理敏感素材的團隊而言，這是一套頗完整的本機工作流。多軌剪輯、位置、縮放、旋轉、透明度及音量關鍵幀控制，令它不只停留在簡單裁片工具；惟目前版本號仍為 0.2.8，跨平台的成熟度、介面細節及不同裝置上的匯出表現，仍須經實際作品驗證。

GitHub

Categories: 開源, 文字轉語音, AI productions, 模型, Video, Audio, 軟件, 工具, Content Creator, Mac, Linux, 語音, 動畫

Hycli 將網站變成可操作的 CLI 工具

Share to X Facebook

Hycli 把網站包裝成 typed CLI 與 MCP 工具，讓 AI agent 讀取、搜尋及修改內容，同時把 cookies 留在本機。

Hycli — Websites, ready for AI.

網站操作之所以難交给 AI agent，往往不是模型不懂流程，而是登入狀態、網站結構與寫入風險都混在一起。Hycli 是開源 CLI 與 MCP server 生成工具，會從網站文件、前端 bundle 及瀏覽器網絡流量建立 typed CLI，涵蓋讀取與寫入操作，並沿用真實瀏覽器登入狀態。

它的差異不在於讓 agent 多一層包裝，而在於把「探索網站」與「執行變更」分開。三個 AI workers 會檢查文件、程式碼和 live traffic，建立工具規格期間不會執行 mutation；即使路徑或 GraphQL body 隱藏了寫入行為，也會被攔截。新 CLI 預設 writes: false，首次寫入前要求用戶確認，亦可隨時撤銷權限。

  • 用 hycli prepare 探索網站並產生 CLI 規格
  • 透過 CLI 或 MCP 讀取、搜尋、建立及編輯網站內容
  • cookies、localStorage、sessionStorage 與 API keys 儲存在本機 vault
  • 寫入失敗不會自動重試，避免重複下單或發文
  • 匯入登入狀態時只讀取指定網域的資料

瀏覽器憑證不會放入 LLM prompt，模型只會看到帳戶標籤、storage key 名稱及已遮蔽的 response schema；真正的 secret 由本機在執行時注入，並從輸出與日誌中移除。OS keyring 分別支援 Windows Credential Manager、macOS Keychain 與 Linux Secret Service，亦備有只限擁有者讀取的檔案權限。

Hycli 適合需要反覆處理後台、內容平台或內部網站介面的團隊，也適合已使用 MCP 的 AI agent 工作流。它不是通用網頁爬蟲，重點是為特定網站建立可重用的 typed 操作介面；實際效果仍取決於網站是否提供可辨識的文件、前端 bundle 或網絡 API，以及該網站是否容許相關自動化操作。

GitHub

Categories: 開源, Agentic, MCP, 模型, API, 工具, Mac, Linux, 安全

MoneyPrinterTurbo 整合 AI 影片流程

Share to X Facebook

輸入主題即可生成短片內容與素材，亦可接入不同模型；適合內容團隊快速製作多語言影片。

Kimi 赞助 MoneyPrinterTurbo

給定一個主題，便要自行寫稿、找素材、配音、加字幕再剪輯；MoneyPrinterTurbo 將這套流程整合成 AI 短影片生成工具，涵蓋腳本、配音、素材搜尋、字幕、配樂及剪輯，並提供 AI Agent、WebUI、API 和 CLI 四種介面。

由一句主題到成片：它可自動生成或改寫多語言影片腳本，也允許逐個環節改用自訂內容。支援批量生成、任務紀錄，以及設定和 API Key 的匯入、匯出與恢復，對經常製作大量短內容的編輯、社交媒體營運團隊及小型工作室尤其方便。

  • 輸入主題或關鍵詞，自動完成短片內容與素材配對
  • 以 WebUI、API、CLI 或 AI Agent 接入不同工作流程
  • 可替換腳本、配音、素材、字幕或配樂
  • 支援批量生成、任務歷史及多語言腳本
  • 兼容多種模型服務、統一網關及本地環境

模型選擇相當廣，可連接 Kimi／Moonshot AI、OpenAI、Anthropic Claude、Google Gemini、DeepSeek、阿里云通義千問、Microsoft Azure OpenAI、火山引擎方舟、xAI Grok、MiniMax、小米 MiMo，以及 Ollama、LiteLLM、OpenRouter 等平台。Kimi K3 獲項目採用，負責撰寫文案、提煉素材搜尋關鍵詞及判斷合適畫面；本地模型則適合重視資料控制或降低雲端依賴的團隊，但最終流暢度與準確度仍取決於所選模型、服務配額及素材來源。

這套工具的優勢不是生成單段影片，而是把多個製作步驟串成可重複運作的流程。代價是成品質素仍受文字模型、素材版權、語音及剪輯設定影響，重要影片應保留人工審核，而非直接自動發佈。

GitHub

Categories: 開源, Agentic, AI productions, 模型, Google, 微軟, OpenAI, DeepSeek, Gemini, API, Video, 工具, Ollama, 語音, Anthropic, Kimi, 小米-Xiaomi, MiniMax

video-use：一句指令把素材剪成 final.mp4

Share to X Facebook

video-use 將 Claude Code、FFmpeg 與 AI 動畫工具串成影片剪輯流程，適合需要快速製作短片的創作者與內容團隊。

video-use

剪片最花時間的往往不是逐格拖拉，而是刪去口誤、停頓、重拍，再處理字幕、調色和動畫。開源項目 video-use 將這些工作整合到 Claude Code 對話中：把原始素材放入資料夾，提出剪輯要求，確認方案後便可取得 final.mp4。

它屬於 Agent 影片剪輯工具，依賴 FFmpeg、ElevenLabs API，以及支援 shell access 的 Agent；Claude Code、Codex、Hermes、Openclaw 等均可按技能方式整合。Agent 會先盤點素材並提出策略，待你確認後才進行剪輯，亦可用 project.md 保存跨次工作的記憶。

  • 自動移除「umm」、「uh」、重試開頭及拍攝間的空白
  • 支援預設或自訂 FFmpeg 調色，並在剪接點加入 30ms 音訊淡出
  • 預設以每兩字一個大寫單元燒錄字幕，樣式可自行調整
  • 可並行呼叫 HyperFrames、Remotion、Manim 或 PIL 製作動畫疊層

這種做法省去大量重複剪輯操作，也毋須在預設項目與選單之間來回切換。代價是成果會受素材品質、Agent 判斷、FFmpeg 設定及 ElevenLabs 服務影響；影片內容、關鍵 API 費用與電腦運算資源仍要由團隊控制。它適合對話式影片、教程、旅遊片段、訪談及社交媒體短片，但複雜敘事和高度精準的專業後期仍需要人工覆核。

影片輸出前，工具會逐個檢查剪接點，協助發現突兀轉場或音訊爆音；然而自我評估並不等同真人審片。採用這個項目時，重點不在追求完全自動，而在讓 Agent 先處理機械而重複的工序，把最後一輪節奏、內容與品牌審校留給創作者。

GitHub

Categories: 開源, Agentic, AI productions, API, Video, Audio, 工具, Content Creator, OpenClaw, Anthropic, 動畫, Skill 技能

CLI-Anything 讓 AI 代理直接操控軟件

Share to X Facebook

CLI-Anything 把圖像、CAD、3D 等軟件包裝成可供 AI 代理操作的 CLI，打通代理與既有工具之間的斷層。

icon

當 AI 代理需要製作 CAD、3D 場景、圖表、遊戲或字幕，CLI-Anything 會把原本面向人類操作的軟件轉成可調用的 CLI。它屬於開源的 Agentic 工具與 CLI 生成框架，處理的是代理缺乏一致介面、難以持續操作軟件及產出可驗證成果的問題。

項目以 /cli-anything 作為主要入口，並配合預覽、即時預覽及 trajectory loops，讓代理不只發出指令，還能逐步產生和檢查真實 artifact。README 亦列出 Cursor plugin、Hub 及 skills，反映它同時照顧 CLI 生成端和代理使用端；舊版本則可能要改用 /cli-anything:cli-anything。

和只依賴 GUI 操作或個別 API 整合的做法相比，CLI-Anything 嘗試為不同軟件建立較統一的代理介面，方便重用流程，但效果仍取決於每個軟件的 CLI harness 是否完整，以及代理能否正確理解工具狀態。項目提供 CLI-Hub，使用者可瀏覽、安裝及管理社群建立的 CLI；原始資料未交代各 harness 的詳細安裝步驟、資源要求或一致的性能基準。

CLI-Anything: Turn ANY App into a CLI for Claude Code & Codex (GIMP, Blender, LibreOffice & More!)

• 支援把多類軟件轉成 AI 代理可調用的 CLI
• 以預覽與 trajectory loops 協助產生可檢查的成果
• 提供 CLI-Hub 管理社群 CLI
• 適合需要串連設計、製作及自動化流程的團隊
• 仍需逐一確認各軟件 harness 的成熟度

對熟悉 Cursor 或其他代理工作流的開發者，這套方法適合用來延伸圖像處理、CAD、3D 製作及內容生產流程；對只想即時使用單一軟件的使用者，則要先確認所需 CLI 是否已建立及可用。

GitHub

Categories: 開源, 香港大學, Agentic, API, Image, World-Action Model, 框架, 軟件, 工具, IDE, 3D, 編程, Skill 技能

AI Toolkit 把擴散模型訓練搬上消費級硬件

Share to X Facebook

將多種新式圖像與影片模型放入同一套訓練工具，兼顧 GUI、CLI 與本地環境管理。

AI Toolkit UI

想在家用硬件微調 FLUX、Qwen-Image 等模型，過往往往要自行處理環境、依賴與介面；Ostris AI Toolkit 把這些繁複步驟整合成一套擴散模型訓練工具。官方資料未提供完整安裝指令，但建議透過儲存庫內建的 AI Toolkit Manager 啟動。

AI Toolkit Manager 會偵測硬件並配置合適的 PyTorch 版本、建立 Python 環境，以及下載 Node.js 和 FFmpeg，所有檔案留在 ai-toolkit 資料夾內，不會系統級安裝。啟動時亦會檢查更新；若本機檔案經修改，更新會跳過並發出警告，減少覆蓋自訂設定的風險。

它屬於開源訓練套件，可透過 GUI 或 CLI 操作，涵蓋圖像及影片模型訓練。模型支援範圍頗廣，包括 FLUX.1、FLUX.2、FLUX.2-klein 4B／9B、Lumina-Image-2.0、Qwen-Image-2512、SDXL，以及 Chroma、HiDream、OmniGen2、Z-Image、ERNIE-Image 等新式架構。

  • 以消費級硬件為主要目標，縮低本機訓練門檻
  • 同一套工具支援多種新舊擴散模型
  • GUI 與 CLI 並存，兼顧互動操作及批次流程
  • 依賴與模型資源集中管理，減少系統污染
  • 保留本機修改，並在更新衝突時給出警告

相較只針對單一模型或只提供訓練腳本的做法，AI Toolkit 的優勢是將模型選擇、環境配置與操作介面放進同一工作流。不過，原始資料沒有交代各模型的訓練速度、記憶體需求或量化設定，硬件是否足夠仍要視模型大小與訓練配置而定。

這套工具較適合需要建立角色、產品或風格資料的設計團隊、內容創作者，以及想在本地微調開源模型的開發者。模型及環境檔案仍佔用大量磁碟空間，影片模型亦可能帶來更高記憶體與運算負擔，部署前宜先核對個別模型的條件。

GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, Stable Diffusion, Video, Image, 工具, Content Creator, Python, 庫, 百度

AnyGameRenderer 把粗糙遊戲錄影變成可玩風格畫面

Share to X Facebook

由灰色方塊與代理色組成的遊戲錄影，配合文字提示即可重繪成不同風格，同時保留角色、物件數量與動作時間。

genre trenchfire

遊戲原型仍是灰色方塊、彩色幾何體，AnyGameRenderer 就能把一段 24 fps、2 至 15 秒的普通影片，重繪成 AAA 寫實、LEGO、Ghibli、蠟筆或 synthwave 等風格。它屬於生成式影片模型，處理的是「畫面變漂亮後，角色位置、數量和出現時間仍要對得上」的問題。

輸入不需要逐物件標籤、引擎掛鈎或固定遊戲引擎格式，wireframe、semantic map、粗略 3D mockup、彩色 primitive 和 engine whitebox 都可作為來源。單一 checkpoint 已涵蓋 tower defense、kart racing、shooters、survivors-like 和回合制戰鬥等類型，適合 AI 遊戲生成工具、原型展示和美術風格探索。

  • 保留 entity correspondence，細小及遠距離物件較不容易消失
  • 文字提示可改變整體美術風格，同一段輸入可產生多種世界觀
  • 以 entity-level benchmark 評估，而非只看逐幀畫面相似度
  • LoRA 訓練尺寸為 1344×768、124 frames；更長影片可執行，但未按該長度訓練

59 個測試案例、753 個 ground-truth entities 中，temporal match 由 zero-shot base 的 50.9% 升至 62.9%，position match 由 57.1% 升至 61.9%；未渲染率由 4.1% 降至 2.9%，hallucination rate 由 52.1% 降至 46.0%。提升仍未代表每個物件都能穩定對齊，長片段和高密度場景仍需檢查輸出。

需要 Python 3.10、PyTorch 2.9.1+cu128 等環境資訊，以及 setup_env.sh 和權重下載流程；完整執行仍需要相應 GPU 環境。項目同時公開模型與資料集連結，較適合希望把可玩原型快速轉成視覺樣片的開發者和研究團隊。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, Video, 工具, 3D, Python, 編程, Dataset 數據集, LoRA

Agent4Sci 把 AI 編程代理放進真實科學實驗場

Share to X Facebook

AI 編程代理能否在有限算力、沒有人工協助的情況下，超越論文已發表的最佳結果？Agent4Sci 讓代理在真實機器學習科研任務中接受長時間測試，並檢查成果是否可信。

protocol

面對一篇研究論文、程式碼、訓練資料和指定指標，AI 編程代理能否在固定算力內推進結果？Agent4Sci 是一個長時間測試與評估工具，涵蓋 11 個科學領域的 20 個基準和 25 項任務，檢視前沿代理在沒有人工協助下能否超越已發表的最佳表現。

它不以排行榜為目標，而是讓代理在標準化環境中修改程式、執行實驗和提交成果。每項任務會先核對已發表的基準結果、修整資料切分，並封存測試集；代理只能查看訓練及驗證資料，避免直接利用測試答案調整結果。

評估分成三步：代理進行實驗並提交成果，另一個代理在封存的測試集上評分，第三個代理則審查過程有否選擇性呈報、測試資料污染、操弄指標或硬編碼輸出。這種分工有助分辨模型進步是否來自有效研究，而非鑽評測漏洞；但長時間實驗本身結果波動較大，作者也提醒應把結果視為研究能力的探測，而不是穩定排名。

  • 覆蓋 20 個基準、25 項任務及 11 個科學領域。
  • 以固定運算預算測量代理相對於已發表最佳結果的進步幅度。
  • 測試集封存，並由獨立階段評分及審查評測操弄風險。
  • 提供 research、experiment 和 checklist 工作流程，分別支援文獻引導構思、實驗安排及定期檢查研究方向。

研究團隊、AI 代理開發者及機器學習科研團隊，可用它檢查代理能否在真實程式碼和資料條件下完成持續實驗，而不只是產生看似合理的修改。儲存庫提供 agent4sci run 執行評估流程，另有後端與自建基準容器的說明；提供的資料未列出完整安裝及模型預設細節，因此無法據此判斷所需 API、算力配置或具體執行時間。

GitHub

Categories: 開源, Agentic, 模型, 模型訓練, API, 工具, 庫, 編程

PrismaCoder 的多模態生成

Share to X Facebook

多模態程式碼智慧將程式的符號世界與其執行所產生的視覺世界連結起來。

PrismaCoder: Open Multimodal Code Intelligence

從文字或視覺輸入生成圖表、網頁、示意圖、文件和動畫，PrismaCoder 是一系列開放的多模態程式碼模型，處理的不只是程式能否執行，也包括輸出畫面是否符合要求。這對需要快速製作圖表、前端介面或科學文件的開發者和研究團隊，提供了涵蓋多種視覺程式任務的模型選擇。

它的訓練流程 PrismaForge 會為每項指令建立評分規準，分開檢查程式碼與渲染結果，再用相同規準篩選訓練資料及提供強化學習獎勵。這做法把「程式寫得對」和「畫面呈現得對」分開衡量，減少只靠整體印象評分所帶來的偏差。

模型以 Qwen3.5 為基礎，提供 9B 和 35B-A3B 兩種規模，並各有監督式微調（SFT）及強化學習（RL）版本。PrismaCoder-2M 資料集涵蓋圖表生成與重建、網頁介面、互動示範、向量圖像、科學文件及化學圖形等任務；評估工具包括 VisPlotBench 和 ChemDraw。

  • PrismaCoder-9B 的 SFT 與 RL 權重均可取得；35B-A3B 的 RL 權重仍在上載中。
  • 項目網站稱模型在圖表、前端頁面和半結構化文件任務中領先開放模型，並能匹敵或超越部分專有系統；具體分數需查看網站或論文。
  • 儲存庫已提供格式專屬執行與渲染檢查、多模態資料合成，以及 Python、SVG、HTML 的文字評分工具；PrismaForge 完整評分與資料篩選流程，以及 SFT、RL 訓練腳本仍未完成。

模型權重和資料集可經 Hugging Face 項目頁取得；不過，儲存庫目前未提供完整訓練流程，35B-A3B 的 RL 權重亦未上架。想先驗證生成品質的團隊，可參考 VisPlotBench、ChemDraw 評估程式和互動示例；若要自行重現訓練，則要留意腳本尚未開放。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, 模型訓練, Qwen, Image, 工具, Python, 庫, 動畫, Dataset 數據集, 強化學習

DONIC：基於人類示範的通用型靈巧雙手追蹤控制

Share to X Facebook

DONIC 讓一個控制策略同時操作兩隻靈巧機械手，模仿人類雙手示範。模擬測試中，即使遇上訓練時未見的物件，也毋須微調便能完成追蹤。

banner

模仿雙手操作時，難處不止是讓每隻手跟上動作，還要同時配合物件的位置與接觸方式。DONIC 是一套靈巧雙手追蹤控制策略，讓同一個策略控制兩隻 Wuji 機械手，依照人類雙手示範操作物件，並嘗試泛化到未見軌跡和未見物件。

它以五個公開手部與物件資料集，以及 BiHOI 訓練。BiHOI 收錄 1,575 段雙手互動序列，涵蓋 229 件物件和 14.77 小時操作紀錄；研究團隊使用 32 部校準相機拍攝，再重建雙手與物件動作。對機械人研究團隊而言，這套資料處理流程有助把多視角人手示範轉成可供機械手學習的動作參考。

訓練方法亦針對雙手配合調整：每隻手按示範所要求的接觸方式獲得獨立獎勵，避免一隻手的進度掩蓋另一隻手的失誤；PPO（近端策略最佳化）則配合行為克隆，並把經回放驗證的成功操作加入示範資料，供後續訓練使用。這比只追蹤手部姿勢更重視物件與兩手接觸，但結果仍取決於示範資料和模擬環境能否涵蓋目標操作。

在 Isaac Gym 模擬測試中，DONIC 對未見軌跡的成功率為 86.79%，對未見物件則為 57.32%，均毋須微調。相較研究團隊以相同資料池訓練的 DexTrack 與 Dexplore 雙手改編版本，成功率分別高出 77.36 和 45.73 個百分點；加入 BiHOI 後，兩項成功率再升至 88.68% 和 59.76%。這些是模擬結果，不能直接視為真實機械人環境的表現。

現階段較適合把 DONIC 視為研究原型，而非可直接安裝運行的完整控制工具：訓練與評估程式碼、策略檢查點及 BiHOI 資料集尚未公開，已提供的是 BiHOI 處理流程。現有內容可讓研究團隊檢視資料建構方式與模擬結果，但要重現策略或在實體機械手上測試，仍需等待相關程式碼、模型及資料釋出。

  • 模型權重、MANO 資產和資料集不會在此處分發，並且仍受其原始許可的約束。
  • 單一策略同時控制兩隻 Wuji 靈巧機械手。
  • 訓練資料結合五個公開資料集與 BiHOI 多視角雙手互動紀錄。
  • 模擬中未見軌跡成功率為 86.79%，未見物件為 57.32%。
  • 加入 BiHOI 後，兩項成功率分別升至 88.68% 和 59.76%。
  • 訓練與評估程式碼、策略檢查點及 BiHOI 資料集仍未公開。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, 工具, Dataset 數據集
Page 4 of 28
1 2 3 4 5 6 … 28