RULER 讓 SVG 生成更貼近人類判斷的評分

2026 年 9 月 23 日 Share to X Facebook Copy link

生成SVG時，圖像看似相似，未必代表指令已經做到。RULER用逐項評分改善模型訓練，毋須配對的標準圖像或人工偏好標籤。

想把「畫一個指向東北的指南針」轉成SVG，模型要同時掌握主體、方向和風格；但這類開放式生成通常沒有唯一正確圖像，傳統分數未必能指出作品究竟錯在哪裏。RULER是一套用於SVG生成評估及強化學習訓練的方法，嘗試把籠統分數拆成可逐項檢查的要求。

它會只根據文字指令，為每個生成任務建立六項評分準則，涵蓋語意、視覺和風格，再由視覺語言模型評分渲染後的作品。各項得分按權重合成較細緻的獎勵，供 Group Relative Policy Optimization（GRPO）優化模型；整個流程不需要配對SVG標準答案或人工偏好標籤。

這種做法針對的是CLIP、Aesthetic等單一分數難以判斷SVG細節，也可能令強化學習模型迎合分數、產生 reward hacking 的問題。研究團隊表示，多軸評分比單一指標更貼近人類判斷；在MMSVG-Illustration和MMSVG-Icon上，rubric分數分別由0.432升至0.693，以及由0.395升至0.683，並超越專門SVG模型，表現可媲美規模大得多的DeepSeek-V3。

• 每條指令會生成專屬評分準則，而非所有作品共用一把分數尺。
• 評分同時檢查語意、視覺和風格，獎勵可用於GRPO訓練。
• 不需要標準SVG圖像或人工偏好標籤，適合缺少標註資料的生成項目。
• 評測結果顯示評分準則的設計是提升開放式SVG生成的重要因素。

項目主頁

Categories: 香港科技大學, Image, 提示詞, 香港

---

VideoGen-Agent 讓影片生成懂得規劃、驗證與修正

2026 年 9 月 22 日 Share to X Facebook Copy link

影片生成不再只靠一次輸出，VideoGen-Agent會分步使用工具，檢查結果後再修正畫面與內容。

面對需要維持人物身份、物理關係、場景構圖或事件次序的提示詞，一次生成往往難以兼顧所有要求。VideoGen-Agent以多模態代理配合強化學習，讓影片生成流程加入規劃、工具操作和視覺驗證，逐步處理這些容易出錯的部分。

代理會在多輪互動中協調 augmentation、generation 和 verification 工具，根據提示詞及中途觀察結果決定下一步行動。訓練先以教師生成的工具使用軌跡建立基本行為，再透過 multitask agentic reinforcement learning 改善工具選擇和生成品質，並以混合獎勵同時評估工具呼叫有效性、任務配合程度及影片效果。

VABench 包含600個提示詞，涵蓋程序知識、單一及多個實體的身份保持、物理一致性、場景構圖和多鏡頭時間結構。以 Seedance 1.0 T2V 作為基礎生成器時，VideoGen-Agent分數由56.5提升至75.6；推理時換用 Toolset 2，即使不重新訓練代理，分數仍升至86.1，人類評審在雙選比較中有84.3%偏好升級後的配置。

• 以多步驟代理流程取代單次影片生成
• 結合 augmentation、generation 和 verification 工具
• 針對身份、物理一致性及事件順序等難題作出驗證
• VABench涵蓋600個多類型提示詞
• 程式碼及資料集當時仍標示為即將推出

這種做法較適合需要精準遵循複雜提示詞的影片創作、研究評測及工具驅動工作流。它仍依賴可用的生成與驗證工具，代理表現亦會受基礎模型、工具能力和評估方式影響，不能把分數提升直接視為所有影片場景都能獲得相同效果。

項目主頁

Categories: 香港中文大學, Agentic, AI productions, Video, 提示詞

---

physics：拆解 Wan2.1 的物理失誤

2026 年 9 月 22 日 Share to X Facebook Copy link

籃球彈跳變成半空漂浮，問題可能早在去噪頭幾步由注意力決定。這個研究以 RoPE 調整改善影片動態。

一個籃球由半空跌落後，理應撞地再彈起，Wan2.1-T2V 卻可能生成漂浮、突然停頓或半空反彈。這個 GitHub 項目屬於影片生成模型的可解釋性研究，實際處理的是 text-to-video diffusion models 如何在早期去噪階段規劃物件軌跡，以及錯誤位置為何會一路鎖定。

研究把視線集中在 Wan2.1-T2V-1.3B 的最初五個去噪步驟，透過 video-to-object-token cross-attention 追蹤物件位置，再配合 convergence speed 和 causal contribution 找出負責形成軌跡的 attention heads。分析指出，Self-attention 中的 Rotary Position Embedding (RoPE) 會令空間注意力衰減過快，早期錯誤候選位置因此壓過鄰近影格較合理的路徑。

修正方法不依賴外部物理模擬器或額外 foundation-model teacher，而是在早期步驟降低 height/width RoPE frequency，測試時前五步使用 λ^{h/w}=0.70；需要訓練時則以只作用於 self-attention 和 cross-attention 的 Low-Rank Adaptation (LoRA) 配合 λ^{h/w}=0.75。LoRA 設定為 r=64、alpha=32，並以首 10% 去噪步驟佔 0.9 機率的混合 timestep sampler 加強早期學習。

測試這個項目時可沿用 Wan 官方模型與提示詞，以不同 random seeds 比較原模型、training-free 頻率調整及 LoRA 版本的籃球跌落等片段；程式透過 runtime monkey patches 修改行為，不需要改動官方 Wan source。提供的資訊確認有 training-free 和 training-based 實驗，但未列出完整數值指標，因此更適合視為機制分析與可重現的研究原型，而非已證明能處理所有物理場景的通用修補方案。

• 物件軌跡主要在最初五個去噪步驟形成
• Cross-attention 負責引入物件語義，self-attention 協助選擇候選區域
• RoPE 空間衰減過強，會令錯誤位置過早固定
• 可用早期頻率縮放，或加入只改注意力層的 LoRA
• 適合研究影片生成、模型可解釋性及物理一致性的團隊

項目主頁 · GitHub

Categories: 開源, AI productions, Embedding, 模型, 視頻模型, 模型訓練, Video, 提示詞

---

CrossView Warp : H3 LoRA 影片新視角

2026 年 9 月 22 日 Share to X Facebook Copy link

輸入原片與鏡頭偏移，就能生成同一場景的新視點；代價是需要 ComfyUI、深度變形及額外工作流程配合。

想從影片另一個鏡頭角度觀看同一場景，這個 LoRA 可直接處理方位角（azimuth）及仰角（elevation）偏移。它基於 MiniMaxAI/MiniMax-H3 微調，屬於 Ref2VA 影片生成用途，並非獨立的完整模型。

模型會同時讀取兩段影片：經過 CrossView Warp 的深度變形片段負責提供場景幾何，原始片段則保留人物身份與外觀。深度資訊由 MoGe Inference 產生，再交給 ComfyUI-CrossViewWarp 節點處理；生成結果對未被原片覆蓋的區域仍需要提示詞引導，因此新視角越大，畫面補全的不確定性亦可能增加。

使用流程集中於 ComfyUI：安裝 CrossViewWarp node，先取得 MoGe 幾何資料，再把 warp 與 source 調整至相同尺寸；載入 MiniMax-H3_Ref2VA-LoRA-CrossView-Warp_v1_3500.safetensors 到 ref2va checkpoint，並以 MiniMax H3 Add Guide 和 MiniMax H3 Reference To Video 串接，frame_idx 設為 0。LoRA strength 建議由 0.8 開始，頁面建議範圍為 0.8 至 1.0，觸發詞是 crossview。

• 已確認的基礎模型：MiniMaxAI/MiniMax-H3
• 主要檔案：MiniMax-H3_Ref2VA-LoRA-CrossView-Warp_v1_3500.safetensors
• 頁面未列出 GGUF 檔案、量化級別、mmproj、檔案大小或量化建議，因此不能推斷 Q4_K_M 等本地推理配置
• 頁面只明確提供 ComfyUI 工作流程，未確認 llama.cpp、Ollama、LM Studio、MTP draft speculation 或效能基準支援

它把 CrossView-Warp 概念移植到 MiniMax-H3，核心價值在於以幾何變形和原片外觀互補，協助影片生成模型維持場景連貫性。頁面提供多個 compare_* 影片作為 warp、原片與結果的並排示例；授權則標示為 minimax-h3-community-license。

模型

Categories: 開源, ComfyUI, AI productions, Video, 提示詞, 庫, MiniMax

---

RefineEdit : 免訓練 Prompt-to-Prompt 編修

2026 年 9 月 22 日 Share to X Facebook Copy link

RefineEdit 以文字提示生成來源與編輯結果，毋須額外訓練或遮罩，但未能直接處理任意真實照片。

由 source prompt 改成 editing prompt 時，RefineEdit 會先生成來源圖，再重用中間 refinement state，讓 1024 × 1024 編輯結果較容易保留原有內容。這個項目屬於免訓練的 prompt-to-prompt 影像編輯方法，實際處理的是文字驅動編輯中「改變指定內容」與「維持畫面穩定」之間的取捨。

GRN 負責生成流程，HBQ tokenizer 和 UMT5 encoder 會一同載入；RefineEdit 本身沒有額外 checkpoint。source-anchored bit routing 先選出可編輯座標，再配合 adaptive spatial freezing（AdaSF）及 finite bit locking（FBL）限制後續變化，毋須外部 editing mask。

RefineEdit 需要 Linux、支援 BF16 的 CUDA GPU，以及官方 GRN 預訓練權重；A100 80 GB 是參考配置，項目並不適合低記憶體 GPU 或 CPU 推理。FlashAttention 2 可加速原始流程，未能安裝時可改用 PyTorch scaled dot-product attention，但速度、記憶體消耗和數值結果都可能不同。

• 不需額外訓練、RefineEdit checkpoint 或外部遮罩
• 只支援由提示詞內部生成的來源 refinement trajectory
• 不直接編輯任意真實圖片，應用範圍比一般照片編輯流程窄
• 附有 mask summary/step PNG 及 adaptive bit lock stats.csv，方便檢查座標選擇和鎖定狀態

它適合研究文字生成影像編輯、需要可重現實驗的團隊，以及已有 GRN 推理環境的開發者。儲存庫未提供統一 benchmark 數字，不能單靠 1024 × 1024 輸出判斷畫質；不同 attention backend 即使使用相同 seed，也不保證產生逐像素一致的結果。

GitHub

Categories: 開源, 模型訓練, NVIDIA, Image, 提示詞, Linux, Python, 庫, Dataset 數據集

---

lanshu-create-ai-presenter-video：數字人影片 Skill：一張圖＋文案自動生成完整講解影片

2026 年 9 月 19 日 Share to X Facebook Copy link

一個針對通用數字人影片製作 Skill。你輸入主題或文案，再加一張授權人物圖，它就會按完整配音時間軸組織生成、剪輯同驗收，輸出一條可發佈嘅講解片。

做數字人講解片最麻煩嘅地方，往往唔係生成人物，而係口型、文字同聲音對唔齊，最後剪埋一齊就甩拍。lanshu-create-ai-presenter-video 嘅切入點正正喺呢度：佢將「完整配音」鎖定為全片時間基準，人物主素材、字幕、關鍵詞動效同鏡頭轉場都跟住呢條音頻排，從而減少口型漂移同片段接駁嘅問題。整個項目屬於 Agent Skill 工具，由 Codex 或其他兼容本地 Skill 嘅 Agent 環境直接調用，源碼本身唔綁定任何特定服務商、模型或私有接口，可以按當前環境可調用嘅能力動態選擇配音、人物生成同口型同步工具。

最低門檻只需要一份主題或文案，再加一張已授權、包含清晰成年人物嘅參考圖。聲音樣本、屏幕錄影、B-roll、品牌素材、目標平台、時長、橫豎屏同風格等都係可選輸入，畀進階用戶調整。Skill 目錄會隨階段讀取對應參考文檔：generation.md 處理文案、聲音、能力選型同人物提示詞；editing.md 負責時間軸、字幕預設、封面同導出；qa-recovery.md 處理技術驗收、人工驗收同常見故障修復，避免一次過佔用過多上下文。

key	名称	the look · 画面	best for · 适合	3D
v1-editorial	V1 设计师「留白」	warm paper, ink, one vermilion accent, data blocks, page turns · 暖白纸、墨色、一抹朱红，大留白	serious, premium explainers; business and product topics · 严肃、高级感、商业与产品	no
v2-signal	V2 科技感「信号」	dark HUD, acid-lime accent, labels decode in, packets on wires, glitch cuts · 暗色仪表盘、荧光绿、数据包流动	AI / infra / networking, anything “system-like” · AI、基础设施、网络、系统类	no
v3-notebook	V3 手写衬线「手帐」	grid paper, a live pen writes every word, sticky notes, eraser · 方格纸上真笔书写、便利贴、橡皮擦	teaching step by step, derivations, study notes · 一步步推导、学习笔记、教学	no
v4-paper	V4 纸艺「立体书」	kraft pop-up book, pieces fold up with soft shadows, parallax · 牛皮纸立体书、折起的纸片、视差	warm stories, processes, consumer topics · 有温度的故事、流程、大众话题	no
v5-comic	V5 波普漫画「爆款」	halftone comic page, stickers slam on, bursts and sound words · 半调网点漫画、贴纸拍入、爆炸字	punchy short videos, hot takes, myth vs fact · 节奏快的短视频、观点、辟谣	no
v6-cinematic	V6 电影感 3D「一镜到底」	Three.js one-take in a graphite studio, porcelain props, bloom · 一镜到底的 3D 影棚、瓷质道具、辉光	flagship pieces, launches, big-picture concepts · 旗舰内容、发布、宏观概念	yes
v7-drafting	V7 图纸与注脚	one black drawing sheet, leader lines, ghost-letter karaoke, true footnotes · 黑色图纸、引线、注脚、卡拉OK式大字	technical deep dives for practitioners · 面向从业者的技术深挖	no
v8-chalkboard	V8 黑板报	a wooden blackboard written live in chalk, felt eraser, chalk mind map · 木框黑板、粉笔现写、板擦、粉笔脑图复习	classroom feel, beginners, memory-friendly recaps · 课堂感、入门、便于记忆	no
v9-clay	V9 黏土小城「一仓」	an isometric plasticine town, every analogy labelled with its real term · 等距黏土小城，比喻 + 真实术语标签	analogies for non-experts, cute and friendly · 用比喻讲给外行、可爱亲和	yes

預設輸出係 9:16、1080×1920、30fps 豎屏，時長 45 至 75 秒，發佈響度目標約 -16 LUFS。初始化可透過 init_job.py 自動建立標準任務目錄同 job.json，preflight.py 會做前期檢查，最後由 finalize_delivery.sh 收尾輸出，同時產出 QA 報告。環境要求 Python 3.9+、FFmpeg／ffprobe、Bash、jq、awk、sed，以及至少一種可調用嘅影片生成、語音生成同口型同步能力。

佢唔係一個獨立嘅模型，而係一套組織數字人影片工序嘅 Skill 框架，價值在於把配音、人物、字幕、剪輯、驗收等步驟統一在同一條音頻時間軸上，避免最常見嘅口型錯位同片段斷裂。內容創作者、行銷團隊、課程錄製同需要快速產出講解影片嘅場景會較受惠，特別係想喺不同 AI 服務商之間靈活切換、又唔想被單一平台鎖死嘅人。

• 以完整配音為全片時間基準，減少口型漂移同片段接駁問題
• 源碼不綁定服務商或模型，可按環境動態選擇配音、人物、口型工具
• 三份參考文檔按階段讀取，控制上下文用量
• 預設 9:16 豎屏、1080×1920、30fps、主題片長 45–75 秒
• 支援聲音樣本、B-roll、品牌素材、平台、橫豎屏等可選參數

GitHub

Categories: 開源, Agentic, AI productions, 數字人, Video, Audio, 提示詞, 框架, Content Creator, Python, 語音, Skill 技能

---

EvoSkill-GUI 讓 GUI Agent 在執行中即時修正技能

2026 年 9 月 18 日 Share to X Facebook Copy link

浙江大學 ZJU-REAL 團隊開源 EvoSkill-GUI，毋須額外訓練，透過結構化技能包、即時修正與自我檢討機制，讓 GUI Agent 在 MobileWorld、AndroidWorld、OSWorld 三個基準上明顯提升成功率。

當手機或電腦彈出視窗、載入延遲、介面元素位置變動，原本寫好的 GUI 操作步驟往往幾步之後就失效。EvoSkill-GUI 正正回應這個痛點——它是浙江大學 ZJU-REAL 團隊推出的開源框架，毋須微調，就能讓 GUI Agent 把「技能」從靜態提示詞變成可即時修補、可重用的程序知識。

以往的 skill-based agent 把規劃、定位、復原規則全部塞進同一份文件，出錯時難以精準修補。EvoSkill-GUI 將每項技能拆成結構化套件，內含計劃、後備定位、復原規則、無障礙工具、檢索 metadata 與失敗案例等獨立檔案，並以 metadata 索引，後續按意圖、應用、平台等條件快速取出對應經驗，而非逐字比對長篇技能文件。

它的核心設計是「同一個骨幹模型」兼任執行者與批評者。執行時若觀察到介面與計劃不符，會即時修補局部錯配，避免小錯滾成大錯；失敗後模型會在嚴格資訊隔離下診斷軌跡，只針對出問題的檔案做精準編輯，毋須額外更強的反思模型輔助。

在 MobileWorld、AndroidWorld、OSWorld 三個基準上，無論通用模型還是 GUI 專用模型，EvoSkill-GUI 都帶來穩定提升，最高絕對增益分別為 +16.2、+6.0、+10.5 個百分點。對做行動 App 自動化、桌面助手或 RPA 的團隊而言，這種毋須重訓又能累積經驗的設計相當實用；不過整套機制依賴骨幹模型本身的反思品質，任務越長、介面越動態，回報會越明顯。

重點摘要：

• 訓練免費用：以 single-backbone self-evolution 機制，省掉外部批評模型與微調成本。
• 技能拆件：把計劃、定位、復原拆成獨立可編輯檔案，方便精準修補。
• 即時修正：在 rollout 內偵測到介面變化就立刻修，避免錯誤擴散。
• 資訊隔離批評：批評階段只看指令、觀察與動作，避免偷看草稿或答案。
• 跨基準驗證：在 MobileWorld、AndroidWorld、OSWorld 三項皆有顯著絕對增益。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型訓練, 提示詞, 框架, 工具, Skill 技能

---

video-to-h3-prompt SKILL：逐幀反推參考影片，自動生成可貼即用 H3 提示詞

2026 年 9 月 13 日 Share to X Facebook Copy link

項目把『看幾幀就寫 vibe』的拍腦袋流程，換成五通道取證管線：密集抽幀、音頻交叉驗證、因果事件鏈、剪輯層分離，最後產出對應 MiniMax H3 五種輸入模式的完整模板。

如果你試過把一段參考影片丟給 AI 影片模型、要它重做或延伸，應該都撞過同一面牆：憑『整體 vibe』寫提示詞，往往會錯過動作、把 BGM 誤認為現場聲。今次做的是把這個『創作猜測』變成可驗證的逆向工程，輸出可直接貼進 MiniMax H3 的提示詞骨架。

做法上，它不放棄『一對多逆問題』的本質——同一段畫面，背後劇本可以是 A 也可以是 B。它讓多個候選劇本同時存在，再用 4–8fps 密集抽幀和 0.5s RMS 去裁決哪個版本站得住。同時，頻譜圖負責分辨音樂與環境聲。

它對剪輯層的處理也相當細：定格哏、白色閃屏、漫畫風的集中線／網點／狀聲詞，全部歸入 editing 與 overall_soundscape，不會和實景動作混在一起。因果事件鏈（trigger→action→reaction）則把袖口、單手、車頭外殼這類畫面邊緣的施力者也算進演員名單，避免關鍵 3–5 幀就這樣消失。

對 Coser／換角場景，它只換外表不改劇本，再做動作相容性檢查、分級道具，並把動漫設定翻譯成真人 cosplay，最後吐出一張替換表。輸出端覆蓋 T2VA、I2VA、FL2VA、L2VA 的 14 欄模板，以及 Ref2VA 的六段模板，全部用 <Subject>/<Picture>/<Video>/<Audio> 標籤紀律收束。

適合想用影片反推 AI 影片提示詞的人：二創作者、廣告分鏡、動漫改編的工作流。比起『看幾幀就 vibe』，它的取捨是慢、但每一步都有可追溯證據；代價是要提供參考影片與可選劇本線索，並接受密集取證帶來的額外處理成本。

重點摘要：
– 五通道取證管線取代單一直覺寫 prompt
– 密集抽幀 + 音頻峰值用作裁決證據，而非裝飾
– 剪輯層、漫畫後製、鏡頭外施力者都獨立建模
– 覆蓋 H3 五種輸入模式，欄位與標籤紀律齊備
– 換角只動外表，動作相容性與道具分級有 SOP

GitHub

Categories: 開源, ComfyUI, Agentic, AI productions, Video, Audio, 提示詞, Content Creator, MiniMax, Skill 技能

---

qisi-video-remix：喂一段參考片給 Agent 它直接交出改編劇本與分段提示詞

2026 年 9 月 13 日 Share to X Facebook Copy link

一個專給 AI Agent 用的視頻改編技能：丟一段參考視頻，它就吐回新故事、完整劇本、分鏡表和能直接複製貼去生視頻的分段提示詞。

要做一條短片，常常卡在「找參考、拆敘事、寫分鏡、再翻譯成生成器看得懂的提示詞」這幾步之間。qisi-video-remix 把這條鏈條整進一個 Agent skill：你貼一段參考視頻（或者故事梗概、截圖、逐字稿），它先把原片的敘事手法抽出來，再以此為基礎寫出新故事，並按鏡頭兼容性和時長上限拆段，最後給出每段可獨立複製的生成提示詞。它不依賴特定後端或拼裝服務，所有結果先在對話中展開，能寫檔的環境下再另外存成 creative-plan.md。

重點摘要：
– 屬於視頻策劃向的 Agent skill，不帶模型或生成器，需由宿主 Agent 處理視頻讀取與生成。
– 默認做創意改編，要落實到人物選擇、事件發展或解決方式的變化，不止換名字。
– 分段先看場景、造型與動作複雜度，再看時長；15／30 秒是單段上限，不是固定段長。
– 提示詞各段獨立展開外貌、場景、動作和對白，可直接貼到所選視頻生成工具。
– 倉庫附一份 30 秒、6 鏡、2 段的完整示例，展示交付結構。

Codex 用戶只要把倉庫克隆到 ~/.codex/skills/qisi-video-remix/ 即可載入；其他支持 SKILL.md 的 Agent 按各自技能目錄安裝。它不替你選單段上限，未確認時會先詢問；遇到無法定論的聲音、身份或轉折會標明，不補造證據。對做豎屏短劇、廣告分鏡、或者想用 AI 視頻模型快速試腳本的個人和小團隊來說，這套指令能省下不少從分鏡到提示詞的人肉翻譯工作。

GitHub

Categories: 開源, Agentic, 模型, Video, Audio, 提示詞, 工具, 庫, Skill 技能

---

Perplexity 開源 Lily：Mac 本地推理專用提速引擎

2026 年 9 月 9 日 Share to X Facebook Copy link

Perplexity 推出針對 Apple Silicon 與 Qwen3.6-35B-A3B 的本地推論引擎 Lily，繞過 PyTorch 與 MLX，以 Rust 和自訂 Metal kernels 改善預填充及解碼效率。

當大型模型開始負責處理 Mac 上的私人檔案與應用程式，本地推論速度就不再只是開發者實驗的指標。Perplexity 開源嘅 pplx-garden 入面，Lily 以工具項目形式處理 Apple Silicon 上 Qwen3.6-35B-A3B 的推論，目標係令提示詞處理及文字生成更快，並透過 OpenAI-compatible HTTP API 串接聊天流程。

Lily 唔似 MLX-LM 般追求支援多款模型，而係集中服務 Qwen3.6-35B-A3B：Rust runtime 負責載入 checkpoint、管理 session state 同生成迴圈，自訂 Metal kernels 就處理模型特定運算。呢種單一進程、模型與 runtime 共同協調嘅做法，減少通用 kernel 帶來嘅額外調度，亦避開 PyTorch 和 MLX execution path。

pplx-garden 不只是 Mac 本地推論工具。fabric-lib 提供 RDMA TransferEngine，同時涵蓋 P2P MoE dispatch 與 combine kernel；pplx-unigram 則係針對 Unigram tokenizer 嘅 CPU encoder。相關內容亦包括 trillion-parameter model 喺 AWS EFA 上嘅部署，以及 RL post-training 權重轉移、分離式 prefill 和 decode 等系統研究，顯示儲存庫涵蓋由裝置端推論到分散式 LLM infrastructure 嘅多個瓶頸。

適合需要喺 Mac 處理敏感資料、又希望保留本地生成能力嘅開發者及研究團隊；需要 RDMA、MoE 溝通或 tokenizer 優化嘅系統工程人員亦可參考相關元件。現有資料集中講述 Lily 分別量度 prefill throughput 同 decode throughput。

重點摘要：
– Lily 專為 Apple Silicon 與 Qwen3.6-35B-A3B 設計，支援 OpenAI-compatible HTTP API。
– 以 Rust runtime 配合自訂 Metal kernels，分開處理 prefill 同 decode。
– 不經 PyTorch 或 MLX execution path，代價係模型及硬件支援範圍較專門。
– fabric-lib 同 p2p-all-to-all 面向 RDMA、MoE dispatch 與 combine 等分散式推論問題。
– 效能應按裝置、上下文及生成負載實測，不能只依賴官方定位作比較。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, Qwen, OpenAI, API, 提示詞, 工具, Mac, Python, 庫, 蘋果, Dataset 數據集

---