POISE 是一個用於語言模型強化學習的方法，重點是讓模型在生成答案時，直接利用自己已有的隱藏狀態與熵等訊號，估計回報基線。簡單來說，它希望模型「一邊作答，一邊判斷自己表現大概應該有幾好」，從而更有效更新訓練方向。

實際使用上，這類方法特別適合有可驗證結果的任務，例如數學題最終答案是否正確。傳統做法通常要額外訓練一個 critic 模型，或者對同一提示做多次 rollout 來估基線；POISE 則改為重用 actor 本身生成時已計算出的資訊，理論上可減少訓練成本。

它的主要創新，在於把模型內部表徵重新納入 RL 更新流程，而不是依賴獨立的大型評分器。網站內容指出，這個估值器會隨政策變化持續更新，配合當前及近期 rollout，目標是令線上學習更穩定。

• 以 actor 自身隱藏狀態做 value estimation
• 不需要獨立 critic 模型
• 減少同一 prompt 的額外取樣開銷
• 適合有明確對錯驗證的任務
• 著重更輕量與穩定的 RL 訓練流程

在初步評估方面，POISE 在 held-out 的 DAPO-Math rollouts 上，內部狀態探針的 Pearson r 為 0.870、MAE 為 0.141。對比一個由 Qwen3-4B 微調而成的 critic，其 r 為 0.676、MAE 為 0.262，顯示 actor 內部訊號至少在這項基準中具有不錯的預測能力。

受惠工作包括數學解題、可程式驗證推理，以及其他能以結果回饋作訓練的語言模型流程。不過目前頁面展示內容以方法概念與初步結果為主，較完整的泛化表現與不同任務上的最終效益，仍要留意論文後續公開分析。

實驗結果

POISE 在數學推理基準 (AMC23/24, AIME24/25/26, HMMT25, BRUMO25) 上達到與 DAPO 相當的性能，但計算成本更低 。

PAE 是一個為潛在擴散模型而設的自編碼器框架，重點不只是把圖片壓縮再還原，而是先把潛在空間整理成更適合擴散模型學習的形態。簡單講，它關心的不是「壓得靚唔靚」，而是「模型之後生圖時會唔會更順、更穩定」。

實際使用上，PAE 可理解為擴散模型前面的 tokenizer 或影像編碼模組：先把圖片轉成 latent，再交畀後續生成模型訓練。這種做法特別適合本身已在做 latent diffusion、但覺得收斂慢、訓練成本高，或者生成效果未夠穩定的研究與開發流程。

這個專案較有意思的地方，是它明確提出三個「對擴散友善」的潛在空間特質：空間結構一致性、局部流形連續性，以及全域語意組織。作者不是假設這些特質會自然出現，而是用三種 prior-alignment regularization 去主動約束，這比單靠重建誤差的傳統思路更進一步。

根據專案提供的結果，PAE 在 ImageNet 256×256 上做到 gFID 1.03，並且在相同 LightningDiT 設定下，收斂速度最高可比 RAE 快 13 倍。對非研究人員而言，這代表同樣資源下有機會更快見到可用成果；不過這些表現仍應視乎資料集、訓練設定與骨幹模型而定。

• 核心定位：為 latent diffusion 準備更易學的潛在表示
• 主要創新：把「擴散友善」拆成三個可優化的性質來訓練
• 實際價值：有機會縮短訓練週期，提升生成質素與少步數採樣表現
• 適合場景：影像生成研究、需要高效率訓練的生成系統、比較不同 tokenizer 設計
• 可配骨幹：支援多種編碼器方向，包括 DINOv2、SigLIP2、DINOv3、MAE

如果你關心的是「如何令擴散模型學得更快，而唔係只換更大模型」，PAE 的切入點相當值得參考。它最適合有一定生成模型流程的人採用；對一般用家而言，未必是即裝即用工具，但作為下一代 latent tokenizer 的設計思路，含金量相當高。

Source: https://github.com/ZhengrongYue/PAE

GLM-V儲存庫提供了一系列視覺語言模型（VLMs），旨在應對複雜的人工智慧挑戰。研究人員、開發者和AI愛好者若想推動多模式推理的邊界，應該考慮使用GLM-4.6V、GLM-4.5V和GLM-4.1V進行實驗。這些模型在各種任務中表現出色，從圖像和視頻理解到GUI操作和文件分析。對於新手來說，最初專注於GLM-4.5V模型是明智的選擇，因為它具有穩健的性能和全面的文檔。這個模型作為一個堅實的基礎，在深入研究GLM-4.6V的更先進功能之前。

在實際應用中，GLM-V模型通過無縫整合視覺和文本數據來運行。它們可以解釋複雜的場景，理解複雜的文件，甚至協助處理GUI任務。例如，GLM-4.6V模型支持高達128k令牌的上下文窗口，使其能夠高效地處理廣泛的多模式輸入。這種能力使它特別適用於需要長上下文理解的任務，如分析研究報告或處理長篇文件。該模型的原生多模式函數調用功能進一步增強了其實用性，允許直接與視覺元素互動而不需要中間文本轉換。

開發者和企業最受益於這些模型自動化複雜任務和改進決策過程的能力。例如，GLM-4.5V的思考模式切換允許用戶在快速響應和深度推理之間切換，滿足多樣化的需求。這種靈活性在現實世界應用中非常寶貴，那裡速度和準確性必須平衡。此外，儲存庫中包含的桌面助手應用展示了實際用例，例如從PC螢幕捕捉視覺資訊並在各種場景中提供智能服務。

然而，也有一些權衡需要考慮。儘管GLM-V模型提供了令人印象深刻的性能，但它們需要大量的計算資源，特別是對於較大的GLM-4.6V模型。使用者應確保其硬體能夠應對這些模型的需求，以避免性能瓶頸。此外，這些模型的純文本QA能力仍有改進空間，因為目前的重點主要在視覺多模式場景上。開發者可能會遇到偶爾的問題，如重複的思考輸出或格式錯誤，這可能會影響用戶體驗。

為了最大化GLM-V模型的潛力，使用者應熟悉所提供的示例和文檔。儲存庫包括GUI代理和桌面助手的演示，提供關於提示構建和輸出處理的見解。這些示例作為優秀的起點，將GLM-V整合到現有工作流程或開發新應用中。藉助這些資源，開發者可以釋放GLM-V模型的全部潛力，並為推進智能系統領域做出貢獻。

無論你是研究人員探索最新的VLM技術，還是開發者尋求自動化複雜任務，GLM-V都提供了寶貴的解決方案。然而，使用者應當注意計算需求和當前限制。經過仔細考慮和策略應用，GLM-V模型可以顯著提升人工智慧驅動項目的性能和智慧水平。

Source: https://github.com/zai-org/GLM-V

tLLM 是 vLLM 推論引擎的運行時擴展層，提供生產者/消費者（Producer/Consumer）架構，能在生產環境中訓練和管理蒸餾器。

tLLM 的角色

• 生產者管道：從 vLLM 推論中即時捕捉 LLM 的深層隱藏狀態（latent representations）
• 消費者管道：非同步訓練輕量 MLP（~1M 參數），這就是 Latent Distiller（潛在蒸餾器）

tLLM 可應用於醫療問答系統中，提升 RAG 生成的多樣性與準確性，特別適合配合 MedGemma 專案。 透過 ESamp (Exploratory Sampling )方法，在高吞吐 vLLM 服務下動態訓練輕量蒸餾器，引導模型探索未見語義區域，避免重複答案。

案例：醫療 RAG 系統

假設您建置一個基於 MedGemma 的繁體中文醫療 RAG 系統，處理患者查詢如「糖尿病併發症預防」。

• 標準 vLLM：依賴檢索文件生成單一答案，易陷入常見模式，Pass@1 低於 60%。
• tLLM + ESamp：啟用生產者管道捕捉隱藏表示，消費者訓練 Latent Distiller（MLP，~1M 參數），使用預測誤差作為新穎度信號。
• 運行流程：批次 32 查詢並行生成，蒸餾器線上更新（<5% 開銷），重新取樣產生多樣候選（如生活調整、藥物、飲食多視角），Pass@k 提升 20-30%。

此案例在 RTX 4090 上吞吐 4000+ tokens/sec，適合部署於 WhatsApp 查詢閘道，提升 Cantonese/繁中醫療 NLP 效能。 程式碼範例：整合 tLLM 至 vLLM Engine，engine = TLlmEngine.from_engine_args(engine_args) 啟動生產者/消費者。

musubi-tuner 提供使用 HunyuanVideo、Wan2.1/2.2、FramePack、FLUX.1 Kontext 和 Qwen-Image 架構訓練 LoRA（低秩自適應）模型的腳本。

basic guide to Qwen-Image LoRA training

For fundamentals, you can watch the video, although reading the text will also help. This article is related to the Qwen-Image LoRA character Eva Q…

你是否曾因圖像模糊而感到困擾？想放大照片卻又擔心細節盡失？在數位時代，清晰的視覺體驗至關重要。今天，我們將深入探討一項令人興奮的技術——Vision-SR1，一個基於視覺空間推理網路的圖像超解析度解決方案，它有望徹底改變我們處理低解析度圖像的方式。

圖像超解析度（Super-Resolution, SR）的目標是從低解析度（Low-Resolution, LR）圖像中重建出高解析度（High-Resolution, HR）圖像。這項技術在監控、醫學影像、娛樂等多個領域都有廣泛應用。然而，如何有效恢復細節並生成逼真的高解析度圖像，一直是研究人員面臨的挑戰。Vision-SR1 正是為了解決這一挑戰而誕生的創新方法。

Vision-SR1 項目，全名為「Visual-Spatial Reasoning Network for Image Super-Resolution」（用於圖像超解析度的視覺空間推理網路），其核心在於引入了一個獨特的視覺空間推理機制。這意味著它不僅僅是簡單地放大圖像，而是能夠理解圖像中的空間關係和視覺語義，進而更智慧地推斷和重建缺失的細節。透過這種方式，Vision-SR1 能夠生成更為精確和自然的高解析度圖像，顯著提升視覺品質.。

ART 是一個開源強化學習框架，它允許 LLM 從經驗中學習，從而提高代理的可靠性。 ART 提供了符合人體工學的框架，可將 GRPO 整合到任何 Python 應用程式中。

RULER（Relative Universal LLM-Elicited Rewards）透過使用 LLM-as-judge 自動評分代理軌跡，消除了手動設計獎勵函數的需要。只需在系統提示字元中定義您的任務，RULER 就會處理剩下的工作—— 無需標記資料、專家回饋或獎勵工程。