InferNews

如果你曾經好奇電腦點樣由一張相片判斷物件有幾遠，DepthVLM 就係一個幾有代表性的答案。呢個專案主打由單張圖片直接輸出具實際尺度的深度資訊，同時保留問答、理解畫面內容等多模態能力，唔係只做單一視覺任務。

對一般開發者而言，上手方向算清晰：程式碼、模型權重同基準資料都已有公開入口，亦提供示例視覺化結果方便先睇效果。要留意資料本身受授權限制，作者未有直接派發整理後全集，但有公開資料整理流程，較適合願意自己重現訓練或評估的人。

佢較特別之處，在於唔需要將「睇圖理解」同「估深度」拆開做。論文資訊顯示，DepthVLM 會喺單次推理中同時產生深度圖與文字輸出，並以輕量模組接到語言模型骨幹上，速度亦比同類 VLM 方案如 DepthLM、Youtu-VL 更快。

如果你做機械人、AR/VR、室內導航，或者想研究影像中的 3D 空間推理，呢類模型特別有價值。從公開內容看，相關比較對象包括 DepthLM-12B、Youtu-VL-4B、InternVL3.5-38B，以及偏純視覺路線的 Depth Anything V3、UniDepth V2、Metric3D v2、Depth Pro、ZoeDepth。

• 一個模型兼顧畫面理解與深度預測
• 可輸出具米制尺度的稠密深度圖
• 推理效率強調比部分現有 VLM 更快
• 已提供範例、模型檔與基準標註入口
• 較適合研究、實驗同進階應用整合

整體來講，DepthVLM 吸引之處唔單止係準確度，而係它試圖將 3D 感知正式帶入視覺語言模型工作流。若你想搵一個連接「識答問題」同「識判斷空間距離」的方案，呢個專案相當值得先收藏再深入試用。

網址： https://github.com/hanxunyu/DepthVLM

網址： https://arxiv.org/pdf/2605.15876

如果你有留意近年大語言模型點樣練習數學題，NudgeRL算係一個幾有方向感的研究型專案。佢主要針對一個常見問題：模型唔係唔努力，而係好多時只會喺自己熟悉的解題路線入面打轉，結果要靠大量重複抽樣先撞到更好答案。

NudgeRL的做法唔係一味加大運算量，而係先提供較輕量的「策略層面背景」，引導模型用唔同思路展開推理，再將當中有效的行為學返去原本模型。簡單講，即係先畀方向去探索，再將成功經驗整理吸收，呢點比純粹盲試更有系統。

實際上手方面，呢個儲存庫已經分好幾部分：資料建立、訓練基線、NudgeRL訓練，同埋評估流程。較適合本身已經會用 Python、PyTorch、CUDA 同 vLLM 的研究者；如果你係一般開發者，都可以先由評估腳本、資料格式同設定檔入手，理解整體流程先。

• 針對數學推理中的探索不足，而唔係只求更大抽樣數量
• 內置 GRPO 同 POPE 風格基線，方便比較方法差異
• 提供 DAPO-Math-17k 相關資料建構工具，唔使由零砌流程
• 評估涵蓋 AIME、AMC23、MATH500、Apex Shortlist 等數學基準
• 核心特色係將多樣化策略探索同後續行為蒸餾結合

如果你想比較相關模型或訓練路線，呢個專案最直接涉及的包括以 GRPO 為代表的 RLVR 方法、POPE 風格 oracle-prefix 基線，以及可配合 Hugging Face 模型與 LoRA adapter 的訓練評估流程。整體而言，NudgeRL較適合做推理增強、數學能力研究、後訓練方法比較的人；對想了解「如何更有效探索」而唔係「如何堆更多算力」的讀者，尤其有參考價值。

網址： https://github.com/tally0818/NudgeRL

網址： https://arxiv.org/pdf/2605.15726

如果你一直好奇不同 AI 工具背後是怎樣被「設定」出來，這個 GitHub 專案正正提供了一個集中參考點。它主要收集各類 AI 產品的系統提示與所用模型資料，讓人可以從實際例子觀察這些工具如何定義角色、限制回應方式，以及安排功能邏輯。

對一般讀者來說，上手方式不算複雜：直接按工具名稱瀏覽內容，對比不同產品的寫法與模型選擇即可。即使你不寫程式，也可以把它當成一份 AI 產品觀察筆記，了解一個聊天機械人或助理服務背後，原來有不少隱藏規則在控制輸出表現。

這個專案最有價值的地方，在於它把分散、難找、而且經常變動的資料集中整理，節省搜尋時間。它同時提醒了一個現實問題：不少 AI 產品的內部設定一旦外洩，就可能暴露產品策略、安全風險，甚至提示設計上的弱點。

• 集中收錄多款 AI 工具的系統提示與模型線索
• 適合做產品研究、提示工程參考及競品觀察
• 可用來比較不同工具的語氣、限制與任務設計
• 亦反映 AI 產品在保安與資料外洩上的風險

從儲存庫名稱可見，內容焦點不只在提示文字，亦包括模型資訊；相關例子大致圍繞各類 AI tools 使用的模型配置，但具體覆蓋名單可能會持續更新。若你是開發者、研究 AI 產品的人、內容團隊，甚至單純想更懂 AI 回應為何有某種風格，這個專案都值得收藏，但閱讀時仍要保持審慎，因為部分資料的時效性與來源背景可能需要自行核實。

網址： https://github.com/x1xhlol/system-prompts-and-models-of-ai-tools

如果你對 AI 生成影片有興趣，Causal-Forcing 最值得留意的地方，不只是「出片快」，而是它特別著重動作變化是否合理。很多影片模型可以生成靚畫面，但人物移動、鏡頭轉換或物件軌跡，往往會有忽快忽慢、前後不連貫的情況；呢個專案正正是針對這類動態問題下手。

它的核心想法，是用更符合時間先後關係的方法，去引導自回歸式影片生成。簡單講，模型不只是學每一格畫面「似唔似」，而是更重視每一步動作點樣接續上一刻，令運動軌跡更穩定。README 亦明確指出，Causal Forcing 在視覺品質之外，對 motion dynamics 的表現比 Self Forcing 更好，而且訓練成本與推理效率大致維持同一水平。

對一般使用者而言，上手方向算清晰：它已提供推理與訓練流程，並支援文字生成影片，以及由圖片延伸成影片的形式。特別是 frame-wise 版本，因為按逐格方式處理，較容易理解為直接面向每個時間步，對需要細緻控制動作延續的人會更有吸引力。

• 重點放在動作連貫性，不只追求單幀畫面靚
• 支援 chunk-wise 與 frame-wise 兩類模型設計
• 涵蓋 T2V、I2V，實用場景較廣
• Causal Forcing++ 再進一步提供 1-step、2-step frame-wise 模型
• 相關版本可留意 Causal Forcing、Causal Forcing++，以及 README 提到的 Self Forcing 作比較對象

再看它的創新位，關鍵在於用 Causal ODE，或在 Causal Forcing++ 中改用 causal Consistency Distillation，去做一個更合理的初始化，再配合 asymmetric DMD。從專案說明可見，作者很強調「生成軌跡要對齊」這件事，亦因此在某些階段要使用自回歸老師模型，這對保持動作隨時間推進的一致性尤其重要。

如果你的重點是互動式影片、角色連續動作、長一點的鏡頭推進，呢個專案比起只看單張效果的模型更值得研究。它未必是最易即學即用的大眾化工具，但對於想改善 AI 影片「會動但唔自然」這個老問題的人，方向相當明確。

網址： https://github.com/thu-ml/Causal-Forcing

網址： https://arxiv.org/pdf/2605.15141

如果你有留意大型語言模型，應該知道文字愈長，運算成本往往升得愈快。Lighthouse Attention 針對的正正是這個痛點：在極長上下文訓練時，用分層挑選的方法，先縮細需要重點處理的內容，再交回現成的高效注意力流程處理。

這個儲存庫不是一個即開即用的聊天程式，而是建基於 PyTorch 的 torchtitan 訓練框架之上，以補丁形式整合。換句話說，較適合本身已經做模型訓練、想比較不同注意力機制的人；一般用家未必會直接跑起，但讀它的設計仍很有參考價值。

它較特別的地方，在於不是把稀疏機制硬塞進自訂核心，而是先做選擇，再沿用現有的 FlashAttention 密集計算路線。這樣的好處是較易受惠於上游優化，也減少為新方法重寫整套底層核心的負擔。資料顯示，它提供 norm、dilated 和 gla 三種評分變體，亦支援可選的 context parallel 路徑。

如果你想上手，較實際的做法是先把它當成研究原型：按版本要求準備好 torchtitan、對應提交版本、兩個額外原始檔及補丁，再用 configs 內不同設定比較 top-K、pool、大細層數與 scorer 差異。官方資訊亦提到，它曾在 530M Llama-3 規模、以及最高百萬 token 訓練情境下驗證。

重點可以這樣看：
– 主要用途是降低超長上下文訓練時的注意力成本
– 核心做法是分層挑選重要片段，再交由密集注意力計算
– 已列出多組可比較設定：top-K、pool、levels、scorer、CP
– 相關評分或路線包括 norm、dilated、gla
– 較適合模型研究、訓練基建開發及長文本實驗場景

只要是標準的 decoder-only Transformer / causal LM，基本都可以替換它的 Q/K/V self-attention 層。

判斷標準
只要模型滿足下面幾點，就通常能做這種替換：
有 self-attention 層，而不是依賴複雜的外部編碼器。
層裡能清楚找到 q_proj / k_proj / v_proj 或等價實現。
是 decoder-only 架構，使用 causal mask。
沒有把 attention 邏輯寫死成特別難拆的自定義模塊。

最適合的模型類型
Llama 系列：最常見，結構標準，Q/K/V 分明，最容易改。
Qwen 系列：也是標準 decoder-only 路線，通常同樣適合做 attention 替換。
Mistral 系列：同樣屬於 decoder-only LLM，理論上也適合。
GPT-style / LLaMA-style 自回歸模型：只要是單向 causal attention，一般都能改。

整體來說，Lighthouse Attention 最吸引之處，不只是追求更快，而是嘗試在訓練期保留與現有生態的相容性。對需要探索 98K、512K 甚至更長上下文訓練的人，它是一個值得細看、但明顯偏研究與工程用途的專案。

網址： https://github.com/ighoshsubho/lighthouse-attention

網址： https://nousresearch.com/lighthouse-attention