InferNews

MBA（Multimodal Benchmark and Agents for Real-World Business Ideation）把原本偏文字的商業構思流程，改成要連圖片、場景同市場證據一齊理解的多模態任務。對做產品構思、創業點子篩選或研究 agent 的團隊來講，重點唔係生成幾多答案，而係點樣喺真實視覺線索下提出夠新意、又講得通的方案。

這個項目同時提供 MBA-Bench 同兩個 agent，MBA-b 同 MBA-k。前者偏盲測設定，後者會利用已知標準，兩者都用 LoRA-based supervised fine-tuning，再接 group relative policy optimization，並加入 creativity、feasibility 等獎勵去訓練。

官方資料提到，MBA-Bench 有 30K 筆樣本，涵蓋六個有明顯視覺線索的領域，評估亦用多個商業向準則去看答案是否具體、可行、具差異化同可擴展。這代表它不只是比模型「講得靚」，而是逼系統在多個限制之間作取捨。

倉庫提供環境設定、資料準備、訓練同推理流程；資料亦可從 Hugging Face 取得，適合想重跑基準、改 reward 設計，或者把 multimodal agent 套到商業 ideation 工作流嘅研究者同工程團隊。現階段最它把 business ideation 由純文本任務，推向更接近現實訊號的評測框架。

• 同時有 benchmark 同 agent，方便做訓練、比較同復現
• 強調圖片與市場證據，唔再只靠文字提示
• 以 creativity 同 feasibility 作核心獎勵
• MBA-b 同 MBA-k 對應 blind 與 known 兩種設定
• 適合做多模態 agent、產品構思同商業研究的團隊

項目主頁 · GitHub

NCP-Bench 是一個 benchmark，加上一套固定 evaluator，用來測試 Interactive Narratives 裡的 Narrative Commitment Preservation (NCP)。它處理的問題很直接：當玩家自由輸入動作時，Narrator agent 會不會偷改已建立的世界事實，或跳過本來應該出現的劇情節點。

使用方式偏向研究與評測流程：每個電影 synopsis 會被轉成 stateful environment，內有 initial fact ledger、narrative commitments 同 ordered reference trajectory；agent 每回合回應後，固定 evaluator 會檢查 fact、commitment 同 player-input conflicts，再更新狀態。儲存庫同時提供 100 個 benchmark environments、方法無關的 episode runner，以及 Baseline 和 HiAgent 參考方法，方便直接比較。

這套做法的價值在於，它不只看文字是否自然，還逼系統在長 horizon 內維持一致性。和只看單輪生成的測試比，NCP-Bench 更接近互動式敘事真正會遇到的拉扯：玩家可以亂入，但系統仍要守住已承諾的劇情骨架。

較適合關心長對話敘事、互動式故事生成、角色扮演型 agent 的研究者與團隊。若要部署，重點不是訓練一個新模型，而是接上既有 narrator，再用 repo 提供的環境規格同 evaluator 跑整個 episode，觀察違反事實、承諾和劇情順序的情況。

• 100 個 movie-level environments，涵蓋 18 個 genres
• 每個環境都有 YAML 規格，包含 metadata、facts、commitments 同 trajectory nodes
• 評測核心是逐回合檢查一致性，而非只看最終輸出
• 提供 Baseline 與 HiAgent，方便和論文結果對照
• 適合做長篇互動敘事、Narrative agent 與一致性評測

GitHub