NCP-Bench 是一個 benchmark，加上一套固定 evaluator，用來測試 Interactive Narratives 裡的 Narrative Commitment Preservation (NCP)。它處理的問題很直接：當玩家自由輸入動作時，Narrator agent 會不會偷改已建立的世界事實，或跳過本來應該出現的劇情節點。
使用方式偏向研究與評測流程：每個電影 synopsis 會被轉成 stateful environment，內有 initial fact ledger、narrative commitments 同 ordered reference trajectory；agent 每回合回應後，固定 evaluator 會檢查 fact、commitment 同 player-input conflicts，再更新狀態。儲存庫同時提供 100 個 benchmark environments、方法無關的 episode runner，以及 Baseline 和 HiAgent 參考方法，方便直接比較。
這套做法的價值在於，它不只看文字是否自然，還逼系統在長 horizon 內維持一致性。和只看單輪生成的測試比，NCP-Bench 更接近互動式敘事真正會遇到的拉扯：玩家可以亂入，但系統仍要守住已承諾的劇情骨架。
較適合關心長對話敘事、互動式故事生成、角色扮演型 agent 的研究者與團隊。若要部署，重點不是訓練一個新模型，而是接上既有 narrator，再用 repo 提供的環境規格同 evaluator 跑整個 episode，觀察違反事實、承諾和劇情順序的情況。
- 100 個 movie-level environments，涵蓋 18 個 genres
- 每個環境都有 YAML 規格，包含 metadata、facts、commitments 同 trajectory nodes
- 評測核心是逐回合檢查一致性，而非只看最終輸出
- 提供 Baseline 與 HiAgent，方便和論文結果對照
- 適合做長篇互動敘事、Narrative agent 與一致性評測