一個代理人由 ¥100,000 起步，連續經營最多四間網店 365 個模擬日，還要自行處理採購、定價、補貨、訂單履行及退貨。E-Commerce Bench 屬於長期自主商業運作的 LLM agent benchmark，實際處理的是代理人能否在現金流、庫存、風險和增長之間持續作出決策。
環境包含 6,886 個產品、60 個類別及 576 家供應商，其中 152 家涉及五種詐騙類型；全年亦有八次促銷和十項市場事件。客戶需求由固定多因素模型決定，供應商價格、讓步及接受與否則由 Deterministic Negotiation Kernel 計算，LLM 只負責把決策呈現成對話，避免抽樣回覆直接改變交易結果。
排行榜以五次獨立 episode 的年終總資產平均值計算 asset multiplier，同時提供標準差、CSE⁺、BadSpend%、回撤、每次工具呼叫帶來的收入、可控退貨比例、AnchorRatio、工具呼叫次數及破產次數等指標。GPT-5.6 Sol（max）平均資產達 ¥1,431,425，約為本金 14.3 倍；最佳 open-weight 模型 Qwen3.8-Max-Preview 為 ¥416,252，約 4.2 倍，18 個模型之間相差 1,264 倍，90 次運行有 10 次破產。
- 測試場景涵蓋最多約 4,000 個回合，適合研究長期記憶、規劃和工具使用。
- 固定需求與談判機制令模型差異較容易歸因，但未必代表真實市場的隨機性。
- 模型排名同時呈現盈利能力、風險控制、浪費開支及資金壓力。
- 項目資料提到 Python 3.10+，但提供內容沒有列出完整安裝、執行或下載流程。
研究代理人可靠性、商業決策、長期規劃或多步驟工具調用的團隊，會較容易從這套固定世界取得可重複比較的結果；網店經營者則可把它理解成壓力測試，而不是直接預測真實銷售額。它同時比較 proprietary 與 open-weight 模型，但資料未交代各模型的提示詞、工具策略或成本，因此資產排名不應單獨視為整體能力結論。
