
判斷森林、城市或水體如何變化,不能只看一張整理好的地圖;代理還要選資料、遮雲、統一不同衛星的尺度,再把影像轉成答案。EarthRecord 是一套評測基準,專門測試多模態代理能否從四十年的原始衛星紀錄完成這些分析,並把資料依賴與憑先驗知識猜答分開檢查。

資料涵蓋 56 個地點、1984 至 2026 年的 Landsat、MODIS、VIIRS 和 Sentinel-2 影像,另有輔助圖層。代理在離線環境中使用 Python、shell 和影像檢視器處理單一地點資料;資料只按範圍裁切,數值未經預先整理,參考答案則不會提供給代理。這比直接餵入乾淨影像或預處理結果更貼近分析工作,但也令錯誤可能來自資料處理、跨衛星對齊或判讀本身。
基準共有 238 條問題,分為十類;其中 153 條可由資料計算,73 條詢問地面實況,另有 12 條刻意設計成證據不足。評測十二個代理後,領先系統大多能端到端完成分析,但需要從影像製作地圖的問題仍較弱。另一個警號是,改動一種衛星的資料、而地面狀況保持不變時,正確答案約有一半會跟着改變,顯示部分結果對單一資料來源過度敏感。
- 56 個地點覆蓋多種區域尺度,並串連四種衛星資料。
- 同一問題另設不提供衛星紀錄的閉卷測試,衡量先驗知識能答到多少。
- 22 組衛星資料互換測試及 8 組安慰劑組合,用來檢查答案是否受資料改動影響。
- 資料集、評測程式和十二個代理的結果均已公開,可用於重現比較。
研究團隊、地球觀測分析人員,以及開發資料分析代理的團隊,都可用它檢查代理是否真正讀懂衛星紀錄,而不只是給出合理措辭。它目前是評測基準,不是即裝即用的土地監測服務;使用者需要自行準備執行環境並按項目文件取得資料。評分涵蓋參考答案比對、閉卷控制與衛星資料改動測試,能揭示端到端流程中的脆弱點,但不能取代專家對特定地區的實地核實。