InferNews

當你想用 Large Language Models（LLMs）去估計某個群體的收入、意見分布或問卷答案，最麻煩唔係模型有冇答，而係同一批人用不同條件拆開再合併之後，結果會唔會前後一致。statistical_self_consistency 針對的正是呢個問題：它屬於研究實驗型程式庫，用二元 conditioning tree 把人群逐層分割，向模型索取各節點估計，再用 law of total probability 重建整體分布，檢查模型輸出有幾接近真正「條件機率」應有的表現。

項目的技術重點唔係再訓練一個新模型，而係替現有 LLM 加上一套 reference-free 的自我檢查方法。它一邊比較重建後的 aggregate 與直接 marginal estimate 是否一致，一邊再用 American Community Survey（ACS）、Global Opinion QA 同 World Values Survey（WVS）的人類統計資料做 alignment 對照。呢個取向同一般只睇單題準確率或 benchmark 分數的做法唔同，因為它更關心模型輸出在統計層面有冇內在矛盾。

資料與執行方式也反映出它偏向研究用途。README 已交代實驗分佈在 src/experiments_acs/、src/experiments_global_opinion_qa/ 同 src/experiments_wvs/，ACS 與 WVS 亦有對應 data loader；WVS 需要自行從官方網站下載 SPSS 檔案並放到指定資料夾，另有 secrets/secret_config.yaml 儲存 API keys。原始資料沒有提供一鍵部署、公開模型下載或產品化介面，較合理的理解是：你會用它重跑論文實驗、檢查提示設計下的估計穩定性，或者把同類方法接到自己的 LLM 評測流程。

• 用 binary conditioning trees 檢查 LLM 估計能否在分割與聚合後保持一致
• 涵蓋 ACS、Global Opinion QA、WVS 三類任務，包含收入估計、跨國意見題與問卷分布
• 同時做 self-consistency checks 與 human data alignment，唔只看單次回答
• 依賴外部資料與 API keys，較接近研究驗證流程，未見即裝即用的產品包裝

受益最大的會是做 LLM evaluation、computational social science、survey estimation 或 prompt-based inference 的研究者與團隊。它未有在目前資料中列出完整性能數字，但方法定位相當清楚：不是追求更花巧的生成能力，而是量度模型在條件推斷場景下有幾可信。相關模型名稱在現有資訊中未被具體列出，只能確認此項目面向一般 LLM 實驗，而非綁定單一模型家族。

GitHub