模型能否回答問題，不一定代表它真正學過相關知識。LittleLearner 將語言模型（Language Models，LMs）的預訓練資料限制在美國小學 K–5 課程，建立一個可觀察知識邊界的研究沙盒，讓研究者分辨能力是從資料中獲得，還是只是在提示下被引出。
項目的核心是 LittleCurriculum，一個由 FineWeb-Edu 蒸餾而成、約 880 億個 token 的語料庫。資料經過五階段篩選，並按照 Common Core standards 對齊，明確排除五年級以上教授的概念、事實和詞彙；模型則從零開始訓練，並配備使用相同架構、token 數量和訓練配方的 Unfiltered control，方便作出乾淨比較。
LittleLearner 提供 0.6B、1.3B 和 5B 三種規模，另有 Base、GRPO 及 Chatty 版本。研究測試 scaling、SFT+GRPO post-training 和 in-context learning 後發現，這些方法可以放大課程範圍內的能力，卻未能明顯提升範圍以外的表現，顯示預訓練資料可能設定了有效能力上限。
重點包括：
– 88B-token LittleCurriculum 將知識暴露範圍控制在 K–5 課程
– 三種模型規模均設有匹配的 Unfiltered control
– scaling 可改善課程範圍內表現，外推能力只有限度增加
– SFT+GRPO 和 in-context learning 未能突破知識邊界
– 網頁提供 5B 模型的瀏覽器聊天介面、Dataset 和 Model checkpoints
對研究模型能力來源、知識遷移和 post-training 效果的人，LittleLearner 提供了較容易重現和比較的實驗基礎；對一般使用者而言，瀏覽器內的 live chat 則可直接感受一個受控知識範圍模型的回答方式。
