長篇 mRNA 過往容易因約 1K 的上下文限制而被截斷，令 5′ UTR、CDS 和 3′ UTR 無法放在同一個模型視野內。RiboSpan 是一個 RNA foundation model，實際處理的是完整長鏈 RNA 的聯合表示與下游建模問題。
項目採用 1.61B 參數的雙向 Transformer，每層都使用 dense self-attention，並以每個核苷酸一個 token 的方式保留位置對齊資訊。RiboSpan-10K 原生以最多 10,240 nt 的長度預訓練，不依賴推理階段延長上下文；訓練資料包括 6,760 萬條 RNA 序列，合共 857 億個核苷酸，來源涵蓋 RNAcentral、Ensembl 和 Ensembl Genomes。
- 單核苷酸 tokenization，保留高解析度序列位置
- Bidirectional Transformer 可同時讀取上游、下游及遠距離資訊
- RiboSpan-10K 原生支援 10,240 nt 長上下文
- 不加 task-specific head 或 fine-tuning，frozen representation 在評測中達到 state-of-the-art，長 RNA 尤其突出
- 以 40% masking 繼續預訓練，可提升高比例遮罩下的重建能力，同時保留 15% masked language modeling（MLM）訓練建立的 backbone 表示
研究者可從 Hugging Face 載入預訓練 RIBOSPAN checkpoint，再以 Python 整合序列表示、重建或其他 RNA 分析流程；checkpoint 會自動下載並快取，亦可改用本地路徑。模型規模和 dense attention 帶來較高的記憶體及運算成本，長度超過 10,240 nt 的轉錄本仍需另行切分或設計處理策略。
RiboSpan 適合研究 RNA 功能、長轉錄本表示和生物資訊模型的團隊，尤其方便先固定 backbone、再測試下游任務的人員。相較只處理約 1K 上下文的 dense RNA encoder，它保留完整轉錄本關係；代價是 1.61B 參數令本地推理和微調門檻更高，而模型權重亦採用非商業授權，商業項目需要先核對限制。