鋼琴演奏轉譜（Performance-to-Score Transcription）一直有個難題：演奏帶有彈性速度、踏板與力度，傳統音訊轉譜方案往往把節奏「拉直」，忽略了 rubato 與呼吸。DuET 採用 Note–Frame 雙編碼結構，音符分支處理離散音高與時值，幀分支處理節奏細節，雙方透過雙向交叉注意力交換資訊，譯碼器輪流從兩個表示預測譜面屬性，目標是兼顧音高準確度與演奏的時序彈性。
節拍與強拍（beat 與 downbeat）做聯合監督，模型在學習譜面結構的同時也理解小節脈絡，這對 rubato 段落特別有幫助。位置編碼方面用上 TimeRoPE（相對演奏時間）與 TPRoPE（音程關係），讓模型對時間偏移與音高距離有更好的歸納能力。輸出涵蓋 MusicXML、聆聽用 MIDI 與結構化音符預測，方便樂譜軟體直接開檔。
輸入端支援 MIDI 直入；若要吃音訊，需要加裝音訊前端，流程是 Transkun v2 先把鋼琴錄音轉成 MIDI，再交給 DuET 處理。預訓練權重放在 Hugging Face（Wayne42/DuET），模型約 0.1B 參數，授權為 CC BY-NC 4.0，學術與非商業用途可直接取用。
對音樂技術研究者、數位音樂學（Digital Musicology）團隊、開發自動評分或伴奏系統的人來說，這類保留演奏細節的轉譜工具比純音訊轉譜更貼近真實場景；鋼琴老師想把學生錄音整理成樂譜、作曲人要做編曲分析，也都能直接受惠。Demo 已上架 Hugging Face Spaces，可先試效果再決定是否部署。
重點摘要：
- 雙編碼設計：Note encoder 與 Frame encoder 經雙向交叉注意力融合，兼顧音準與節奏彈性
- 節拍聯合監督：beat 與 downbeat 同時學習，有助處理 rubato
- TimeRoPE + TPRoPE：相對時間與音程關係的位置編碼
- 輸出齊全：MusicXML、聆聽 MIDI 與結構化音符預測，主流樂譜軟體可開
- 權重與 Demo：Hugging Face 提供 Wayne42/DuET 權重與 Spaces Demo，CC BY-NC 4.0 授權