IT之家 6 月 5 日消息，谷歌 Magenta 團隊昨日（6 月 4 日）發(fā)布 Magenta RealTime 2（MRT2）模型，并同步免費放出樂器應用 Jam 以及 DAW 插件 MRT2。
MRT2 定位是可與用戶“即興合奏”的本地實時音樂模型，共有 2 種規(guī)模，其一是高質量模型 mrt2_base，參數(shù)量為 24 億；其二是高速模型 mrt2_small，參數(shù)量為 2.3 億。
谷歌表示上述兩個版本均針對蘋果 Apple Silicon 芯片優(yōu)化，其中 mrt2_small 可在搭載 M1 及后續(xù)芯片的 Apple 電腦上實時運行。
MRT2 最大變化是“低延遲”。上一代 Magenta RealTime 需要 TPU 或高性能 GPU，控制延遲約 3 秒，且以 2 秒音頻塊為單位響應。
MRT2 改為逐幀生成，每幀 40 毫秒，實際控制延遲約 200 毫秒，較前代降低至 15 分之一。這讓模型對輸入變化的反應明顯更快，更接近真實樂器的演奏體驗。
在控制方式上，MRT2 比前代更完整。它支持文本和音頻風格提示，也支持 MIDI 音符與鼓開關控制。
模型可持續(xù)跟隨音符輸入變化，還能在 Auto-Strum 模式下自動決定撥弦或起音時機；關閉該模式后，用戶還能精確指定音符起始時刻。對于鼓組，系統(tǒng)也支持切換有鼓或無鼓輸出，適合多軌編曲場景。
技術層面，MRT2 仍屬于 Codec Language Model（編解碼器語言模型），基于 SpectroStream 音頻編解碼器處理 48kHz 立體聲音頻，并以 25Hz 幀率生成音頻標記。
交互方面，谷歌還推出 Jam 免費應用，支持用戶輸入想要的音樂風格描述，隨后模型開始生成音樂；用戶還可通過下方鍵盤調整音高。
輸入設備不僅包括鼠標點擊，還支持 MacBook 鍵盤與 MIDI 鍵盤，這讓實時控制更接近傳統(tǒng)電子樂器和數(shù)字編曲工作流。
如果用戶已習慣在成熟編曲環(huán)境中工作，MRT2 插件則提供了接入路徑。借助該插件，創(chuàng)作者可在自己常用的 DAW 中調用 Magenta RealTime 2。
IT之家附上參考地址
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。