独立行政法人科学技術振興機構 戦略的創造研究推進事業 CREST 研究領域「デジタルメディア作品の制作を支援する基盤技術」 2005年度採択テーマ 「時系列メディアのデザイン転写技術の開発」研究代表者 片寄 晴弘 （関西学院大学理工学部 教授） 関西学院大学理工学部／産業技術総合研究所／和歌山大学システム工学部／東京大学情報理工学系研究科／京都大学情報科学研究科 http://www.crestmuse.jp/sympo2006/ MIDIデータを楽譜に変換する 武田 晴登† 山本 遼 西本 卓也 小野 順貴 嵯峨山 茂樹 †関西学院大学 （東京大学） MIDI演奏の自動採譜とは？ ■ 楽譜 MIDI演奏の自動採譜 ●用途：シーケンサデータ（カラオケ、着メロ）の作 成， 楽譜浄書、音楽検索 演奏 採譜 ●対象：演奏を記録したMIDI信号 ・音高と発音時刻が既知なので、音符が分かれば 楽譜に変換できる ■ リズム認識では何が問題か？ ● (c) tempo [bpm] ● 0.25 秒の音長の音符は？ 0.25 (秒) = beat beat ??? （拍） - 典型的なリズムパターン - 滑らかなテンポ tempo [bpm] (b) note onset beat 音楽演奏を確率的にモデル化 ●リズム語彙と文法 ??? (秒/拍) × 手掛かりとなるのは (d) time ♪ の長さは？ =120bpmのとき、 0.25 (秒) = 0.5 (秒/拍） × 0.5（拍） (a) tempo [bpm] 演奏MIDI Rhythm Word Network for N-gram Model (N=2) ・ 既存の楽曲の楽譜から 統計的に学習 ●リズム演奏の隠れマルコフモデル ・音長の変化、和音の発音時刻のずれを 確率的に扱う 音長の演奏をモデル化 実演奏の音長の変動 0.16 0.14 ・ 確率文法（N-gramモ デル）によりリズムパ ターンの出現確率を学 習 0.12 0.1 4/4 meter rhythm words 0.08 0.06 0.04 0.02 start end 0 0 ●テンポの変動をモデル化 3/4 meter rhythm words テンポ曲線 ＋ 0.4 0.6 0.8 1 1.2 1.4 1.6 時間［秒］ テンポをモデル化 リズムパターンをモデル化 0.2 確率的 ＝ 変動 観測 瞬時テンポ リズム認識を用いた演奏の楽譜変換 ■ 最も尤もらしいリズムとテンポを推定 演奏者の意図した テンポとリズム 確率的変動 推定 演奏された 音長 ●事後確率を単調増加させる反復推定による収束解 [リズム推定] テンポを固定してリズムを最適化 HMM の Viterbi 探索 [テンポ推定] リズムを固定してテンポを最適化 テンポ曲線をセグメンタル ｋ平均法で最適化 ●リズム正解率による評価 ・１００曲の楽曲から学習し622のリズム単語から なるリズム語彙を用いて81.9%のリズム正解率 ■ 自動採譜システムによる出力結果例 ～ 演奏者が用いた楽譜 ＨＭＭを用いたリズム認識による 楽譜変換の結果 市販ソフト (Ｆｉｎａｌｅ) による 量子化の結果 ～ 1.8 2
© Copyright 2024 Paperzz
