歌絵：歌詞の印象に合う画像検索システムの提案 10764056 西原 誠（灘本研究室） あらまし：歌詞から器物，動植物，自然現象，及びそれらのイメージ形容語を抽出し，その 歌詞の印象に合う配色を持つ各々の画像を検索し表示するシステムである「歌絵」を提案す る．これによりこれまで聞いたことのない曲でも曲のイメージを連想することができ，選曲 の目安となる． 1. はじめに CD やレコードなど音楽ディスクのジャケッ トアートは楽曲の内容を元に描かれており，予 備知識がなくても選曲の目安とすることができ る．また，近年音楽メディアのデジタル化が進 み，楽曲を PC に取り込んで利用するようになっ た．これにより楽曲の取り扱いが音楽ディスク 単位から 1 曲単位に変わり，欲しい曲だけ購入 し，聴きたい曲だけ再生して必要な曲だけ保存 するようになった．しかしながら，ジャケット アートは音楽ディスクごとに 1 枚のイメージの ままである．ジャケットアートは音楽ディスク の楽曲全てを通してイメージしたものや，タイ トル曲をイメージしたものが多い為，1 曲単位で は選曲の目安にすることが困難である．そこで 本研究では，歌詞の印象に合う画像検索システ ム「歌絵」を提案する．歌絵は，歌詞から器物， 動植物，自然現象，及びそれらの印象を表すイ メージ形容語を抽出し，その歌詞の印象に合う 配色を持つ各々の画像を検索し表示するシステ ムである．歌絵システムのフローを図１に示す． 2. 歌詞の印象に合う画像の検索 歌詞から曲を連想させるために， まず歌詞か ら器物，動植物，自然現象を抽出する．そして， それら抽出した単語のイメージ形容語を取得す る．取得したイメージ形容語から 3 色配色を決 定し，その色に最も近い器物，動植物，自然現 象の各々の画像検索を行い提示する． 2.1. 歌詞から器物，動植物，自然現象の抽出 歌詞から器物，動植物，自然現象を抽出する 為に，日本語形態素解析システム JUMAN[1]を用 いる．JUMAN は，形態素解析を行うと共に全 22 種類の意味カテゴリ情報を名詞に付与する． そこで，本研究では JUMAN が判定した名詞の 意味カテゴリの中から，器物，動植物，自然現 象に該当する単語を抽出し，それらを画像検索 クエリとする．表 1 に器物，動植物，自然現象 の例を示す． 表 1. カテゴリ分類 2.2. イメージ形容語 歌詞の印象を示すイメージ形容語として，小 林ら [2] の提案する言語イメージスケールのイメ ージ形容語を用いる．言語イメージスケールは 人々が色に抱く共通したイメージを的確に表現 する形容詞で表し（イメージ形容語），色との結 びつきを研究してスケール化したものである． しかしながら，実際の歌詞では言語イメージス ケールに掲載されていない単語が多数あるため， シソーラスを用いて，言語イメージスケールに 対応していない単語のうち，イメージ形容語の 類語もその類似しているイメージ形容語とし分 類する．表 2 にイメージ形容語の例を示す． 表 2. イメージ形容語 図１. システムフロー 2.3. 3 色配色 配色イメージスケール [2] には言語イメージス ケールに対応する，イメージの特徴を簡潔にと らえやすい 3 色が配色されており，感性を情報 化するシステムとして様々な分野で活用されて いる． 今回は研究の第一歩として，イメージを 代表する 180 語のイメージ形容語の内から，そ れらの集団をイメージで代表する 72 語[3]を用い る． 抽出したイメージ語に対応する 3 色配色を， 配色イメージスケールから決定する．図 2 にイ メージ形容語と対応する配色を示す． 図 2. 3 色配色 2.4. 色類似度計算 画像検索クエリの中から器物，動植物，自然 現象それぞれを一つずつランダムで選択し，オ ンライン写真アルバム Flickr[4]を用いて画像検 索を行い，提示画像候補 50 件を取得する．この 50 件の画像の色と歌詞から抽出したイメージ形 容語の 3 色配色を比較し，最も類似する色を持 つ画像を提示画像とする．この時，色の類似度 計 算 は ， 以 下 に 示 す よ う に Histogram Intersection[5]H(I,M)を用いる． ここで，I は掲示画像候補のカラーヒストグラム を， M は 3 色配色のカラーヒストグラムを示し， n は色数を示す． 3. 評価実験・考察 歌絵システムの有用性を図る為に，被験者 7 名による評価実験を行った．知っている曲 20 曲， 知らない曲 20 曲に対して，本システムで歌詞か ら抽出した掲示画像，画像検索クエリ，イメー ジ形容語が歌詞に合っているか回答を得る実験 を行った．その結果を表 3,4 に示す． 表 3. 知っている曲 120 曲（20 曲×7 名） (曲) 画像 画像検索クエリ イメージ形容語 YES 64 82 46 NO 76 58 94 画像 画像検索クエリ イメージ形容語 YES 76 83 66 NO 64 57 74 実験結果より，知っている曲，知らない曲の どちらの場合でも，画像検索クエリでは良い結 果が得られたた．これにより，印象を持ってい ない場合であっても，器物，動植物，自然現象 の分類は有用性があるといえる．しかしながら， 知っている曲に対するイメージ形容語では，あ まり良い結果が得られなかった．理由としては， イメージ形容語のシソーラスをそのまま用いた ために歌詞中から正しいイメージ形容語が得ら れなかったことが考えられる．そこで，今後の 課題として，イメージ形容語のシソーラスを形 態素解析の辞書に登録して活用形にも対応する 必要がある．その他にも精度の落ちた理由とし ては，Flickr に投稿されている画像のタグが適 切でないものや，歌詞に対する形態素解析の精 度などが挙げられる為，カテゴリ分類の際に不 要な単語を除去することで，より精度が上がる と考えられる． 4. おわりに 本研究では，音楽メディアのデジタル化によ る，楽曲の取り扱いの変化により，1 曲単位では 選曲の目安にすることが難しくなった音楽ディ スクのジャケットアートに代わるものとして， 楽曲の印象に合う画像を選定して知らない楽曲 であってもイメージを連想できるよう，歌詞に 注目し，歌詞から器物，動植物，自然現象，及 びそれらのイメージ形容語を抽出し，その歌詞 の印象に合う配色を持つ各々の画像を検索し表 示するシステムである「歌絵」を提案した． 文 献 [1] 黒橋禎夫，河原大輔 『日本語形態素解析システム JUMAN version6.0』， <http://nlp.kuee.kyoto-u.ac.jp/nl-resource/ju man.html>平成 21 年 9 月 [2] 小林重順，㈱日本カラーデザイン研究所 『カラーイメージスケール改訂版』講談社 2007 年 9 月． [3] 小林重順，㈱日本カラーデザイン研究所 『カラーシステム』講談社 2006 年 4 月． [4] 『Flickr』< http://www.flickr.com/> [5] Swain, M. J. and Ballard, D. H.: Color Indexing 表 4. 知らない曲 120 曲（20 曲×7 名） （曲） (PDF), International Journal of Computer Vision, 7(1), pp.11-32, 1991
© Copyright 2024 Paperzz
![(詳細版)をみる[PDF:215KB]](http://s3.paperzz.com/store/data/005452046_1-e7c0f2c014399605c8afcb4396e9701c-250x500.png)
