1-Q-5 トレーニングデータのソフトクラスタリングに基づく不特定話者の音声認識∗ ◎朱発強, 山本一公, 中川聖一 (豊橋技科大) 1 はじめに 3.2 近年、性別・年齢に依存しない多くの不特定話者の音声認識システムが開発されている。これからのシステムの性能を向上させるために話者クラスタリング手法が有効であることが知られている [1, 2, 3, 4]。本稿では学習データのソフトクラスタリング方法を提案する。ソフトクラスタリング手法方を用いてない性別・年齢既知特定話者音声認識結果と比較したところ、認識性能の改善が得られた。 2 学習データとベースライン本論文に使用するデータベースは JNAS、S-JNAS と CIAIR-VCV である。JNAS データベースの話者数は 301 名 (男性 151 名、女性 150 名、20∼60 歳）であり、S-JNAS データベースの話者数は 400 名 (男性 200 名、女性 200 名、6 ０ ∼90 歳) であり、CIAIRVCV データベースの話者数は 288 名（男性 145 名、女性 143 名、6∼12 歳) である。CIAIR-VCV データベースではすべての話者が同じ内容を発声している。ベースラインとして、性別と年齢に基づいて学習データを六種類に分類し、六種類の HMM と GMM を学習した。この六クラスは老人男性と女性、成人男性と女性、子供男性と女性である。コンテクスト独立音響モデルは EM アルゴリズムを用いて学習を行った、また、コンテクスト依存音響モデルはコンテキスト独立音響モデルから MAP 推定を用いて混合重み、遷移確率、平均ベクトルのみを学習した。六種類の HMM を学習する時、老人と成人に対応する音響モデルは同じ方法で学習した。ただし、子供のモデルに関しては、学習データが少量であり、すべての音節がカバーされていないため、初期モデルとして成人の女性のコンテクスト独立音節モデルを用いることで、コンテクスト独立とコンテクスト依存音節モデルを MAP 推定を用いて学習した。認識時は、性別・年齢層が既知な場合と GMM で適切なモデルを選択する方法を用いた。これらの方法をベースラインとした。 3 学習データのソフトクラスタリング学習データを再分類する方法 3.1 ベースラインで使用されるモデルは、話者の特徴と直接一致するとは限らない。たとえば、ある 60 歳の話者の音響の特徴は、40 歳の話者群により近い場合がある。より適切なクラスを得るために、ベースライン手法で作成された GMM を用いて話者の特徴に基づいて学習データを再分類した。その後、六種類の HMM を学習した。 ∗ 6 クラスから２０クラスに増やす方法任意入力話者に近いモデルを作成するために、学習データを 6 クラスから２０クラスに増やした。1 クラス当りの学習データ量が６クラスの時と同量になるように各発話データをオーバーラップを許しながらソフトクラスタリングする。分類方法を以下に示す。 1. 性別、年齢とマイクの種類に基づいた初期 20 クラスのデータを作る。データ量のバランスを考慮して、学習データを分類した。このデータを用いて２０クラスの GMM を学習する。 2. 学習データ不足の解決のためにオーバーラップを許したソフトクラスタリングを行う。オーバーラップの大きさを決めるために三つパラメータを用いた。rs：相対的な尤度；tmin : 最小割り当てクラス数；tmax : 最大割り当てクラス数。オーバーラップに基づいたクラスタリグのアルゴリズムを以下に示す。 I: 学習データの発話文の数；n: 候補割り当てクラスの数.；sc:現在の文と各々の GMM との類似尤度。 (1) For i=1 ∼ I 、n=0; 以下のステップ (2)(3)(4) を実行する。 (2) 現在の文と初期クラスの 20-GMM との尤度を計算し、降順に並べる。 (3) For j=2 ∼ 20 if (sc(1) - sc(j) )< rs, n=n+1; (4) if n < tmin , i 番目の文を最適な tmin 個のクラスに割り当てる; if n > tmax , i 番目の文を最適な tmax 個のクラスに割り当てる; if tmin ≤ n ≤ tmax , i 番目の文を最適な n 個のクラスに割り当てる; 実験的では、rs=0.5、tmin =2、tmax =5 と設定した. 3.3 ２０クラスから３０クラスに増やす方法クラス数を増やす効果を調査するために、30 クラスまで学習データを分類した。用いた方法を以下に示す。 1. 20 クラスの GMM と対応する HMM を用いて学習データの認識尤度を用いて各クラスの平均尤度の悪い方から 10 クラスを選び、この 10 クラスを 20 クラスに分け、合計３０クラスにしてから、収束するまでクラスタリングを繰り返す（Initial 30）。 Speaker-independent speech recognition based on soft-clustering of training data , by Faqiang ZHU Kazamasa YAMAMOTO Seiichi NAKAGAWA (Toyohashi University of Technology) 日本音響学会講演論文集 - 159 - 2010年3月 90 88 86 84 82 80 78 76 74 72 2. Initial ３０クラス GMM を用いてオーバーラップを許しながら 3.2 節の方法でソフトクラスタリングする。クラスタリングしたデータで 30 種類の GMM と HMM を学習する。実験では、rs, tmin , tmax は 0.8, 2 と 8 に設定した。 4 4.1 k nown 実験と結果実験条件実験では、老人男性、老人女性、成人男性、成人女性、子供男性と子供女性の 6 種類のテストデータを使用した。各々の種類のテストデータは、100 文からなる。特徴パラメータは 38 次元（12 次元 MFCC、 ∆、∆∆ と ∆ パワー、∆∆ パワー power）を用いた。 HMM と GMM は、HTK ツールで学習した。 928 個のコンテキスト依存 HMM の各々は４状態、４混合の GMM でブロック型全共分散行列を用いた（共分散行列は、コンテキスト独立と同じのため若干認識率は悪い）。各 GMM は 12 次元の MFCC の 128 個のガウス分布からなる。言語モデルは毎日新聞（75 ケ月）から作成した約２万語の trigram を用いた。 4.2 認識結果不特定話者音声認識システムは各入力発話に対して、GMM により最適な GMM に対応する HMM を用いて認識を行う。話者クラスタリングする時に、入力文の全フレーム、最初の５０フレーム、最初の２０フレームを用いる三種類の実験を行った。比較のためにベースラインで作成した音響モデル（性別・年齢層別の HMM）を用いても認識実験を行った。なお、ソフトクラスタリングは、１発話文ごとの方が、話者ごとよりも良かった。１発話文ごとの認識結果を図 1 と図 2 に示す。この結果より、提案した方法で作成した音響モデルの性能がよいと言える。発話の最初の 20 フレーム（200ms）だけを用いて HMM を選択してもベースラインと比べて認識率の向上が得られた。 85 84 83 %][ 82 yc 81 ar 80 uc 79 Ac 78 77 76 75 all frames 50 frames 20 frames ベースラインベースライン既知未知 Fig. 1 4.3 correct ][% 果結識認 6クラス再分類２０クラス 3０クラス不特定話者の認識結果リスコアリングによる結果次にリスコアリング方法を不特定話者の認識システムに導入した。話者クラスタリングの結果対応する一番良い音響モデルを用いてワンパスサーチアルグリズムで N-Best 候補を求め、話者クラスタリングの結果の３-Best に対応する音響モデルを用いて N-Best 日本音響学会講演論文集 accuracy ベースライン 6 クラス再分類２０クラス２０クラス 3 ０クラス Fig. 2 提案したの不特定話者の認識結果 (all frames) とベースラインの特定話者の認識結果の比較 Table 1 20 クラスの音響モデルのリスコアリング結果 (accuracy %) クラスタリング Known All frames 50 frames 20 frames Base line 79.0 再分類 - 20 クラス - 30 クラス - リスコア - 77.7 79.8 83.4 83.8 84.0 77.4 78.9 82.4 82.6 - 76.6 77.6 81.8 81.8 - をリスコアリングをする。3 つの尤度の和で、一番高い尤度を持つの候補を結果として出す。２０クラスの音響モデルを用いるリスコアリング実験を行った。結果を表 1 に示す。リスコアリングによってさらに認識率の向上が得られた。 5 結論本稿では、学習データをソフトクラスタリングに基づいて 20∼30 クラスの音響モデルを学習した。それらを用いた不特定話者音声認識の認識結果は、性別・年齢層毎に用意した話者依存音響モデルによる音声認識の認識結果よりも改善した。参考文献 [1] S. Matsunaga, Kosaka and S. Sagayama, “Speaker-independent speech recognition based on tree-structured speaker clustering”, in Proc. Computer Speech and Language, Volume 10, pp. 55-74,1996. [2] Ananth Sankar, F. Beaufays, V. Digalakis, and Vassilios Digalakis, “Training data clustering for improved speech recognition”, in Proc. EUROSPEECH,pp.503-506,1995. [3] 西村竜一、中村敬介李晃伸猿渡洋鹿野清宏 ”大人・子供に適応した音声情報案内のためのユーザ自動識別” SLP-49(17) (2003) [4] 小阪哲夫 ”話者クラス音響モデルおよび話者適応を用いた話し言葉音声認識の検討” 電子情報通信学会 SP2008-47 (2008) - 160 - 2010年3月