シャープ技報第77号・2000年８月コンパクトな単語音声認識，テキスト音声合成 Small-Sized Speaker-Independent Word Recognition and Text-to-Speech Synthesis 山口耕市 *1 Kouichi Yamaguchi 森尾智一 *1 Tomokazu Morio 八幡洋一郎 *1 Yoichiro Yahata 赤羽俊夫 *2 Toshio Akabane 本田和正 *1 Kazumasa Honda 鶴田彰 *1 Akira Tsuruta 吹田慶子 *1 Keiko Suita 勘座浩幸 *1 Hiroyuki Kanza 神谷伸 *1 Shin Kamiya 要旨 PDA や電話等の組込み用途向けに不特定話者単語音声認識システム，テキスト音声合成システム（TTS）を開発した。音声認識やTTSは多くの計算量とメモリを必要とするため，コンパクト化が重要な課題であった。単語音声認識では高速尤度演算法と２段階の高速照合手法により，高い認識性能を確保しつつコンパクトな構成を可能にした。TTSでは音素別にスペクトル情報をベクトル量子化することで素片辞書を圧縮表現し，さらに人名の読み上げに特化した構成にすることでコンパクトかつ高品質なシステムとした。 We have developed a speaker-independent discrete word recognition system and a text-to-speech synthesizer (TTS) for embedded use such as PDAs and telephones. Speech recognition and TTS require a large amount of computational cost and memory. So we have been trying to cope with these problems. We have successfully decreased the computational cost of the speech recognition system by a fast likelihood calculation method and a fast two-stage search method. We have also successfully compressed the phoneme dictionary of the TTS by a phoneme-wise vector quantization. まえがき近年，多くの音声認識，音声合成関連の商品化が行なわれている。音声認識においては，パソコン用で数万語を認識するシステムと組込み用で数百語までを認識するシステムとがあり，両者の比較を図１に示す。前者の主な用途はディクテーションであり，大語彙認識を実現するためには高速CPU，大容量メモリ，専用 *1 技術本部基盤技術研究所 *2 液晶システムデバイス開発センター SD2-PT 図１音声認識システムの比較 Fig. 1 Comparison between speech recognition systems. マイク，初期登録が必要であり，ユーザや商品への負荷が大きい。一方，後者の主な用途は音声ダイヤラやカーナビ，ゲーム機，リモコンなどであり，小∼中語彙の認識であるがユーザや商品への負荷が小さいという特徴がある。本稿では，PDA や電話等の組込み用途向けに開発した音声認識，テキスト音声合成システムについて報告する。１ . 単語音声認識システム 80 年代半ばから隠れマルコフモデル（ HMM: Hidden Markov Model）と呼ばれる確率統計に基づく音響モデル１）の研究が盛んになり，90 年代に入ると音響モデルの学習用に大規模な音声データベースが整備されてきたことで不特定話者の音声認識性能が飛躍的に向上した２）。組込み用途においてはハードウェア資源が限られているため小∼中語彙の離散単語音声認識となるが，高精度化を実現するためにHMMがよく用いられている。ただし，HMM は膨大な計算量を必要とするため高速化が大きな課題となっており，高速演算手法について活発な研究がなされている。音声認識は騒音等の影響を受け，実使用では認識率 ― 26 ― コンパクトな単語音声認識，テキスト音声合成が大幅に劣化することがあるという問題点があり，実用化の障壁となっていた。実使用における変動要因とその対策（ロバスト性向上）は中心的な研究課題となっている２）。今回，組込み用途向けにHMMを用いてコンパクトな構成ながらロバスト性を向上させた不特定話者音声認識ソフトウェアを開発したので以下に報告する。１・１処理の概要音声ダイヤラーに適用した場合の音声認識システム全体の構成を図２に示す。処理の流れは以下の通りである。マイクから入力された音声はディジタル波形に変換され，音響分析部に入力される。音響分析部ではディジタル波形を短い時間間隔（フレーム）毎に周波数分析し，スペクトルを表すパラメータのベクトル系列に変換する。周波数分析にはLPCメルケプストラムと呼ばれるスペクトルの効率よい表現方法を用いた。尤度（音韻類似度）計算部では入力音声のパラメータベクトルに対し，音響モデル（音韻モデルとも言う。ここでは HMM を採用）を作用させて各音韻毎に尤度を算出する。ここまでは入力音声に対して実時間で処理するため，フレーム同期処理と呼ばれる。ここで，日本語の音韻は 26 種類程度だが，この音声認識システムでは高精度化のため前後環境や話者による声質の差，音韻内の時間変化を考慮しており，同じ「あ」でも数十種類のスペクトルの分布（ここで分布とは音韻の類似度を算出する出力確率密度関数のことである）を持っている。ここでは総分布数は約800とした。したがって800個の分布について尤度を算出する必要がある。大規模なデータを用いて確率・統計に基づき表現した高精度なモデルが現在の音声認識技術の基盤になっている。今回のシステムの音響モデルもあらかじめ数百人規模の話者が発声した音素的にバランスのとれた大規模な音声データを用いて学習されている。HMM には様々なタイプがあるが，高精度化のため音素環境依存型で混合連続分布の出力確率密度関数を持つ HMM １）を採用している。尤度演算は音声認識システムの中で最も大きい処理量となる。そこで後述のように，音響パラメータベクトルを種類別にクラスタリングすることにより，効率良く尤度演算の高速化を図っている。またモデル自体のコンパクト化のため，クラスタリングや音声学的知見により，状態の共有や出力確率密度関数の共有を行なっている。照合部では音韻類似度系列に対し，辞書にあるすべての項目（単語）との照合を行ない，各単語についてスコアを算出する。その結果上位のスコアを得た候補をホスト側に出力する。これが認識結果である。照合処理は CPU への負担を軽減させるためフレーム同期で行なう方法は採らず，ここでは入力音声の語尾が検出された後に行う（後処理と呼ぶ）方式を採用している。照合アルゴリズムには Viterbi サーチが用いられる。Viterbiサーチ自体も処理量は大きいため，辞書にあるすべての単語について逐一 Viterbi サーチを行うと応答時間が遅くなってしまう。そこで後述する２段階サーチによる高速化がなされている。以下に今回開発した高速化・ロバスト化に関連する主な技術項目について述べる。図２不特定話者単語音声認識システム構成 Fig. 2 Speaker-independent discrete word recognition system overview. ― 27 ― シャープ技報第77号・2000年８月図３特徴空間別クラスタリングによる高速尤度演算 Fig. 3 Fast likelihood calculation method by subspace clustering. １・２尤度計算部一般に認識率は音響モデルの精度に依存しており，認識率を上げるには音響モデルを高精度に（規模を大きく）する必要がある。音響モデルの規模が大きくなると尤度演算量が増加する。尤度演算は音声認識システムの中で最も処理量が大きい。したがって尤度演算量をいかに削減するかが高速化の最大の課題となっている。尤度演算の高速化手法には大きく分けて次の３つのアプローチがある。 ①出力確率値をテーブル参照する方法。②一度計算した結果を再利用する方法。③音声認識結果に直接影響する出力確率は精密に，それ以外は粗い近似計算で済ませる方法。ここでは③を採用した。③には平均値ベクトルをあらかじめ木構造にクラスタリングする手法３）などが提案されている。われわれは『特徴空間別クラスタリング』と呼ぶ高速尤度演算法を開発した。処理の流れを図３に示す。入力ベクトルはスペクトル，スペクトル変化量，パワー，パワー変化量の合計４種類の特徴空間から構成され 26 次元からなるベクトルとして表現される。音響パラメータを特徴空間別にクラスタリングすることで，全次元一括でクラスタリングするより，効率良く圧縮できることが実験を通じて検証できている。以下に総分布数が 800 の場合の処理の流れを述べる。（１）まず近似尤度計算部にてあらかじめ特徴空間別に作成された予備選択用分布集合（約 100 個）と入力ベクトルとの尤度を計算し，この尤度を用いて各音韻の近似的な尤度を求める。（２）次に詳細分布選択部にて近似尤度計算部の結果から尤度を詳細に計算する必要のある分布を選択する。通常 20 個程度が選択される。（３）最後に詳細尤度計算部にて各音韻の分布からなる詳細分布集合（約 800 個）のうち詳細分布選択部により選択された分布（約 20 個）について，入力ベクトルとの尤度を計算する。上の例では従来だと800回必要な尤度演算を120回で済ませていることになり，演算回数は 85％削減できており，30MIPS 程度の DSP 上でリアルタイム演算ができる見通しを得た。１・３照合部以下のようにファストマッチ（予備選択）と詳細マッチの２段階に分けたサーチ手法により高速照合を実現している。予備選択漏れを最小限に抑えつつサーチ空間を約 10 分の１に削減し，詳細マッチと組み合わせることで高い認識性能を確保している。（１）ファストマッチ…状態方向では HMM を音素環境独立にして音韻クラス間の誤り傾向を考慮した上で状態を縮退させる。時間軸方向では尤度の時系列を非線形に間引く。これら２方向のサーチ空間削減により，通常の Viterbi サーチに比べ処理量を 1/10 以下に削減している。（２）詳細マッチ…ファストマッチを通過した候補についてのみ通常の Viterbi サーチを行なう。 ― 28 ― コンパクトな単語音声認識，テキスト音声合成１・４音響モデルのロバスト化実使用においては種々の騒音下で発声されたり，様々なマイクが使用されたりする。またいろいろな声の話者が存在する。したがって入力音声は種々の要因で変動する。その変動要因は大きくは次の３つに分類される２）。①空間伝送系（騒音，残響，マイクの位置など），②電気的伝送系（マイクの特性，伝送路歪，電気的雑音），③話者（個人差，発話様式，ロンバード効果など）。通常，音響モデルの学習用データはクリーンな環境でフラットなマイクを用いて収録されている。いわば理想的な条件で作成されている。これに対し，実使用においては上述のように変動するため，入力データと音響モデルとの特性の違い（これをミスマッチと言う）が生じる。このミスマッチが認識率の劣化の原因となっている２）。ここでは実使用における変動要因のうち，主な要素と考えられる①の騒音と②のマイクの周波数特性の違いに対処した。（１）騒音対策従来はスペクトルサブトラクションがよく用いられてきた。定常雑音であっても絶えず変動しているのでその分散まで考慮すべく，最近では PMC 法４）が用いられる。しかし PMC を実時間で作用させるのには計算量が多く，また安定した学習には騒音データがある一定量必要となり，実装上困難が伴う。そこであらかじめ想定しうる種々の騒音データを想定される範囲の SN比で学習用音声データに重畳して音響モデルを学習した。（２）周波数特性の補償マイクや回線特性に由来する伝送特性の歪みについては入力音声を正規化させるケプストラム平均正規化法５）が提案されている。しかし，この方法では話者性や観測した音声データの音韻の出現頻度に依存するので正確な補正はできない。ここではターゲットの伝送特性が既知・固定として，音響モデルの学習の際に学習音声データをターゲットの伝送特性に合わせて周波数特性を補正した。電話のように帯域が狭い伝送経路の場合やスペクトルに大きなピークがあって周波数特性が平坦でない場合，認識率の劣化を抑えることに効果がある。表１尤度演算手法の比較 Table 1 Comparison between two likelihood calculation methods. 手法提案した手法オリジナル認識率（１位） 97.4% 97.8% 尤度演算回数 120回 800回２・１尤度演算比較実験評価音声データはフラットなマイクで収録されている。表１にオリジナルと提案した特徴空間別クラスタリングによる高速尤度演算手法との比較実験結果を記す。評価用音声データは防音室にてフラットなマイクを用いて収録した。話者はすべて学習に用いた話者とは異なる男性 100 名。語彙は日本人の姓のうち，高頻度の 100 単語。提案した手法は認識率がほとんど劣化することなく，尤度演算回数を 15% に削減できている。２・２騒音環境での認識実験ロバスト性を評価するため，騒音環境下での認識実験を行なった。評価用音声データは防音室にてコードレス電話機 CJ-M8 の親機ハンドセットを用いて収録した。話者はすべて学習に用いた話者とは異なる 107 名。語彙は日本人の姓のうち，高頻度の 100 単語。騒音下での評価実験の際は，騒音データにマイクの周波数特性をかけて想定したSN比になるようにレベルを調整して上記評価用音声データに重畳した。評価に用いた騒音データはオフィスとショウ会場であり，学習に用いた騒音データとは異なる。騒音学習用には別途収録した種々の室内騒音データを用いている。騒音対策と周波数特性補正を行なった音響モデルを用いた実験結果を表２に示す。いずれの騒音の場合もクリーンな環境（重畳騒音なし）の場合に対し，認識率の劣化は小さい。学習に種々の騒音を重畳させることにより，学習に用いていない騒音環境下においてもモデルとのミスマッチが抑えられているためと考えられる。表２種々の環境下での認識率 Table 2 Word recognition rates under noisy conditions. ２ . 単語音声認識実験重畳騒音なし開発した手法のコンパクト性とロバスト性を実証するため，単語音声認識実験を通じ尤度演算の計算量の削減度合いと騒音環境下での認識率を測定した。オフィス ― 29 ― ショウ会場想定SN比 42dB 以上約 30dB 約 25dB 約 30dB 約 25dB 認識率（１位） 97.7% 97.0% 96.1% 97.3% 96.8% シャープ技報第77号・2000年８月３ . テキスト音声合成システムテキストから音声信号に変換する技術をテキスト音声合成と呼ぶ。1980 年頃から日本語テキスト音声合成システムが開発され始め６），現在ではパソコンでの Eメールの読み上げや，当社のコードレス電話では電話をかけてきた相手の姓名を発声する「誰どこコール」でも利用されており，応用商品が拡大している。しかしながら，音声合成技術はまだ人間の能力には及ばず，イントネーションが不自然になったり，音質が機械的で不明瞭になったりするという問題があり，高音質を確保しようとすると大量の音声データが必要という課題があった。今回，機器組み込み用途向けに，音声データサイズをコンパクト化した高音質の音声合成ソフトウェアを開発したので報告する。姓・名に対し合成音声を試聴評価し，合成音声の韻律や音質の評価の低い姓・名に対しては，例外韻律辞書，及び例外音声素片辞書にデータを登録し使用することで対処した。例外韻律辞書には，アナウンサーが発声した音声から抽出した韻律データを登録しており，例外音声素片辞書には，主観評価において音質が不充分と判断された単語に対し，該当部分の音声素片データを，別途保有する音声データベース中の他素片（例えば子音がより明瞭なもの）と入れ替えてその単語専用で使用するように登録したものである。図４では「佐藤さんです」と発声する場合を例示しており，「佐藤」の発声に対して例外韻律辞書のデータを使用し，佐藤の「さ」の素片も例外音声素片データを利用する場合を例示している。作成した辞書のエントリー数は，アクセント辞書：約9000（県名や企業名も含む），例外韻律辞書：約500，３・１主な特徴今回開発したソフトウェアは，姓名の発声を主目的にしており，日本語漢字かな混じり文の解析部がない音声合成である。以下に特徴を示す。・姓名に適切なアクセントを自動付与・例外韻律辞書と例外音声素片辞書を備え，自然で明瞭な合成音・データROM：約150KByte，データRAM：32KByte 以下でコンパクトなソフトウェアとして実現以下では，例外韻律辞書と例外音声素片辞書により自然性と音質を改善した点と，音素毎にスペクトル情報をベクトル量子化することで音声素片辞書容量をコンパクト化した点を中心に説明する。３・２システムの構成図４に開発した音声合成システムの概要を示す。入力はアルファベット文字列で記述した発声文字列と韻律（声の長さ，高さ，大きさ）制御数字列から成る。先ずアクセント付与部ではアクセント規則とアクセント辞書により，姓名に適切なアクセント（高く発声する音節位置）が付与される。この規則と辞書は， 2700万件の日本人名データベース中，頻度の高い姓・名から設定している。次に韻律生成部で規則によって韻律を付与した後，音声素片選択部で合成に必要な音声素片データを音声素片辞書（“母音＋子音＋母音” 等の単位で保持）から選択し，音声素片合成部で音素毎の時間長／ピッチ周波数／振幅を制御しながら，音声素片データを滑らかに接続して合成音を作成する。従来は発声される音声の韻律が不自然な場合や，合成音声が不明瞭な場合があった。今回，上記高頻度の ― 30 ― 図４テキスト音声合成システム Fig. 4 Text-to-speech synthesizer. コンパクトな単語音声認識，テキスト音声合成例外音声素片辞書：約 400。基本の音声素片辞書は約 800 の種類を保持している。データサイズは合計で約 150KByte である。３・３音声素片辞書のコンパクト化 PC 用の音声合成の多くは，高音質の合成音を得るために，１話者当たり数MByte程度の音声素片データを保有している。音質を保持し音声素片データをコンパクト化することが装置の小型化にとっては重要である７）。音声符号化分野では，伝送・蓄積容量を削減するために，スペクトル形状を表現する線形予測係数を算出し情報圧縮している８）。テキスト音声合成の場合は音声符号化とは異なり，話者が固定されており，かつ音素名と対応付けてデータが保有されているので，音声素片データを一層圧縮することが可能である。今回，音素毎にスペクトルパターンをベクトル量子化することで音質劣化を抑え，基本の音声素片辞書データを約 50KByte に圧縮した。図５はベクトル量子化されたスペクトルパターンの例で，左側は音素 'i' を 64 パターンにベクトル量子化した内の４個を例示しており，右は音素 'h' について同様に例示している。音素毎にパターンを持つことで 'i'のように似通ったパターンの場合には，効率的に圧縮表現できることが分かる。しかしながら 'h' のように，前後に連接する音素の影響などからスペクトルパターンのバリエーションが大きい音素もある。図６は「本日は」と音声合成した合成音声スペクトルの例で，左から圧縮なし，音素毎に64 パターン，そして 16 パターンのベクトル量子化を行なったものである。16パターンではホルマント構造（スペクトルの山谷）がぼやけ，時間軸方向にも同一のスペクトルが連続しており，聴感的にも歪んだ感じを受ける。音素毎に 64 パターンの符号帳を用いれば聴感上の音質劣化は小さい。音声素片辞書サイズとの兼ね合いで，今回は 64 パターンで表現した。４ . 合成音評価実験図５ベクトル量子化されたスペクトルの例 Fig. 5 Examples of vector quantized spectra. 音質評価の高い対抗他社の合成音声と比べるため，了解度と音質嗜好度の二つの主観比較評価実験を行なった。実験条件と評価結果を表３に示す。了解度・嗜好度ともに，他社の合成音声と比べ良好な結果を得た。表３主観評価実験 Table 3 Subjective sound quality evaluation. 実験１再生方法評価方法評価単語被験者実験２再生方法評価方法図６ベクトル量子化によるスペクトル Fig. 6 Running spectra of vector quantized speech data. 実験結果１.了解度２.嗜好度 ― 31 ― 了解度試験電話機スピーカから，今回開発した合成音と他社合成音をランダム順に再生一回受聴後書き取り日本人の姓頻度上位100（例：佐藤さん） 20名音質嗜好度試験同上。今回開発した合成音と他社合成音をペアにして再生ペア再生のうち良いと思う方を選択（評価単語と被験者は実験１と同じ）他社合成音開発した合成音 91.4％ 95.3％ 27％ 73％シャープ技報第77号・2000年８月むすび開発を推進する。 16bit 固定小数点 DSP で実現できる，コンパクトな不特定話者音声認識・テキスト音声合成ソフトウェアを開発した。音声認識においてはHMMの状態縮退と時間圧縮による高速サーチ手法とパラメータ種類別クラスタリングによる高速尤度演算法により，処理量削減しつつ高い認識性能を確保した。騒音環境下での名前100単語の認識実験において 96% 以上の認識率を得ており、 30MIPSクラスの認識システムとしては良好な性能を達成した。テキスト音声合成においては名前の読み上げに特化して開発することでコンパクトかつ高品質なシステムとした。約 800 の音声素片を備えることで，他社製に比べ，高い明瞭性，了解性を実現した。さらに音素別にスペクトル情報をベクトル量子化することで素片辞書をコンパクトに圧縮表現した。今後，音声ダイヤラ以外の用途（カーナビ，ホームページ呼出し，TV 番組選択／予約，ビデオ画像呼出し，ネットワーク家電制御等）にも展開できるように性能向上をめざす。音声認識においては大語彙化や連続音声の認識，テキスト音声合成においては任意文のより自然な合成とさらなるコンパクト化のための研究謝辞本稿のシステムは IC 開発本部 NW システム開発センターと共同開発の形で開発を行いました。参考文献１）中川聖一， “確率モデルによる音声認識” ，電子情報通信学会，コロナ社（1988） . ２）中川聖一， “音声認識研究の動向” ，電子情報通信学会論文誌， Vol.J83-D-Ⅱ, No.2（2000）. ３） T.Watanabe et al.,“Speech recognition using tree-structured probability density function” , ICSLP94, pp.223-226（1994）. ４） M.J.F.Gales, S.J.Young,“Robust continuous speech recognition using parallel model combination”, IEEE Trans. SAP, Vol.4 （1996）. ５） S.Furui,“Cepstral analysis technique for automatic speaker verification” , IEEE Trans. ASSP, Vol.29, No.2（1981） . ６）佐藤，匂坂他， “日本語テキストからの音声合成” ，電子通信学会全国大会，S6-3（1982. 3） . ７）新井，瀬戸他， “DSP組み込み可能な省メモリ音声合成方式” ，音響学会講演論文集， 2-P-4（1998. 3）. ８）大室，守谷他， “低ビットレートCELPのLSPパラメータ量子化法” ，音響学会講演論文集， 3-8-6（1993. 3）. （２０００年５月１２日受理） ― 32 ―