GOP(Goodness of Pronunciation)とは? 文単位のスコアだけでは足りない理由
GOPによる採点の仕組み、音ごとのスコアが文単位のスコアでは分からないことを教えてくれる理由、そしてGOPが今も苦手にしている4つのこと。
結論
GOPはGoodness of Pronunciationの略で、フレーズ全体ではなく、その中の音をひとつずつ採点する方法です。 Silke WittとSteve Youngが2000年に発表したもので、語学アプリで出会う発音フィードバックの大半は今もこれを土台にしています。
実際に違ってくるのは、結果をどう使えるかという点です。文の点数68は「もう一度やってみて」としか言いません。音ごとの点数は、leave の母音が live の母音になっていたと教えてくれます。そこまで分かれば、何を練習すべきかも決まります。
スコアはどう作られるか
3つのステップで、どれも不思議なものではありません。
1. アラインメント(整列)。 システムは、あなたが何を言おうとしたかをすでに知っています。フレーズを選んだのも入力したのもあなただからです。そのテキストを使って録音を区切り、想定される音ごとにひとつの区間を割り当てます。これは強制アラインメントと呼ばれます。何を言ったかを当てにいくのではなく、想定された各音があなたの音声のどこで起きたかを探しにいく処理です。
2. 比較。 各区間について、母語話者の音声で訓練された音響モデルが2つの問いを立てます。この音声は、ここに来るはずだった音にどれだけ近いか。そして、いちばん似ている音(それが何であれ)にどれだけ近いか。この2つの答えの差がスコアになります。
3. 集約。 音のスコアが単語のスコアにまとめられ、単語のスコアがフレーズのスコアにまとめられます。ほとんどのアプリはこの3つ目しか見せません。情報が失われるのはそこです。
原論文は事後確率の言葉でこれを定式化しています。ある音素のスコアは、音声が与えられたときの想定音素の対数確率を、区間長で正規化したものです。原典に当たりたい場合はPDFが公開されています。
文ごとに数字ひとつでは足りない理由
2人が I think this is the third one を録音して、どちらも68点だったとします。
1人目はすべての音をきれいに出したのに急ぎすぎたため、区間の境目が乱れて全体的にスコアが下がりました。2人目は think、this、third を2種類のTHではなく /t/ と /d/ で出し、それ以外は問題ありませんでした。
この2つの問題は、正反対の対処を必要とします。1人目は速度を落とすべきで、2人目は無声 /θ/と有声 /ð/に取り組むべきです。68という数字はこの2つを区別しませんし、「もう一度やってみて」という助言も区別しません。
これが、発音練習を「学習のない反復」に変えてしまう欠陥です。繰り返すと数字が少し動くのに、どの変化が動かしたのかは最後まで分かりません。
音ごとのスコアが得意なこと
落ちた単語を特定する。 音のレベルでスコアがあれば、アプリはいま言った文の中の特定の単語を指し示し、そこが落ちたと伝えられます。これは実際に引けるレバーです。
一貫した置き換えを見つける。 同じ置き換えが1週間のあいだに10個の別々の単語で出てくるなら、それは1時間かける価値のあるパターンです。文ごとのスコアはパターンを見せられません。細部をしまっておく場所がないからです。
うっかりと癖を切り分ける。 10回中9回きちんと出せる音は、足を引っ張っている原因ではありません。一度も正しく出せていない音が原因です。
速いこと。 モデルが走ってしまえば、比較は算術です。サーバーも待ち時間も要らないので、自分の口が何をしたかを覚えているうちに結果が返ってきます。
GOPが苦手にしている4つのこと
正直な限界です。何も疑わずに信じるスコアは、スコアがないより悪いからです。
通じやすさそのものは測っていない。 測っているのは母語話者の音声モデルからの距離です。両者には相関がありますが同じものではなく、本当に重要な基準は聞き手が苦労なく追えるかどうかです。聞き取りやすさとアクセントを参照してください。
正当な変異を減点する。 英語には標準的な変種がいくつもあります。おもに1つの変種で訓練されたモデルは、他の変種を低く出します。自分の周りの人が言うとおりに言っている単語でスコアに否定されたなら、間違っているのはたいていスコアのほうです。
録音条件に敏感。 背景ノイズ、遠いマイク、風邪、小さめの声。どれも発音が何も変わっていないのにスコアを下げます。日をまたいで比べたいなら、同じ条件で録音してください。
目標を知っている必要がある。 GOPは想定テキストに対して音声を採点します。何を言おうとしたのか誰も知らない自由発話は採点できません。会話をそのまま採点するアプリは別のことをしていて、たいていもっと緩い判定です。
音ごとのスコアに振り回されない使い方
判決ではなく手がかりとして扱ってください。役に立つループは短いものです。フレーズを録音し、どの単語が落ちたかを見て、それについてひとつだけ問いを立て、ひとつだけ変えて、もう一度録音する。ある単語が別々の文で3回続けて落ちたなら信じてよい。1つの録音で1回落ちただけなら無視してよい。
Phonemaは、行動できる単位である単語のレベルでこれを見せます。信号があるのは音のレベルなのでエンジンは音で動きますが、画面に出るのは「言おうとした文の中で、はっきり出なかった単語」です。この方法の長い版は英語の発音を自分で確認する方法にあります。
よくある質問
音声技術でいうGOPとは何の略ですか? GOPはGoodness of Pronunciationの略で、Silke WittとSteve Youngが2000年に発表した採点手法です。フレーズ全体をまとめて採点するのではなく、その中の音をひとつずつ別々に評価します。
GOPのスコアはどう計算されるのですか? システムはまず、そのフレーズに含まれるはずの音に沿って録音を区切り、次に各区間の音声が「本来あるべき音」にどれだけ近いかと「いちばん似ている音」にどれだけ近いかを比べます。
文ごとのスコアが1つだけでは、なぜ足りないのですか? まったく違う原因で2人が同じ文スコアになることがあり、その数字だけからはどちらも何を変えればよいか分かりません。
発音スコアは「通じるかどうか」を教えてくれますか? 教えてくれません。スコアが測るのは自分の音声がモデルの想定にどれだけ近いかであり、通じやすさは聞き手が苦労なく追えるかどうかで測られます。