中国 中国Web

捜狗(sogou)が読唇識別技術を発表、「読唇」の商業価値とは?

昨年、Googleの研究によって読唇識別は進展しました。この技術は果たしてどのようなことに活用できるのでしょうか?

12月はじめに開催された世界インターネット大会において、捜狗は「読唇識別」技術を発表しました。読唇識別を簡単に説明すると、画像や映像から人の口の形を識別し、その話している内容を文字として書き出すというものです。

海外の開発業界において、2016年Googleとオックスフォード大学にあるディープランニングのプロジェクトチームが共同開発した読唇識別技術が、その年の動画番組の測定において、機械での読唇識別の正確率が46.8%と、プロの読唇術家の12.4%を超える識別率でした。今年3月、データー可視化サービスプロバイダーである海雲数据(hiynn.com)も類似した読唇識別技術を発表しました。

昔であれば、読唇術に対する人々のイメージは、多くは小説のなかに出てくる武侠やスパイの特異スキルだったでしょう。しかし、私たちが機械を用いてこの問題を解決するということは、そこに商業活用するだけの十分な余地があるということを意味しています。企業にとってみれば、喜んでロットでも大規模に活用し、商品化したいところでしょう。では、機械での読唇には果たしてどのような活用価値があるのでしょうか?

36kr.comのインタビューを引き受けて頂いた際に、捜狗音声インタラクティブセンターの技術ディレクターである陳偉氏は次のように述べました。目下、読唇識別を活用するチャンネルは主に2種類あります。ひとつ目は、多くの言葉が使われるチャンネルにおいて、カメラのカバー率はマイクよりも非常に高いにもかかわらず、カメラが捉えた画像データでは今の段階でできるのは簡単な行動の監視だけで、たとえば、セキュリティにおいて、画面のなかの人が何を話しているかを知ることは非常に困難です。しかし、読唇識別技術を使えば、口の動きから大量の情報を得ることができます。

もうひとつに、読唇識別はサポートする技術として音声識別技術の現段階の正確率を上げることができます。捜狗の読唇識別技術は現在公開している口語測定上では50~60%の正確率に至っており、限定された場面であれば90%まで達します。この数字は、現段階の読唇識別技術について言えば、悪くないレベルです。しかし、商業用としてとなると、まだまだレベルが足りていません。仮に各大手メーカーの音声識別の正確率が97%に達したとしても、依然として消費者を完全に満足させることはできないのです。しかしながら、読唇識別は音声識別のサポート技術として一助となり得ます。例えば、97%の音声識別率で残ったあとの3%を埋めることができるのです。

「音声認識の正確率を上げるには、ノイズを減らす必要があります。業界内にはふたつのルートがあり、ひとつはマイク・アレイなど設備の面で音声周波数を増強し、ノイズをブロックする方法です。もうひとつは、”マルチモードデータ”を加える、つまり読唇識別が提供する視覚情報といったものを使うという方法です。」と陳偉氏は説明してくれました。

36kr.comとその他メディアが捜狗読唇識別技術の開発チームをインタビューした内容(ただし、36kr.comの編集により所々省略箇所あり)

質問
マイク・アレイで音声識別の正確率を上げるのと比べて、読唇識別技術で問題解決した方が、技術という面でよりレベルアップするのではありませんか?実際に実用となった場合、カメラを増やすことでコストが増えるという問題に直面するということはないですか?

陳偉氏
私たちが行なっていることは今すぐ実用に移すということではなく、現段階で言えば、私はマイク・アレイの方が読唇に比べて依然として確実なものであると考えています。ノイズの問題解決、実用化の速度で言えば、マイク・シーケンスはすでに実用の段階にあり、読唇の配置は研究開発が一段落ついたばかりで、あとにはまだ音声周波数との結合、さらにノイズを減少させるという仕事が残っています。ですので、このことについては面している時間の長さは同じではなく、できるとしても現段階においてです。しかしながら、読唇は来年にはと考えており、私たちは1年以内に何かしらのプロジェクトで実用化を進められるよう計画を進めています。

ノイズのある環境下では、音声識別の不正確率は3%と言わず、40%にも50%にも、もしくは0%にもなります。このような状況下では「読唇識別」はマイクでの識別よりも頼りになります。例えば音が非常に騒々しい場合、マイク・アレイに設備を付け加えたところでこれらの問題を解決することはできないでしょう。限界があるのです。しかし、読唇はノイズを避け、視覚という方法で問題を解決します。

質問
現在、読唇識別が生活必需品として最も必要とされるチャンネルは何ですか?

陳偉氏
セキュリティには必要でしょう。現在、私たちは多くのエネルギーをこのノイズ問題の解決に費やしています。コストに関しては実のところ、ひとつのカメラを追加したとして、ひとつのマイク・アレイを追加した際のコストほど高くはないのです。

質問
読唇識別がユーザーのプライバシーという側面から制約されることはありますか?

陳偉氏
今はまだその段階には至っていません。私たちはこの技術がどのチャンネルで必要とされるのか、結びつくのかをまだ探しているところです。

質問
「読唇識別」の将来的な活用の展望はどんなものがありますか?

陳偉氏
将来、読唇はセキュリティ、そして身体障害者の支援でも使えるでしょう。初期の馴染みのない映画、以前の映画、つまりチャップリンのような映画には多くの場合に音声がないので、字幕をそこに付けられるのではないでしょうか。新しいものが沢山あるのですが、つまり人の口の動きから言葉を読み取れるかどうか、目下、行っていることはとても限定的です。私たちは、生活必需品というチャンネルのなかに限定しているので、こうした特定の生活必需品のチャンネルのなかに組み込みたいのです。将来的には車載、インテリア、ロボットといったものから読唇がどのように結びつくのかを考えますが、これだけに限定するわけではありません。

質問
限定された場面であれば読唇識別の正確率は90%と言われましたが?

陳偉氏
これは問題ありません。限定された場面、例えば、今私たちに集まりがあったとしましょう、私たちは音声に対して増強を加えます、こうすることで正確率は飛躍的に高くなります。なぜならば私たちは10万語彙(分のデータが)あるので、おそらくバーティカルなチャンネルでの数千語彙のコミュニケーションとは比べ物にならないからです。

例えば、車内で音楽を起動する、この正確率はとても高いです。なぜならば特定の集まりのなかでは、私たちは1000語あまりの命令文があり、そのなかには古体詩、早口言葉も含まれています。これはハードコードの状態ではなく、フレキシブルに操作することができ、さらにはタスクで処理するよう決めることができます。私たちのこの技術は汎用性のある技術であり、限定されたチャンネルだけのものではないのです。

質問
この一連のプロセスにおいて最大の難点はどこですか?

陳偉氏
実のところ、一般化することが最大の難点です。以前のデータはすべてネット上でクロールしたニュース関連の番組でした。参考にしたのはすべて司会者といった方たちで、彼らは標準的なトレーニングを受けた方々ですので、その発音は標準です。しかし、多くの一般的な人の発音は標準ではありません。もし発音が標準的な司会者(の識別正確率)が60%ならば、一般の人の場合は以前の段階であれば20%、30%でした。その後、私たちはこの問題に焦点を当ててたくさんの一般の人からデータを録音・録画し、新たにこれらのデーターを組み込んだのち、一般の人の汎用化という点で多大なレベルアップを図ったのです。

[原文]

「いいね!」して
最新情報をチェック

中国Webマーケティングラボを

中国Webマーケティングラボの更新通知を受取る

更新情報や新着記事を1週間に1通お届けします。
下記のフォームに入力してください。
China market for everyone!

中国向けウェブ・テクノロジーで世界を変える会社 - 株式会社レクサーです。