1. ホーム
  2. 【ICTレポート】第15回 NICT (国立研究開発法人 情報通信研究機構)開発の聴障者支援アプリ 「こえとら」・「SpeechCanvas」

【ICTレポート】第15回 NICT (国立研究開発法人 情報通信研究機構)開発の聴障者支援アプリ 「こえとら」・「SpeechCanvas」

音声認識技術と音声合成技術を活用して、聴覚に障がいのある方と健聴者との円滑なコミュニケーションをサポート。

聴覚に障がいのある人(以下、聴障者)と健聴者が、文字と音声で会話できるアプリ「こえとら」  
聴覚に障がいのある人(以下、聴障者)と健聴者が、文字と音声で会話できるアプリ「こえとら」
*クリックすると大きな画像が開きます。

聴障者にとって、健聴者とのコミュニケーションの手段は、おもに手話や筆談となっています。しかし、健聴者においては手話を使える人が少なく、手話を使えない相手とは手話通訳者を介してやり取りする必要があります。しかも、中途失聴者の中には手話を使える人が少ないという現実もあります。また、筆談の場合は、やりとりが煩雑なため、健聴者とのコミュニケーションがスムーズに進められないことも多々あるようです。一方で、スマートフォンやタブレット端末が日常生活に定着してきた現在、これらを持ち歩く聴障者が増えてきているのも事実です。
そんな中、NICT(国立研究開発法人 情報通信研究機構)では、音声認識と音声合成の技術を応用し、聴障者が手話などによるコミュニケーションがとれない健聴者との間で、モバイル機器を活用し、文字と音声を互いに変換し合うことで、円滑なコミュニケーションができるよう支援する聴障者支援アプリ「こえとら」を開発。技術移転先の株式会社フィートによりサービスが提供されています。

音声から文字、文字から音声への変換により、聴覚/発声機能を代替する「こえとら」  
音声から文字、文字から音声への変換により、聴覚/発声機能を代替する「こえとら」
*クリックすると大きな画像が開きます。

NICTでは、これまで聴障者の観点からアプリを開発・公開してきましたが、実証実験などを進める中で、聴障者に対して情報伝達が的確にできずに困っている健聴者がたくさんいることがわかってきました。公的機関の窓口や企業内での情報伝達の際に、しゃべった言葉がその場ですぐに文字になれば、煩雑さは軽減されますし、相手の表情を確認しながらコミュニケーションできるため、行き違いも減るものと考えられます。これらを踏まえ、健聴者の音声の文字化を効率良く行えるようにすることを重視したアプリ「SpeechCanvas」の開発も行い、無償公開しています。
今回のICTレポートでは、「こえとら」「SpeechCanvas」の開発担当者であるNICTの先進的音声翻訳研究開発推進センター 総合システム開発室 室長の葦苅豊さんと、同センター企画室長の内元清貴さんに、開発の経緯や両システムのポイントなどをお伺いしました。

NICTの内元清貴さん(左)と葦苅豊さん(右)  
NICTの内元清貴さん(左)と葦苅豊さん(右)
*クリックすると大きな画像が開きます。

すべては、熊本ろう学校・山田先生からの
1通のメールからはじまった

「こえとら」開発のきっかけになったのは、「VoiceTra(ボイストラ)」(※1)というアプリケーション。2011年11月、話した音声を文字に変換するとともに、その日本語を6カ国語に翻訳し、音声に変換するというスマートフォン向け多言語音声翻訳アプリである「VoiceTra」を提供していたNICTに1通のメールが届きました。メールの主は、ICTを活用して聴障者の子どもたちのコミュニケーション活性化に努めている熊本ろう学校の山田京子先生でした。そのメールには、「『VoiceTra』を使ってみたら日本語の音声認識性能がとても高いのを実感しました。ぜひ、“翻訳しないモード”を作ってもらえないでしょうか。それができると聴障者と健聴者とのコミュニケーションに役立つはずです」としたためられていました。
「これまでは無意識のうちに健常者向けのシステムばかりを研究開発してきましたが、考えてみれば、音声合成は口や声の代わりになるし、音声認識は耳の代わりになります。障がいのある人向けにもなるんですね」と内元さん。
「実は、翻訳アプリから翻訳機能を削除するというのは技術者として本末転倒なのではないか、ということもあって、一度はお断りしたんですよ。でも、音声認識と音声合成の技術が、聴障者の方々のお役に立てるのなら技術者冥利に尽きるのではないか、と考え直して、開発に着手することにしました」と葦苅さん。
このように、山田先生からの1通のメールがきっかけとなって「こえとら」の開発プロジェクトが始まったのでした。

※1「VoiceTra」:現在は、16カ国語の音声入力、28カ国語のテキスト入力、14カ国語の音声出力の対応が可能に。詳しくは下記URLにて。
  http://voicetra.nict.go.jp/

聴障者の方の役に立てるならと葦苅さん 山田先生のメールは驚きでした、と内元さん
(左)聴障者の方の役に立てるならと葦苅さん
(右)山田先生のメールは驚きでした、と内元さん
*クリックすると大きな画像が開きます。

何度も熊本を訪れて実証実験を繰り返し見つけた課題を克服して開発

葦苅さんと内元さんは、「こえとら」の開発中、何度もNICTユニバーサルコミュニケーション研究所のある京都から熊本まで訪れ、実証実験を繰り返したそうです。これは、“実際に使う人の生の声を聞いて開発しなければ、使えるものにはならない” という思いがあったから。そんな中、いくつかの課題が浮き彫りになってきました。

◆「こえとら」開発への課題と対策

●キーボード入力は遅い
→よく使う文章は、予め登録しておき、すぐに呼び出せるようにする…「定型文機能」
●1台を皆で共有するのは使いにくい
→各自が1台を使って通信できるようにする…「端末間通信機能」
●初めての人には使えない。相手の人が使えない
→画面上のボタンを押すだけの簡単な操作にする。…「簡単操作」
●言葉で答えなくてもよい場合や言葉では不十分あるいは非効率な場合も多い
→文字以外での伝達方法の採用…「地図」「選択アイコン」「手書き入力」
●合成音が聴障者には聞こえない
→再生状態の“見える化”…「再生開始時バイブレーション」「再生中色変化」「音量表示」

これらの課題を一つひとつ克服して生まれたのが、聴障者支援アプリ「こえとら」なのです。実証実験は多岐にわたり、時には実際に店舗に出かけて買い物をし、データを取ることもありました。これら現場での声が、定型文機能の文例や操作ボタンなどに活かされています。
聴障者の人たちの“口や声、耳”となってサポートする「こえとら」は、その結果、たくさんの方々にダウンロードされてきました。実に20000余りもダウンロードされ、利用されています(2015年7月31日現在)。

「こえとら」のダウンロード数と利用状況(累計) ※2015年2月21日まで調べ  
「こえとら」のダウンロード数と利用状況(累計) ※2015年2月21日まで調べ
*クリックすると大きな画像が開きます。

また、報道機関にも取り上げられ、注目されています。実際に利用している人たちからもたくさんの声が届いています。

「こえとら」への反響  
「こえとら」への反響
*クリックすると大きな画像が開きます。

このように、2013年6月の提供開始(当時はiOSのみ対応)以来、「こえとら」は、聴障者と健聴者とを結ぶアプリとして、多くの方々に利用されているのです。

文字と音声を互いに変換し合うことで、聴障者と健聴者との
円滑なコミュニケーションを実現する「こえとら」の実際

ここでは、「こえとら」の具体的な操作とできることをお伝えしたいと思います。

トップ画面 入力画面  
*クリックすると大きな画像が開きます。

◎トップ画面(左)の「会話ボタン」を押すと入力画面(右)に移行します。

◆音声およびキーボードで文字入力し、音声および文字で出力できます。

使い方の例  
*クリックすると大きな画像が開きます。

<画像左より>
◎聴障者が文字入力で質問事項を打ち込みます。
◎健聴者が、入力画面のマイクの形をした「音声で答える」ボタンをタッチして答えを話すと、音声認識が始まります。話した言葉が文字に変換されると同時に、音声合成した声がスピーカーから流れます(不要ならば初期設定でオフにできます)。
◎キーボードの形をした「文字で答える」ボタンをタッチすると、キーボード入力ができます。

◆手書き文字や絵、地図の表示もできます。

使い方の例  
*クリックすると大きな画像が開きます。

◎手のイラストがある「絵・字をかく」ボタンをタッチすると手書きの文字や絵が入力できます。

使い方の例  
*クリックすると大きな画像が開きます。

◎マップのイラストがある「地図で示す」ボタンをタッチすると近隣の地図を呼び出して目的地等を示すことができます。

◆定型文の登録・利用や複数端末をつないでチャットができます(※2)

使い方の例  
*クリックすると大きな画像が開きます。

◎書類のイラストがある「定型文を選ぶ」ボタンをタッチすると場面に応じた定型文を呼び出すことができます。

使い方の例  
*クリックすると大きな画像が開きます。

◎複数の端末をつないで会話(チャット)を楽しむことができます。

※2:チャット機能はiOSのみで使用可。

◆絵文字を使うこともできます。

使い方の例  
*クリックすると大きな画像が開きます。

◎絵文字を使って、感情を伝えたり、文字入力を減らすこともできます。

◆インターネットに接続できない場所でも使うことができます。

使い方の例  
*クリックすると大きな画像が開きます。

◎インターネットに接続できない環境でも音声認識と音声合成ができます(iOSの一部の機種に対応)。

現在「こえとら」は、電気通信分野における障がい者支援を目的として、株式会社NTTドコモ、KDDI株式会社、ソフトバンクモバイル株式会社、西日本電信電話株式会社および東日本電信電話株式会社の協賛により、サーバーの運用保守が行われています。また、2015年1月にNICTから株式会社フィートに技術移転され、各OSのアプリストア(App Store又はGoogle Play)において無償で提供されています。
次に「こえとら」開発を経て、NICTが開発、公開したもうひとつの聴障者への情報伝達支援アプリ「SpeechCanvas」を紹介します。

聴障者と接する機会が多い
健聴者をサポートするアプリ「SpeechCanvas」

音声と筆談で健聴者と聴障者の会話をスムーズにする「SpeechCanvas」  
音声と筆談で健聴者と聴障者の会話をスムーズにする「SpeechCanvas」
*クリックすると大きな画像が開きます。

「こえとら」は、聴障者へのパーソナル・コミュニケーションを支援するアプリです。
しかし、実際の社会生活においては、聴障者と接することが多く、その対応に困っている健聴者……たとえば公共機関の窓口や商業施設のレジなど……がたくさんいらっしゃるということが「こえとら」の実証実験の中でわかってきました。
そこで、NICTでは、これらの困っている健聴者をサポートするアプリの開発を進めてきました。そのひとつが2014年9月からApp Storeで公開されている「SpeechCanvas」。「こえとら」と同様に、音声認識技術を応用した聴障者支援アプリです。
「こえとら」との違いは、対象が健聴者であること。そのため、健聴者が話した言葉を次々と文字に変換し、聴障者がその文字を読みながら筆談できる機能を充実させています。利用形態としては、「こえとら」が聴障者が街中で健聴者と会話するために持ち歩くのに対し、「SpeechCanvas」は聴障者が訪れる公共施設の窓口や商業施設の店頭に設置することを想定しているという違いがあります。やりとりの際に、話した言葉がその場ですぐ文字になれば、煩雑さは軽減されますし、相手の表情を確認しながらコミュニケーションできるため、行き違いも減るものと考えられます。
また、利用方法でも「こえとら」では聴障者がテキスト入力や定型文で質問や依頼をし、それに健聴者が文字や絵、地図など多彩な視覚情報で答えるのに対し、「SpeechCanvas」では健聴者の音声での答えを文字化することに重きを置いているという違いがあります。

聴障者と交流する機会の多い
健聴者のことを、とことん考慮して

「SpeechCanvas」は、健聴者の立場に立って聴覚に障がいのある人とのコミュニケーションをサポートすることをコンセプトにしています。その特長を紹介したいと思います。

画面イメージ  
*クリックすると大きな画像が開きます。

●健聴者が話した言葉を次々に文字変換
連続して話した会話の内容を流れるように次々と文字変換。ひとつの文を話すごとに少し間をあけると、より正しく変換されます。

画面イメージ  
*クリックすると大きな画像が開きます。

●音声と筆談で会話をスムーズに
健聴者が普通に話した言葉を文字変換し聴障者に伝えます。それに聴障者は手書き入力の筆談(文字や絵)で答えます。このような文字を媒介とした会話により、より自然で円滑なコミュニケーションを実現。公共機関の窓口や接客カウンター、学校、店舗などに常時設置しておけば、やりとりがスムーズになります。

画面イメージ  
*クリックすると大きな画像が開きます。

●指を動かすだけで簡単に修正可能
音声認識された文字が間違っていても、指でなぞるだけで簡単に修正できます。
●キーボード入力も可能
音声認識できない単語はキーボードで訂正や入力ができます。

画面イメージ  
*クリックすると大きな画像が開きます。

●写真や画像も表示できる
会話画面上に写真や画像を表示できます。たとえば、メニューの写真などを表示すれば、聴障者は指で示すだけで注文できるので、コミュニケーションがさらにスムーズになります。また、よく使うフレーズや画像を、お気に入り登録できます(対話の履歴からも登録できます)。

画面イメージ  
*クリックすると大きな画像が開きます。

●電波の届かない場所でも使える
サーバーに接続できない環境でも、タブレット内の音声認識モジュールを使用して、話した音声を文字変換することが可能。場所を問わずどこでも使える安心仕様です(一部の機種のみ(※3))。

※3 対応機種:iPadはmini2およびAir以降、iPhoneは6および6 Plus以降。ソフトはiOS7.0.3以降が対象。

さらなる聴障者と健聴者の
円滑なコミュニケーションの支援をめざして

最後に、「こえとら」と「Speech Canvas」の今後の展開について、葦苅さんと内元さんに伺いました。

葦苅:東日本大震災での障がいのある人の死亡者率は、被災地全体の死亡率の2倍にのぼっているというデータがあります。

グラフイメージ  
*クリックすると大きな画像が開きます。

たとえばインターネットにつながる環境でなくても、日常生活から災害時までをサポートできるようなアプリを開発することができたらいいな、と考えています。それには、サーバーと端末内エンジンを組み合わせて使用するハイブリッド化されたものやiPhone上で稼働する音声認識・合成エンジンの開発が必要となるでしょうね。
内元:現在、私たちが集めた音声データのサンプル数は、各言語において1万人、時間ではほぼ1000時間を超えていますが、これらを活用して、私たちの要素技術である音声認識・音声合成技術や音声翻訳力をさらに高めていきたいと考えています。そして、それらの応用で、障がいのある人たちの支援ができたらいいな、と思っています。現在は、聴障者向けに特化していますが、いずれは知的障がいや精神障がい、学習障がいのある人たちにも対応できるアプリを開発していけたらいいな、と考えています。
葦苅:いずれにしても、現在は2つの視点で開発を実施しています。ひとつは聴障者の視点に立った開発。それは、情報送受信の効率化、つまり手段の多様化を意識した開発です。これが「こえとら」ですね。もうひとつが、健聴者の視点に立ったもの。こちらは、音声入力の効率を重視した開発となります。これは「SpeechCanvas」。今後は、それぞれのニーズに対応して進化させるかがポイントになるでしょう。これらを意識しながら、これからも研究・開発に取り組んでいきたいと考えています。

「こえとら」「SpeechCanvas」のニーズ(求められる機能)の違い  
「こえとら」「SpeechCanvas」のニーズ(求められる機能)の違い
*クリックすると大きな画像が開きます。

内元:そのためにも「こえとら」「SpeechCanvas」をどんどんダウンロードしていただいて、一般企業の会議や業務支持、学校での授業の補助、高齢者と同居されているご家族の補助、あるいは交番や役所の窓口などへの設置など地方自治体との連携も深めていきたいものです。

-編集後記-

「こえとら」が公開されて、熊本ろう学校の山田先生は「聴覚障がいのある子どもたちと視覚障がいのある子どもたちが、それぞれ文字と声で交流することができるようになりました。初めての経験で、本当に感動しています」と喜ばれたそうです。
ICTには、これまで“不可能”と考えられていたことを“可能”にするパワーがあるのだと思います。新しい技術の開発には、様々な障壁があるとは思いますが、“世の中に役立つものを”という信念を持って、これからも研究・開発にいそしんでほしい、と切に願います。そして、いつの日か、障がいのあるなしに関わらず、人が人として、等しく幸福に暮らせる社会がつくれたら……と思って止みません。NICTの皆さん、これからもがんばってください。期待しています。

-概要-
国立研究開発法人 情報通信研究機構
国立研究開発法人 情報通信研究機構

英称:National Institute of Information and Communications Technology
略称:NICT
ユニバーサルコミュニケーション研究所:〒619-0289 「けいはんな学研都市」京都府相楽郡精華町光台3-5
TEL:0774-98-6300
ホームページ:http://nict.go.jp/

○「真に人との親和性の高いコミュニケーション技術を創造し、国民生活の利便性の向上や豊かで安心な社会の構築等に貢献することを目指して研究機構が培ってきた音声・言語・知識に係る研究成果や映像・音響に係る研究成果を踏まえて、多言語コミュニケーション、コンテンツ・サービス基盤、超臨場感コミュニケーションの個別研究課題を集結し、それらを融合的にとらえたユニバーサルコミュニケーション技術の研究開発を推進」(公式ホームページより)する研究所。

聴障者支援アプリ 『こえとら』
聴障者支援アプリ 『こえとら』


◇主な特長:
○聴障者が入力した文字を音声で再生するとともに、健聴者が入力した音声を文字で表示することで、両者の円滑なコミュニケーションを支援。
○よく使う文が定型文として登録されており、さらに、利用者自身がよく使う文を追加登録することにより、文字の入力をより簡単に行うことが可能。(絵や地図などを使って情報を提示可能)。
○従来のiOSに加えAndroidにも対応。
○インターネットを介して複数の端末を接続して通信することが可能。

◇アプリの取得方法:
App Store又はGoogle Play™で『こえとら』を検索して、ダウンロードしてください。インストール後の操作方法については、以下のサポートページをご覧ください。

◇サポートページ:http://www.koetra.jp/

◇対応OS:iOS 6.0以上又はAndroid 4.0以上

◇開発元:国立研究開発法人 情報通信研究機構 ユニバーサルコミュニケーション研究所

◇提供元:株式会社フィート
〒169-0072 東京都新宿区大久保1-1-7 高木ビル4F
koetra-support@koetra.jp

聴障者支援アプリ 『SpeechCanvas』
聴障者支援アプリ 『SpeechCanvas』


◇主な特長:
○手書きだけでなく、健聴者が音声入力した文を音声認識し文字で表示することで、両者の円滑なコミュニケーションを支援できる。
○音声認識された文字が間違っていても、指でなぞるだけのシンプルな操作で、すぐに修正できる。修正は、音声でもキーボード入力でも可能。
○画面には、文字だけでなく、予め取り込んだ写真や画像を選択肢として表示することができ、指差しにより意図を把握することができる。
○よく使うフレーズや画像を、お気に入り登録できる(対話履歴からも可能)。
○電波が届かないところでも話した音声を文字に変換することができる。

◇アプリの取得方法:
『SpeechCanvas』を検索して、ダウンロードしてください。インストール後の操作方法については、下記のサポートページを御覧ください。
○サポートページ:http://speechcanvas.nict.go.jp/
○対応機種:iPadシリーズ(iOS7.0.3以降)、iPhone6、iPhone6 Plus

◇開発元:国立研究開発法人 情報通信研究機構 ユニバーサルコミュニケーション研究所

○『こえとら』『SpeechCanvas』お問い合わせ先
  『こえとら』:こえとらサポートチーム koetra-support@koetra.jp
  『SpeechCanvas』:SpeechCanvasサポートチーム
               speechcanvas-support@khn.nict.go.jp

印刷用ページを表示する

NTT西日本通信サービスの使命

バックナンバー

*クリックまたは、エンターキーによりメニューが表示されます