概要
See-Through Captionsは、ろう・難聴者が聴者とより豊かなコミュニケーションを行うために開発された、透明ディスプレイ上にリアルタイムに字幕を表示するシステムです。ろう・難聴者は相手の表情や仕草を見ながら字幕を読めるようになり、既存の字幕表示手法では欠落していた身体情報も活用しながら聴者と会話することが可能となります。
経緯
我々開発チームには、耳が聴こえないメンバーがいます。彼と一緒に過ごし、研究活動を行う中で、彼とのコミュニケーションをいかに充実させるか、ということは常日頃の重要な課題でした。 彼が研究室のメンバーになった当初、研究室のゼミにどうやって参加するかが問題となりました。初めは全てのやりとりをメッセージアプリ越しにテキストで行っていましたが、入力の負担も大きかったため、次第に音声入力に頼るようになります。音声入力を使う場合は、自動音声認識技術を活用し、彼に話しかける人がマイクに音声を入力してテキスト化するという流れでした。こうした方法をいくつか試し、ようやくゼミでの実施方法が定着してきた頃、今度は新型コロナウイルスの流行に巻き込まれ、ゼミは全てオンラインで実施されるようになってしまいます。 初期のオンラインゼミでは、そもそもオンライン会議のツール上に音声を字幕に変換する機能が備わっていなかったため、そうした補完技術の開発から行う必要がありました。本プロジェクトの出発点はそこにあります。オンラインゼミで活用できる音声字幕化システムの開発を行い、さらに開発したシステムの応用例として、対面でのコミュニケーション支援システムへと発展していきました。
機能
See-Through Captionsは、透明ディスプレイ上にリアルタイム音声認識によってテキスト化された字幕が表示されるシステムです。コア機能としては自動音声認識機能と、マイク越しに入力された音声を字幕化・表示する機能があります。加えて、コミュニケーションの質を向上させるためには、字幕の見せ方が重要になります。そこで、表示デバイスには透明ディスプレイを採用しました。これにより、ろう・難聴者と聴者の双方から字幕結果を確認することができ、特に聴者は発話内容と字幕結果の齟齬がないかを確認することができるようになりました。さらに、こうした字幕は個々人で読みやすさが異なるため、デザインを可変にすることが望まれます。本システムでは、文字サイズやフォントの変更、振り仮名の有無の指定といった制御ができるようになっており、これらの操作を行うためのユーザーインターフェースも提供されています。そして、本システムは設置型と持ち運び型の２タイプが開発されています。設置型は聴者とろう・難聴者の１対１のコミュニケーションを想定した作りとなっており、両者の間に設置して使用することが想定されています。また、持ち運び型については、聴者が透明ディスプレイを持ち運びながら字幕表示を行うシステムとなっています。
開発過程
本システムの開発過程は主に、以下の３段階に分けることができます。 【1. Web上で使用可能なオンライン字幕生成/表示システムの開発】 オンライン会議におけるろう・難聴者の音声情報へのアクセシビリティ向上のために開発された、Webブラウザ上で動作するオンライン字幕生成/表示システムです。本システムは、研究室に所属するろう者の学生とオンラインゼミでどのようにコミュニケーションを取るかという課題に取り組む中で開発されたものであり、その後のSee-Through Captionsの根幹となっていきます。 【2. １対１コミュニケーションを想定した設置型See-Through Captionsの開発】 対面コミュニケーションにおけるろう・難聴者と聴者間のコミュニケーションの質を上げるためには、相手の表情や仕草を見ながら音声情報にアクセス可能にすることが重要です。透明ディスプレイを活用したSee-Through Captionsはこの点をクリアしています。本システムは、つくば市の住民説明会やつくば市長の会見、さらには日本科学未来館での実証実験、と実用場面における試験導入が既に幾度か行われており、現場での使用を通じたフィードバックに基づいて、現在も改良作業が行われています。 【3. 科学館・博物館におけるガイドツアーでの使用を想定した持ち運び型See-Through Captionsの開発】 設置型See-Through Captionsの開発後、日本科学未来館での実証実験に向けた準備を進める中で、「未来館のガイドツアーに応用できないか？」という提案をいただきました。これを受けて、我々は小型サイズの透明ディスプレイを用いた持ち運び可能なSee-Through Captionsの開発を行いました。このシステムは、透明ディスプレイを使用者（ガイド）が手で持ちながら使用するものとなっています。本システムは設置型同様、既に日本科学未来館で実証実験が行われており、実際にろう・難聴者の方へガイドツアーを提供してきました。ガイドツアーは全体的に好評を博した一方で、表示可能な文字数の少なさや文字の視認性への不満なども意見として受けており、こうした問題点の改善に向けて今も開発に取り組んでいます。
差別化
ろう・難聴者の音声情報へのアクセシビリティ向上は重要な社会課題の１つであり、様々な対応策がこれまでにも提案されてきました。具体的には、筆談・口話・ジェスチャー・スマートフォンの音声認識アプリ・ARデバイスの音声認識アプリ、などです。 従来手法としてはまず、筆談・口話・ジェスチャーが存在してきました。これらの手法の問題点としては、筆談には情報伝達に時間・労力がかかること、口話・ジェスチャーでは相手に内容が正確に伝わったかどうかの確認が難しいこと、が挙げられます。See-Through Captionsでは、音声を字幕化して表示することで相手への情報伝達の齟齬を防ぎ、さらに聴者からの入力が発話のみで済むため手軽に使えるものとなっています。 次に、技術を活用したコミュニケーション手法についてです。スマートフォンの音声認識アプリを使う方法は、開発者である我々も日常的に使用する手段の１つではありますが、音声認識結果を確認するためにスマートフォンに目線が釘付けとなり、相手の表情・ボディランゲージを見落としてしまうという問題があります。一方で、ARデバイスの音声認識アプリを使った場合、ろう・難聴者は音声認識結果と相手の表情・ボディランゲージを同時に見ることができるようになりますが、聴者は音声認識結果を見ることができないため、誤認識によるコミュニケーションミスを未然に防ぐことが難しくなります。See-Through Captionsはこうした問題を解決することができるため、スマートフォンやARデバイスによる手法に対して、コミュニケーションの質という点で優位性を発揮することができます。
将来の計画
我々がこれまでに取り組んできた活動・実証実験を通じて、See-Through Captionsが実現可能な、そして社会から期待される将来像を思い描くことができます。 まず、設置型See-Through Captionsは受付やレジといった誰もが必要に応じて使用する場所への導入が可能であり、ろう・難聴者が感じる日々の不便が解消されることが期待されます。また、コミュニケーションの質の向上に寄与できるため、ろう・難聴者が働く職場に導入することで、職場の同僚との日常的なコミュニケーションやミーティングへの参加の促進が期待できます。 次に、持ち運び型See-Through Captionsは、実証実験で行ったようなガイドツアーへの応用が期待されます。小中高といった長い学習期間において、社会科見学のような見聞を広げる体験はとても重要であり、科学館・博物館などが公益のための施設としての役割を果たす上で、アクセシビリティの高いツアーを提供することには大きな意義があります。本システムを活用することで、ろう学校の団体ツアーなどを筆頭に、ろう・難聴児達の学習機会増加に寄与できると期待されます。 このように、日常生活から就労環境、さらには学習体験と多岐に渡ってSee-Through Captionsは展開可能なシステムであり、ろう・難聴者が得られる体験価値を大きく向上させる可能性を秘めたプロジェクトとなっています。
このページを次の場所で共有する