リアルタイム通訳アプリを作ったあと、私はもう一段先のことを考えるようになりました。
翻訳アプリを開くのではなく、スマホに表示される外国語そのものを、その場で日本語にできないか。
たとえばMessengerに外国語のメッセージが届いたとき、文章をコピーして別の翻訳アプリへ貼り付けるのではなく、その画面のまま日本語で読めたら楽です。
Webページでも通知でも同じです。翻訳したい対象は、音声だけではなくスマホ全体に広がっています。
そこで私は、「翻訳アプリをもう一つ作る」という考え方ではなく、他のアプリや画面の上に翻訳機能を重ねる仕組みとして考え始めました。
リアルタイム通訳アプリを実際に形にしたことで、音声だけでなくチャット・Webページ・通知まで、その場で翻訳できる仕組みが必要だと感じるようになりました。
通訳アプリを作ると、音声以外の外国語も気になった
最初に作ったのは、外国語で会話するときに使うリアルタイム通訳アプリでした。
話した内容を認識し、翻訳し、相手に見せたり聞かせたりする。まずはその体験を短時間で形にしました。
ところが、実際に使う場面を考えていくと、翻訳したいのは音声だけではないことに気づきます。
- Messengerに届いた外国語のメッセージ
- 外国語のWebページ
- アプリから届く通知
- 画面上に表示されるメニューや案内
スマホを使っている間に出会う外国語を、その都度別の翻訳アプリへ持っていくのは面倒です。
翻訳アプリを開かず、その場で日本語にできる方が使いやすい
たとえば外国語のメッセージを受け取ったとします。
従来の流れなら、文章をコピーし、翻訳アプリを開き、貼り付けて、翻訳結果を確認します。
必要な操作はできても、毎回これを繰り返すのは手間です。
もしその画面上で日本語表示できれば、翻訳するためにアプリを行き来する必要がありません。
ここで重要なのは、翻訳精度をさらに上げることだけではなく、翻訳が必要になった瞬間に、どれだけ自然に結果を届けられるかだと考えるようになりました。
単独アプリではなく「翻訳レイヤー」として考える
この発想を整理すると、単独の翻訳アプリを作るというより、OSや他のアプリの上に翻訳機能を重ねる考え方に近くなります。
私はこの構想を、便宜上「翻訳レイヤー」と呼んでいます。
つまり、翻訳したいたびに別アプリへ移動するのではなく、今見ている画面の上で翻訳機能が働くイメージです。
この考え方なら、音声通訳だけではなく、チャット、Webページ、通知などへ対象を広げられます。
難しいのは翻訳精度より、文字取得・権限・表示の問題
ただし、この発想は通訳アプリより簡単ではありません。
翻訳そのものより、スマホ上の情報をどう扱うかという別の問題が増えます。
元の構想で考えたのは、たとえば次の点です。
- 画面上の文字をどう取得するか
- 必要な権限をどう扱うか
- 翻訳結果をどこへ表示するか
- 対象アプリごとの違いをどう扱うか
- 利用者の情報をどう守るか
翻訳精度だけ高くても、文字を安全に取得できず、使いやすく表示できなければ実用になりません。
プライバシーや対象アプリごとの差も考える必要がある
スマホ全体の表示を翻訳する構想では、扱う情報の範囲が広くなります。
チャットや通知には、個人的な情報が含まれることがあります。
そのため、どの情報へアクセスするのか、どこまで処理するのか、利用者にどう説明するのかも考える必要があります。
さらに、すべてのアプリが同じ方法で画面情報を扱えるとは限りません。
私はこの段階で、通訳アプリの追加機能として無理に詰め込むのではなく、別のプロジェクトとして切り出して考える方がいいと判断しました。
一つのAIアプリから、次のプロジェクトが見えてくる
今回おもしろかったのは、一つのアプリを作ったことで、その次の課題が見えてきたことです。
最初は「音声を翻訳できれば便利」という発想でした。
実際に形にすると、「文字はどうするのか」「通知はどうするのか」「別アプリを開かず翻訳できないか」という新しい疑問が出てきました。
作る前に考えていた課題と、実際に使う場面から見えてくる課題は違います。
AIで試作品を早く作れるようになると、この「作って初めて見える次の課題」を早い段階で発見できます。
最初の通訳アプリを約30分で形にしたときの考え方は、AIで実用アプリを30分で形にして分かったこと｜先に決めるべきはコードではなく使い方で説明しています。
まとめ：翻訳を「アプリ」ではなく「スマホ全体の機能」として考える
リアルタイム通訳アプリを作ったあと、私は翻訳の対象をスマホ全体へ広げて考えるようになりました。
発想の流れは次のとおりです。
- 音声通訳アプリを作る
- 実際の利用場面を考える
- チャット、Webページ、通知にも外国語があると気づく
- 別アプリへコピーする手間が問題になる
- 画面上でそのまま翻訳する仕組みを考える
私はこの考え方を「翻訳レイヤー」として別プロジェクトに切り出しました。
AIアプリを一つ作ることは、完成品を一つ増やすだけではなく、実際に使うことで次に作るべきものを見つける実験にもなります。
また、最初のWebアプリをスマホのホーム画面から使いやすくした流れは、AIで作ったWebアプリをスマホで使いやすくする｜PWA化してホーム画面に置いた理由で紹介しています。
コメント