Google翻訳カメラが洋ゲーの画面を一瞬で翻訳するようになっていました

スマートフォンアプリのGoogle翻訳。リアルタイムカメラ翻訳(英語→日本語)機能を日本語未対応の洋ゲーで使ってみたら、ほぼ一瞬と言えるレベルでゲーム画面が翻訳されました。

0.5秒もかからずにゲーム画面を翻訳

iOS/Androidで配信されている無料アプリのGoogle翻訳。リアルタイムカメラ翻訳というものがあり、カメラに表示された映像の言語を翻訳して表示するという機能。画像ではなく、カメラ越しの映像をリアルタイムで翻訳している。カメラをかざすだけで、翻訳された別世界が見える。

 

まずゲーム画面がこれ、

これをカメラ越しに見るとこうなります。

驚きなのは翻訳までの時間。文字通りのほぼ一瞬です。微妙な遅延はありますが、アクションゲームでなければスマホの画面だけを見て翻訳プレイできそうなレベル。文字の色まで再現。

 

現在は日本語未対応の『Stardew Valley』も、

カメラ越しに翻訳される。

 

日本未発売の『Prototype 2』。

文字を重ねて翻訳するのではなく、元文字を消して翻訳した文字のみを表示する。下地が一色ならキレイに表示できますが、下地が複雑な場合はボヤける。

 

以前にも同様の機能を洋ゲーでテストしていますが、当時とは比較にならないレベルで翻訳が素早く快適になっているし、文字を置き換える技術もすごい。翻訳のクオリティ自体は機械翻訳らしい機械翻訳なので、単語はまだしも長文の翻訳は難しい。

 

スマートフォンをモニターの前にアームなどで固定し、わからない英文が表示された時だけそれをチラ見れば良いです。ゲームによってテキストが表示される部分は大体決まっていますので、そこに合わせてスマートフォンを設置する。カメラがブレると上手く認識できないので、しっかり固定する必要があります。

 

ここまでの機能なら、翻訳プレイ用のゲーム環境を作ってみたくなります。スマホが画面をしっかり捉えて、かつゲームプレイの邪魔にならないようにする。モニターとPCが余っているので、上手く組み合わせればゲームプレイしているモニターの隣のモニターにスマホの翻訳画面を表示させて並べてプレイすることも可能かと思います。

 

今回は、かなり驚きました。相変わらずの機械翻訳だったり、小さい文字の認識には苦戦しますが、十分に使えるレベルになっていた。こういう技術が進化していけば、自動翻訳テレビも可能になりそうですね。

 

Google翻訳は無料アプリですので、スマホ・タブレットをお持ちの方は、是非お試しあれ。技術に驚けると思います。翻訳のスピードも凄いですが、まるでゲーム内の文字のように置き換えられているのも驚き。