Twitterで『Bing Translator』アプリを紹介されている方がいて、気になっていたので試してみました。
Windows 8.1で『Bing Translator』のカメラ翻訳機能を使い、洋ゲーをリアルタイム翻訳プレイ。
このために初めてウェブカメラというものを購入。
『Bing Translator』は無料アプリなので、金がかかるのはウェブカメラだけ。Windows 8/RTで既にカメラを持っている人は、すぐ使えますよ。
カメラのセットアップを終え『Bing Translator』を起動してカメラ翻訳機能を使う。
この機能は、ウェブカメラに映った文字をリアルタイムに認識して翻訳した物をオーバーレイ表示する機能。
タップ不要で、画面に映った文字を次々と和訳していく。
Life is Starangeをプレイ。
その画面をウェブカメラ(C525)で撮影し、PC側の『Bing Translator』に映し出される。
メニュー画面を開いて文字が表示されて1.6秒
『Bing Translator』を起動しているPC画面は日本語ローカライズされちゃったのかよという翻訳の表示。
鳥肌が立つレベルの驚きがありました。正直、撮影環境がイマイチなのでウェブカメラに表示されている文字も薄いのですが、これでよく読みとって翻訳してくれたと思います。急いでセットしたので雑な撮影になりましたが、初めて『Bing Translator』を使ってリアルタイム翻訳をした動画をアップしました。
安い撮影環境なので、ウェブカメラの文字が薄く認識が難しかったと思う。もっとゲーム内の文字を見やすくする環境を整えれば、さらに良くなるはず。
文字の背景が無地なら簡単に読みとれると思いますが、ゲームや映画の字幕の場合は映像の上にそのまま文字を置いているので、文字の認識がし辛い部分はあると思う。特に白い映像に白い文字が重なる場合は。ただ、それでも中々の認識っぷりを見せてくれた。
↓このように映像が白っぽい部分は認識失敗して翻訳もぐちゃぐちゃに。ただ、ウェブカメラの性能次第ではクリアできる問題かもしれない。ゲーム画面側は、もっとはっきり文字が見えていますので。
しかもLife is Starangeの場合は、手書き風のフォントであり、文字が揺れている場面も多いので認識難易度は高かったはず。しかししかし、それでも認識できていたところはスゴイ。字に丸みがあるのでLookがCoocだと認識されていたりしますね。
メニュー画面などの短い文章は問題ない程度ですが、長文の会話などはギャグレベルの機械翻訳っぷりでした。
文字認識スピードと翻訳のオーバーレイ表示は現時点でも十分早い。アップした動画の24秒時点で表示されたメニューの文字は、だいだい1.6秒後に翻訳が表示されている。既に実用できるレベルの早さです。安い撮影環境で、Life is Starangeのフォントが少し特殊な事も考えるとスゴイの一言。
モニターを2台並べて見やすくし、ウェブカメラも性能の高い物を使ってリアルタイム翻訳用の環境を整えれば、かなり使えると思いました。ゲームを動かしながら翻訳がオーバーレイ表示されるのは、ちょっと興奮してしまうスゴさでしたね。
これから文字の認識精度、翻訳精度、スピードがさらに高まれば、ほぼ完璧な洋ゲーのリアルタイム翻訳プレイが可能になるはず。
コメント
これは一番期待できるツールじゃないか?
少なくとも試す価値のあるものだと思いました。
文字認識がやはり一番安定するかもしれませんね。