『Google Goggles』 画像検索~ゴーグルの先には新たな情報の発見~

2010年08月23日 14:05 by みろいど
図1.Google Goggles 起動画面

図1.Google Goggles 起動画面

「Google Goggles」というアプリをご紹介します。みなさんは「ネットで検索」って、もう当たり前になっていますよね?スマートフォンで検索をすることもあると思いますが、文字の入力って少し面倒じゃありませんか?そんなとき、このアプリは使えそうです。


このアプリ、簡単にどんなアプリか?といいますと、Android端末のカメラで撮影した写真を使って、様々な情報を検索してくれる、というものです。


チュートリアルを読んでみる

アプリをインストールして、起動すると、初回はチュートリアルが始まる様になっています。まだ、日本語に対応していない(図2左)のですが、それでも、なかなかどうして、十分に使えます。


図2.Google Goggles Tutorial1

図2.Google Goggles Tutorial1


さて、チュートリアルを見て行きましょう!図2左、「続行」を押すと図2中央、右が交互に表示されます。Use Pictures to search the web 「写真をつかってWebサーチします」ってことです。


図3.Google Goggles Tutorial2

図3.Google Goggles Tutorial2


続いて、図2中央、左で「Accept」を押すと図3左に進みます。図3左は、本、DVD、ランドマーク、ロゴ、連絡先、絵画、商業、製品、バーコード、文字、などの写真を撮ってみてください、という説明。ここで、「Continue」をタップすると、図3中央へ。でも、動物や家具、衣服とかはうまく行きません、ということです。図3中央の下の再生マークを押すと、図3右の画面になり、Youtubeにアップされているチュートリアル映像を見ることができます。


図4.Google Goggles Tutorial3

図4.Google Goggles Tutorial3


次に、Google Gogglesが最新バージョンになって、翻訳との連携ができる様になったお知らせが出ます(図4左)。さらに「Continue」を押すと、これが最後のページとなり、サーチした結果の履歴を残すか否かの選択を促されます。後で、撮影した写真を見ることができますが、注釈としてこのアプリの改善をするための情報としても使われる、となっています。


アプリを起動

ここで、起動後のメニューなど簡単にご紹介しますと


図5.メインメニュー

図5.メインメニュー


図5左は、HT-03Aを縦にして起動し、メニューを表示させたところです。メニューは横になっています。図5左でHELPを押すと図5中央の画面となり、更にそこのHELPをタップすると、図5右の様に、Google Gogglesの使い方に説明が出てきます(英語)。また、「Show Tutorial」を選ぶと、初期起動の説明(図1~4)をまた見ることができます。


さて、いよいよ使ってみましょう!

ってことですが…とりあえず、お酒の好きなみろいどとしては、まず、こんなことをしてみました。冷蔵庫から…とある商品を取り出し、「カシャ」っと…


図6.Google Goggles ラベルを検索1

図6.Google Goggles ラベルを検索1



図5右の使い方のところを読むと書いてあるのですが、サーチする部分をフォーカスすることで、良い検索結果が得られます。(図6左の右下のマークをタップすると枠が現われ、タップしながらフォーカスしたいところを当てはめます)。ということで、ラベルの部分だけをフォーカスしてカメラマークのシャッターを押しますと、図6中央の様な画面になりフォーカスした部分を解析し始めます。縦に、青いラインが出て、それが左から右へスキャンする様に動きます。解析+検索が終わると、図6右の結果が出ます。見事に銘柄を検出して、関連するWebサイトのリンクが表示されています。


図7.Google Goggles ラベルを検索2

図7.Google Goggles ラベルを検索2


さて、次に以前お店でビンの写真はとったけど、これなんだっけ?っていうのを調べるのにも使えました。取った写真をPCに表示して、それを撮影。出ましたよ!素晴らしい!


図8.Google Goggles ラベル検索3

図8.Google Goggles ラベル検索3


リンクを辿ると、その銘柄のページへ・・・・これで、何を飲んだのか確認できます!


翻訳機能を試してみる

さて、続いてはこのバージョンからできる様になった翻訳です。


図9.Google Goggles 翻訳1

図9.Google Goggles 翻訳1


図9は、Google GogglesのHELPをパソコンに表示して、それを撮影、解析しているところです。ラベル検索をしたのと同様に、解析したい部分をフォーカス撮影することが、よい結果を得られるコツです。


図10.Google Goggles 翻訳2

図10.Google Goggles 翻訳2


さて、解析が終わると、図10の左の様に、文字として認識して「Translate」というボタンが現れます。そして、それを押すと、図10右の様にいわゆるOCR(※)処理がされテキストとして表示されます。そして、図10右の中央の右側「English」となっているところを「Japanese」に選択できますので、それを実行すると


図11.Google Goggles 翻訳3

図11.Google Goggles 翻訳3


こんな感じで、翻訳することができます。基本的には、OCR(※)の結果がうまく行かなくては翻訳もできませんので、写真をうまく撮影する必要はありそうです。(一部、意味不明の文字が図11には出ています)。しかし、すごいですね!


※OCRとは、撮影した文字の形状から、その文字を識別し、コンピュータ上で扱える文字データへと変換する仕組みのことです。


続いて、翻訳の続きとしてQRコードを読んでみました。


図12.Google Goggles バーコードを読んでみた1

図12.Google Goggles バーコードを読んでみた1


これは、andronaviのアプリレビューの画面です。前回書いたみろいどの記事の右上に配置している、マーケットへのリンクのためのQRコードです。わざと、他の文字も入る様に撮影してみましたが・・・素晴らしい、ちゃんと見つけてくれました。


図13.Google Goggles バーコードを読んでみた2

図13.Google Goggles バーコードを読んでみた2


ほら、この通り「まちぴったん」が見つかりました


画像認識の精度がすごい!

さて、このGoogle Goggles、画像認識でも、かなり高度な技術が使われていると思われます。対象画像の認識とその画像の解析、画像のフットプリントを的確に照合してくれるようです。図14をご覧ください。これは、Web上で探してきたWal Martの写真です。(図14左)


図14..Google Goggles 画像検索1

図14.Google Goggles 画像検索1


文字が入らない様に、駐車場の部分だけ切り取ってサーチしてみます(図14右)


図15.Google Goggles 画像検索2

図15.Google Goggles 画像検索2


図15左では、本当にただの車だけをスキャンしています。すると、出ました(図15右)。


図16.Google Goggles 画像検索3

図16.Google Goggles 画像検索3


図15右の検索結果から、画像をタップすると、図16左の様に画像だけがポップアップ表示され、更に「View full size」を選ぶと画像だけ(図16右)が表示されます。なんと、同じ写真ではないですか…これは、つまりインターネット上の写真の照合をしているだけ、にも感じてしまいますが…しかし、よくもまぁ探し出せるな、というところでもあります。


そこで、ちょっと意地悪をしてみました。みろいどは、何処かで、「画像照合は、回転画像に弱いんだよね」っていうのを耳にしていたので、こんなことしてみました。


図17.Google Goggles 画像検索4

図17.Google Goggles 画像検索4


図17左、お判りになるでしょうか?斜め45度くらいにして撮ってみました。しかも、図17右を見てください。切り取りサイズも小さく、これでは人間でも何だかわからなくなるくらいです。ところが!図16と同じものを探し当てたんですねーーーーーーすごーーーい!


なら、もしかして、本当に撮った写真だとダメなんじゃない?って思うでしょ?(ちょっとしつこい…) ところが…


図18.Google Goggles ネットにない写真も検索

図18.Google Goggles ネットにない写真も検索


図18左は、昨年一緒に仕事をさせて頂いた、米国の会社の方が旅行に行った時に、多分車上から撮った、ゴールデン・ゲート・ブリッジの写真を送ってくれたものです。これを、検索したところ、なんと見つかるではありませんか!(図18右)すごいです。単純に写真の「データ」の特徴や類似性を照合しているだけではなく、被写体の特徴までも照合できる様です。


屋外でも、やってみました!

ここまできたら、本当の本物はどうか?ということで、恒例の「やってみました」シリーズです。取材のための出張費が出ないので、身近なところで…動画をごらんください


YouTube Preview Image


浅草、雷門に行って実際に写真を撮って、検索してみたところです。見事うまく検索できています。


図19.Google Goggles 雷門、撮ってきました1

図19.Google Goggles 雷門、撮ってきました1


検索結果は、Historyを残すように設定しておくと、後で見ることができて便利。図19は、浅草に行く、下調べから始まって、実際に撮影してきた画像履歴です。以下、図19の番号で説明しますと、まず、1の「雷門」はちゃんと情報として検索できるのか?浅草に行ってみたはいいが、もともと検索できないのでは、お話になりません。ということで、ネットで見つけた写真でまず下調べしました。すると…


図20.Google Goggles 雷門撮ってきました2

図20.Google Goggles 雷門撮ってきました2


図20の左の結果でました。続いて、実際に取った2の本物の検索結果は、図20右。微妙に検索できた写真と結果が違います。続いて3の「宝蔵門」


図21.Google Goggles 雷門撮ってきました3

図21.Google Goggles 雷門撮ってきました3


図21左、「似た画像」として画像はきちっと検索できています。次に、4の「五重塔」も図21右の様に検索できました。続いて5の浅草寺前の「浅草寺小舟町大提」は検索できず…


図22.Google Goggles 雷門撮ってきました4

図22.Google Goggles 雷門撮ってきました4


図22左の様な結果に、6、7、9、10の宝蔵門の「仁王像」、「観音、勢至菩薩の金銅坐像」のいずれも検索できませんでした。観音様は検索できるかな?と思っていたのですがダメでした。9の検索結果として、似た画像が図22右の様に出てきました。背景を含めた色合いと形から似ていると判断している感じです。


図23.Google Goggles 雷門撮ってきました5

図23.Google Goggles 雷門撮ってきました5


図23は、図19の8の画像で、仁王像の前の説明書き(英語)を写真に撮って翻訳してみました。OCRのミスなどで、おもしろい翻訳になっています。某番組の○耳アワー、みたいな、おもしろゴーグルアワー、なんて集めたらおもしろいかも…


失敗例もありました

さて、ここまでわりとちゃんと検索できた例ばかりご紹介しましたが…やはり、認識がうまくできないものもあります。


図24.Google Goggles いろいろやってみました

図24.Google Goggles いろいろやってみました


図24の上の方から…先にご紹介した「ゴールデン・ゲート・ブリッジ」の写真を送ってくれた方が撮った、NAPAの葡萄畑や葡萄を検索しましたが、ダメでした。また、お酒のラベルも必ず検索できるものではない様で、図24の「びっぷる」(わかりますよね…)の左2つの画像のラベルは見つけられませんでした。


また、「びっぷる」下とその下左二つ隣は、いずれもレインボーブリッジですが、「びっぷる」下の画像は、見事レインボーブリッジと検索できましたが、もう片方の写真の結果は、東京タワーでした。(わずかに写っているといえば、写っていますが…)


また、花類は特徴のあるものでもダメでしたし、バドミントンのシャトルも認識できず、PCのマウスは、マイクロソフトのロゴを拾って、マイクロソフトを検索結果として表示しました。


その他の機能について

さて、最後にその他の機能についてご紹介して〆とします。


図25.Google Goggles Nearby Places

図25.Google Goggles Nearby Places


図25左ですが、左下の方に「レインボーブ…」と出ていますが、これは何か?といいますと、GPSや地磁気センサーを使った、カメラを向けた方向に何があるか?を示してくれる機能です。


本当は、野外でやってみた写真をご紹介したかったのですが、うまく写真が取れないのと、HT-03Aの問題かもしれませんが、写す方向と実際の場所がうまく表示されませんでした。図25は、みろいどのデスクでやっていますが、実は方向はそれなりに合っています。この先にレインボーブリッジがあるんですねー。また、図25左の右下の数字が17と出ているのは、検索できたランドマーク類が17ある、という意味です。これをタッチすると、その全てのリストが現れ、図25右の様に検索結果にたどり着くことができます。


図26.Google Goggles 写真のシェア

図26.Google Goggles 写真のシェア


写真を撮影して検索が実行された後、メニューボタンを押すと図26左の様に、メニューが現れます。そのメニュー右上の「Share Photo」を選ぶと、インストールされているアプリの中で、画像の入力インターフェースのあるアプリが表示され、例えばTwitter(図26右)でシェアをすることができる様になっています。


ただ、注意しなくてはいけないのは、シェアできるのは、撮影した直後だけで、Historyからはできません。また、シェアするアプリを選択することで、SDメモリーのデジカメフォルダーに写真がコピーされるので、とりあえずそこまでの操作をしておけば、写真を保存することができます。

<総括>

このアプリは、流石Google!というアプリの一つだと思います。情報検索が容易にできて、普段の生活だけでなく、旅先での記念画像とその情報の参照など使いこなすととても楽しいアプリだと思います。今後の日本語対応であるとか、データベースの充実が楽しみです。

一点、改良して欲しいと思うのが、撮った画像は、基本的に保存してほしい点。旅先での写真撮影+情報検索という流れで使用できるといいと思いました。

Google Goggles
Google Inc. Google Goggles 無料

『Google Goggles』 画像検索~ゴーグルの先には新たな情報の発見~

上のQRコードを読み取ってAndroid端末でダウンロード

無料QRコードアプリ