FLARToolKit事例集：実験的デモから企業プロモーションまで

今月号の記事

本誌2009年2月号の記事「FLARToolKit：FlashとWebカメラで拡張現実」は、群を抜いたアクセス数を獲得し、「FLARToolKit」の注目の高さを実感しました。今回は、FLARToolKit記事第2弾として、さまざまな利用事例を紹介します。まだ利用され始めたばかりですが、紹介する事例はどれも、新たな表現／コミュニケーション／プロモーションの可能性を感じさせてくれます。ぜひ、チェックしてください。

記事作成協力：さくーしゃ

拡張現実とは

まずは、あらためて拡張現実（AR：Augmented Reality）について説明しておきましょう。簡単に言うと、現実環境の映像上にリアルタイムで電子情報を付加する技術のことです。そして拡張現実は、情報コミュニケーションツール、ゲームなどのエンターテインメント商品、企業プロモーションなど、さまざまな分野で利用されています。

セカイカメラ

頓智（株）が開発したiPhone用情報コミュニケーションツール。セカイカメラ越しに街並みを見ると、そこに関連づけられた情報が表示されます。ユーザは、さまざまなロケーションやターゲットに情報を貼り付けることができ、それをユーザ同士で共有できるようになっています。

セカイカメラを入手したいと心待ちにしているユーザーさんも多いと思います。暖かくなる頃にリリース、と以前うかがっておりました。「あたたかい頃というお話でしたが、そろそろ相当暖かくなりましたよね～、頓智さん？」

その他の拡張現実利用事例

電脳フィギュア ARis (アリス)
芸者東京エンターテインメント（株）が開発・販売しているエンターテインメントソフトウェア（税込9800円）。パソコンのWebカメラ、電脳キューブと電脳スティックを使って、アリスと遊ぶことができます。

THE EYE OF JUDGMENT
PLAYSTATION 3用に2007年に発売された3Dカードゲーム。専用カメラ「PLAYSTATION　Eye」の前に設置した3×3のグリッド上に専用カードを配置すると、テレビ画面上ではクリーチャーが出現し、バトルを繰り広げます。
動画「Eye Of Judgement」

gofindit.net
Fordの新車「Ka」キャンペーンの一環として行われた「3D new Ka」。街中にマーカーが設置され、専用アプリをダウンロードした携帯電話でそのマーカーを映すと、3DのKaが表示されるというもの。Flickr「3D QR Code Stickers」やYouTube「gofindit.net」も使って、上手く展開しています。

BMW Z4 AR PaintBrush
BMWのZ4のプロモーション。テレビでは、Z4が真っ白いキャンバスにタイヤでペインティングしていくCMが放送されています。サイトではマーカーをプリントアウトでき、Webカメラに映すとZ4が登場し、ユーザはZ4を操作してCMと同じようにペインティングできるというもの。

Flashプラットフォームにおける拡張現実

拡張現実を実現する技術はいろいろとありますが、Flashもその1つです。Flashプラットフォームにおける拡張現実の利用例としては、古くはFlash 8の頃にBitmapデータ関連のActionScriptが充実したことで、Webカメラを使った拡張現実的インタラクティブコンテンツ（映像上で叩くフリをして演奏する楽器など）がありました。

そして、FLARToolKitが登場し、
　・マーカーを使い、位置と方向の検知精度が向上
　・3Dライブラリをサポートし、より空間的な演出が可能
となったことで、より空間的な拡張現実コンテンツが作りやすくなり、いっきに注目を集めています。FLARToolKitの使い方については、「FLARToolKit：FlashとWebカメラで拡張現実」をご覧ください。

※2月号の記事では、「FLARToolKitを利用する場合は、ライセンスの関係上、ソースコードの公開が必要」とありますが、2月16日にARToolKitの開発元のARToolworks,Inc.からFLARToolKitとNyARToolkit向けの商用ライセンスが発表され、この商用ライセンスを利用すればソースコードの公開は必須ではなくなりました。

FLARToolKit利用事例

FLARToolKitが登場して間もないですが、個人の実験的な作品だけでなく、すでに企業のプロモーションサイトやサービスとして利用されています。

GE | Plug Into the Smart Grid

GEが手掛けるエコマジネーション（環境関連ソリューション）を伝えるサイト。そのソリューションを閲覧者の手元で実感してもらうために、拡張現実コンテンツが用意されています。制作したのはNorth KingdomとGoodby Silverstein & Partnersで、オブジェクトの作り込みやアニメーションも精度が高く、マイクを組み合わせてオブジェクトを動かせるという面白い仕掛けもあります。このサイトをきっかけに、FLARToolKitの名が世界に知れ渡ったといっても過言ではないでしょう。

EDGE：
ARに対して、どのような魅力を感じていますか？例えばさくーしゃさんのFLARToolKitの花火のデモとかを見たときにどのようなインスピレーションを得ましたか？

North Kingdom:
ARという技術自体は以前からあります。例えばE3。基調講演にてSony PlayStation 2がEye Toy-cameraを利用したARデモを行いました。さくーしゃさんのFLARToolKitはARをオンライン上で利用可能にしました、これは多くのユーザーにARの門戸を開いたということで素晴らしいと考えます。それと同時にさくーしゃさんの作品自体もARの新たな一面を紹介しており、刺激になります。

EDGE:
このアプリケーションの構成要素、また制作プロセスを教えてください(プロトタイプ部分、R&D(研究開発)、3D技術など)

North Kingdom:
プロジェクトのスケジュールがタイトだったので、R&D(研究開発)には2-3週間ほどしか掛けられませんでした。我々はFLARToolKitライブラリを【入手し】パフォーマンステストを実施しました。

また、R&D期間中に以下の2件についてもじっくり検証しました。タービンとソーラーのモデリングとアニメーション。そして"ハッチ"を作ることと、マーカーの背後にある世界の表現。我々は別の技術と組み合わせて実施することを考えました。

我々はいくつかの3Dエンジンを検証しました。最終的には多くのファイルフォーマットをサポートするPaperVision3Dの採用を決めました。ただ自分達でもアニメーションやサウンドシステム部分を書き直しもしましたけどね。

North Kingdom :: North Kingdom創設者　Roger Stighäll とチーム

BOW cARd

ボストーク（株）が提供する「名刺交換」をテーマにしたコミュニケーションサービス。サイト上でアバターを編集し、カラーコード付きカード(名刺）を印刷します。そのカラーコードをWebカメラで映すと、アバターが登場します。複数の名刺を一度に認識でき、アバター同士でコミュニケーションをとります。Twitterのつぶやきも表示できます。マーカーの検出部分は独自のエンジンを使用して、マーカーの姿勢行列を求める部分のみにFLARToolKitを利用しているようです。

Augmented Reality Drum Kit

Jon Reiling氏が作成した複数のマーカーを使ったドラム。FLARToolKitの処理負担はそれほど軽くないため、マルチマーカーはなかなか使いどころが難しいのですが、こういう形で単なるコントローラーとしてなら使いやすいでしょう。

PaperTweet3d: Augmented Reality T-shirts

同じくJon Reiling氏が作成した作品。マーカーを T シャツに印刷して、そこに自分のTwitterの発言がフキダシで表示されます。

"The augmented reality drum kit" は思いがけず出来た作品です。今ではみんな知っていることかもしれませんが、その当時FLARToolKitが、「マーカーの向き」だけじゃなくって、「マーカーが表示されているかされていないか」も認識できるとは知らず、発見した時には神の啓示のように感じました。そして、たまたま音楽を聴いてリズムを取っていたので『お、マーカーが消えた際に、音を出すのは簡単じゃない？』と思いついたわけです。

"Twitter Tee"についても実験の結果、偶然できたと言っても過言ではありません。ちょうどTシャツに埋め込む固有のマーカーを考えていたときに、FLARToolKitに出会いました。
ユーザー名やアカウント情報を表示する際に特別なマーカーをひとつひとつ作るのではなく、1つの FLARToolKit のマーカーを用意し、従来の画像処理の方法で取り出すような仕組みにしました。ただ、このマーカーには FLARToolKit には無視されるぐらいのレベルで個別の情報が入っています。

もともとはQRコードを考えていたのですが、読み込みやすいシンプルな2Dバーコード(8キャラクタ、読み込み可能)にしました。バーコードは FLARToolKit が認識するときに無視されるように暗いグレーにしました。マーカーからビットマップデータを抽出するにはpositional data(位置データ)を利用しました。ユーザーネームを抽出するためのグレー読み込み際のコードはより気をくばりました。我々の取り組み特徴は、バーコードを一度読んでしまえばOKというところです。毎回バーコードをデコードせずに情報が表示できます。

一旦プロトタイプを作ってしまえば、あとは、Twitter- Tee はすんなりと出来ました。シンプル、簡潔なコード、そしてフィジカルメタファー、「吹きだし」の追加。すべてをプロトタイプで検証した後は、アイロンペーパーと、無地のTシャツを買ってきて、いくつかのパターンを考えるだけの作業でした！

記事協力 : Squidder

その他のFLARToolKit利用事例

Doritos Sweet Chili
店頭で販売しているお菓子の「Doritos」の袋にマーカーが印刷されており、それをWebサイトでWebカメラに映すと、Doritosのモンスターキャラクターが登場します。それをSNSのorkutで利用できます。

Wormhole
Papervision3D開発メンバーのSeb Lee-Delisle氏の作品。カメラ入力画像をオブジェクトのテクスチャに使って、「空間のねじれ」みたいな表現となっています。

Augmented Reality Demo
FlashとUnity3Dというゲーム開発環境を組み合わせたデモ。Unity3Dはプラグインなので別途インストール作業が必要なものの、OpenGLを使って高速に3D描画ができ、
「FLARToolKitを使ってマーカーの姿勢を計算 → JavaScriptでその値をUnity3Dに渡す → 受け取った値を基にUnity3D内のオブジェクトを動かす」
という仕組みで、Flashではとうてい動かせない複雑なオブジェクトも扱えます。このデモでは、厳密にいうと拡張現実としてではなく、マーカーをコントローラー代わりに使っています。

以上のように、FLARToolKitを使ってさまざまなコンテンツを作成することができます。アイデア次第で、FLARToolKitの可能性は無限に広がります。みなさんもぜひ試してみてください。