［CEDEC 2015］インタラクティブアートがエンターテイメントの世界に進出。2日めの基調講演「Data Art and Entertainment」をレポート

ライゾマティクス 取締役 真鍋大度氏

　2015年8月26日からパシフィコ横浜にて開催されているCEDEC 2015。本稿では，開催2日めに行われた，ライゾマティクス 取締役 真鍋大度氏による基調講演「Data Art and Entertainment」の模様をレポートしよう。

　真鍋氏は，メディアアーティストとしてインタラクティブアートを手がけ，国内外で高い評価を受けている人物。近年では，ポップユニット「Perfume」のステージ演出などが有名だ。
　今回の基調講演では，真鍋氏が2010年より行ってきた数々のプロジェクトについて，コンセプトから実際に用いたデータの詳細，デザインに至るまで解説された。

講演の冒頭では，初のインタラクティブアートと呼ばれるMyron Kruegerの作品を筆頭に，さまざまなインタラクティブアートが紹介された

　真鍋氏は，インタラクティブアートとはメディアアートの1ジャンルであり，1970年代にはすでに存在していたと説明。ゲーム関連では，PlayStation 2の「EyeToy」もインタラクティブアートの仕組みを取り入れているという。
　会場では，真鍋氏自身が手がけた作品が解説と共に紹介されていった。

「Sonic Floor」/「Sony Building」

　「Sonic Floor」は，床に敷き詰められたタイルに音の情報が記録されており，表面の凹凸をステッキでなぞりながら歩くと，センサーがその振動データを察知し，音と光が生成されていくという作品である。また「Sony Building」は，階段にセンサーを設置し，各ステップを踏むと音と光が生成されるというもの。いずれも収集したデータを解析（データマイニング）し，視覚化するなどの二次利用を行ったとのこと。

Sonic Floor

Sony Building

「LoveSong Generator」

　話しかけた言葉をもとに，ラブソングを自動生成する作品。データベースには6万5000曲が登録されており，たとえばマイクに入力した言葉が「夏」だとすると，まずそれが登場する曲を検索し，さらに「愛」や「好き」といった言葉が含まれているかを確認したり，五・七・五のようなリズムを整えたりしながらフレーズを作って歌詞にしていく。

「Traders」

　自動取引のアルゴリズムを作って，株取引のデータを視覚化した作品。当初は，実際に300万円を投資してどうなるかを見る予定だったが，美術館の展示にふさわしくないという理由で仮想の取り引きに置き換えられ，かつ毎日データがリセットされる仕様になったとのことである。また，銘柄を指定すると，ミニゲームを遊べるようなギミックもあるという。

「NHK Professional」

　真鍋氏が，NHKの「プロフェッショナル 仕事の流儀」に出演した際，最後に行ったパフォーマンス。「プロフェッショナルとは？」という質問に対して，AIが真鍋氏のメールやブログなどの記述と，過去に同番組に出演した人の言葉を解析・抽出して組み合わせ，真鍋氏らしい回答を生成する。

「未来のミュージアム Comic Generator」

　Perfumeのシングル「未来のミュージアム」のリリースと連動した企画で，4コマ漫画のフキダシにユーザーが自由にセリフを入れていくと，そのストーリーとユーザー自身がTwitterに投稿したデータを解析して，オチとなる5コマめを自動生成するというWebサイト。

「Perfume World」

　仮想空間「Perfume World」にて，ユーザーがステージセットなどを構築していくというWebサイト。仮想空間内にはPerfumeの3人のアバターが生活しており，ユーザーが作ったデータを解析して感想を述べたり，リアルのライブと連動してパフォーマンスしたりする。する。またPerfume Worldで収集・解析したデータをリアルのライブにおける演出に活用した。

「Perfume “Global Site Project”」

　Perfumeの世界デビューを記念し，「ファンとクリエイターの手によって世界へ羽ばたく」という一貫したコンセプトのもと企画されたプロジェクト。公式サイトでオリジナル楽曲と振付のモーションキャプチャーデータを，GitHubでそれらのデータを使用するための機能拡張やサンプルコードをフリー配布するなどして，二次創作を促した。
　真鍋氏によると，このプロジェクトはユーザーが非公式に作成したMAD動画にヒントを得たもので，ライセンス関係を整理すればもっとすごい作品が生まれるのではないかと考えていたという。その後に行われたPerfumeのワールドツアーでは，本人達のパフォーマンスと共にユーザーが作った映像が公開された。


　また第3弾となる「Perfume “Global Site Project” ＃003」ではTwitterと連動し，Web上では特定のハッシュタグが入ったツイートが一定数に達すると3Dモデル化されたPerfumeの姿が現れるような演出が，さらにリアルのライブではそれが本人達と入れ替わるような演出などがなされた。

ユーザー向けにグラフィックスを使った演出を作成するツールも用意された

衣装の一部に再帰性反射材を使い，画像を投影できるようにしている

「Perfume “STORY” at SXSW」

　2015年3月に米オースティンにて行われたフェス「SXSW」で披露された，Perfumeの新曲「STORY」のパフォーマンス。半透明のスクリーンを駆使し，リアルのライブと3DCGによって表現される仮想空間をシームレスに行き来する演出がなされた。
　なお，この演出は会場が狭いこと，そしてPerfumeがどんなステージでも常に同じ振付でパフォーマンスできることが前提となっているという。

演出の実現にあたっては，Perfumeのステージはもちろん，SXSWの会場全体を3Dスキャンしていたという

会場では，リアルと仮想空間のカメラの切り替えなども示された

「Sound of Honda -Ayrton Senna 1989-」

　F1ドライバーだった故アイルトン・セナが，1989年に記録した鈴鹿サーキットの世界最速ラップ（当時）を，映像ではなく，光と音で再現するというプロジェクト。記録されていた走行データをデジタル化し，実際のサーキットを使って行われた。

「SAYONARA国立競技場プロジェクト」

　国立競技場のクロージングイベント「SAYONARA国立競技場」にて，真鍋氏らは往年のスポーツ選手達の名シーンを光の動きで再現した。真鍋氏によると，この企画は「Sound of Honda -Ayrton Senna 1989-」の実現を受けてスタートしたものだとのこと。
　モーションキャプチャーのベースとなったのはアナログデータの記録映像だったため，1フレームずつ人型のデバイスを使って選手の動きを推測しつつ入力していったそうだ。


　そして「Remember Our Stadium」は，多数の来場者が撮影した写真をもとに国立競技場の3Dモデルを作成するという企画。自分がどの位置から撮影したかなども，分かるようになっているという。


　基調講演の最後には，Perfumeのライブに訪れた人達の3Dスキャンデータを使うステージ演出が紹介された。
　こうした試みや上記の国立競技場の3Dモデルの作成は，今のところデータの処理に最低でも数時間を要するが，真鍋氏は近い将来，技術の進歩やインフラ環境が整うことによってリアルタイムで実現できるようになるのではないかと展望を述べた。そしてここ数年のうちに，今回紹介したようなインタラクティブアートがさまざまなエンターテイメントの場で見られるようになるだろうとして，講演を締めくくった。

4Gamer「CEDEC 2015」記事一覧