日本が誇るパフォーマンス・アーティストPerfumeの、近未来的なライブ演出。
AR技術をフル活用した、リオ2016大会閉会式の東京2020フラッグハンドオーバーセレモニー。
これらの映像表現を観て、「なんて格好いいんだろう」と心を打たれた方はきっと数多くいるのではないでしょうか。
あの映像世界をつくり上げているのは、高いテクノロジーと独創的な企画力、圧倒的な現場統率力によって斬新なクリエイティブを実現するクリエイター集団Rhizomatiks（ライゾマティクス）のR&D部門「Rhizomatiks Research」。その演出の完成度の高さは、日本のみならず、世界中から高い評価を受けています。
同社において、シニアソフトウェアエンジニアとしてその屋台骨を支えるのが花井裕也さんです。彼のテクノロジーは、いったいどのようなプロセスをたどり、私たちを魅了する“エンターテイメント”へと昇華されているのでしょうか。
「ライブ演出のライゾマ」を支えるのは、Research部門
――Rhizomatiksは「Research」「Architecture」「Design」という3部門に分かれていると聞きました。それぞれの担う役割は、どのように異なっているのですか？
花井：大まかに分類すると、Researchが担当しているのはライブ演出やリアルタイムでの映像生成などです。Perfumeやサカナクション、リオ2016大会閉会式東京2020フラッグハンドオーバーセレモニーといった、みなさんが知ってくださっている「Rhizomatiksのライブ演出」は、この部門がつくり上げています。僕が所属しているのも、この部門です。
Architectureは建築思考をベースにしたプロジェクトが多く、Designは企業のデザイン・コンサルティングやライゾマティクスのプロジェクトのアートディレクションなどをしています。
――あのライブ演出は、花井さんたちの手によってつくられているのですね！ 話が前後しますが、そもそも花井さんは何をきっかけとしてRhizomatiksに入社したのでしょうか？
花井：Rhizomatiksを知ったきっかけは、2012年に開催されたPerfumeの「氷結 SUMMER NIGHT」というライブです。ホログラム（立体映像）のような演出に衝撃を受けました。その演出を担当していたのがRhizomatiksだったんですよね。それで、「すごく面白そうな会社だな」という印象を受けて。
それから数年後に転職先を探していた際、たまたまRhizomatiksの求人が出ていたんです。もともとエンターテイメントの世界に興味があったこともあり、「この会社で、テクノロジーとエンタメを融合した表現にチャレンジしてみたい」と考えて転職を決めました。
――実際に入社してみて、ライゾマティクスはどういった会社だと感じましたか？
花井：良い意味で、ワーカホリックの人が多い会社だなと思いました。もちろん、疲れ切った状態で働いているとかそういうことではなく、自分たちの携わっているプロジェクトの完成度を上げるために努力を惜しまないんです。みんな純粋に、ものづくりが好きなんですね。
世界を熱狂させたリオ閉会式の演出。会場でのリハーサル回数、なんと“0”回
――Rhizomatiksが手掛けた、リオ2016大会閉会式東京2020フラッグハンドオーバーセレモニーの演出。そのクオリティの高さは世界中の注目を集めました。あの演出を実現するために、入念なリハーサルを重ねたのでは？
花井：いえ。今だから話せますけど、あのプレゼンテーションって会場でのリハーサルの回数が“0”回だったんです（笑）。
――0回、ですか……！？ それはどうして？
花井：実は、会場のスケジュールを押さえられなかったんです。普通であれば、オリンピック閉会式の前日に他の目的で会場が使われていることって無いですよね。
でも、ブラジルはサッカー大国なので、前日にその会場でサッカーの試合をやっていたんですよ。だから、頑張って調整してみたんですけれど、どうしても会場でリハーサルをする時間が取れなくて。
――リハーサル無しの、本番一発勝負だったとは……。その状況下で、どうやって成功率を上げるための工夫をしたんですか？
花井：自分が担当したAR演出パートについては、数か月前から図面を元にシミュレーターを開発し、綿密な検討を重ねてきたのですが、現場入りしてからも肝心なARに使用するカメラの映像が全く入手できませんでした。本番の数日前に、ようやく実際に使用するカメラの小さなキャプチャ画像を手に入れることができたんです。
その画像を使って、会場内にあるカメラの映像とARの映像が上手く合成されるように微調整していきました。加えて、事前に会場で下見していた内容を元に、映像の合成結果を人間のカンで推測し、作品の完成度を高めていったんです。
――花井さんは何気ないことのように話していますが、それが実現できたのはきっとRhizomatiksエンジニアの高い技術があってこそですよね。
花井：そうかもしれません。これまで、私たちは生放送やライブストリーミング系の映像合成プロジェクトを数多く経験してきました。そのノウハウが生きたからこそ、リハーサル無しでもリオ2016大会閉会式東京2020フラッグハンドオーバーセレモニーを成功させられたんだと思っています。
必要なのは、いかなる場面でも最善策を考える姿勢
――他のプロジェクトで、花井さんが特に印象に残っているものはありますか？
花井：Rhizomatiks Researchと、演出振付家のMIKIKOさんが率いるダンスカンパニーELEVENPLAYとのコラボレーションによって実施したダンスパフォーマンス「border」が印象に残っています。
これは、観客がヘッドマウントディスプレイを装着した状態で視聴するパフォーマンスです。ダンスが始まると、観客の装着したディスプレイの視界にバーチャルのステージ空間が広がり、カメラ映像による実写風景とARによる映像が合成されて表示されます。
実は、このイベントで使用されたヘッドマウントディスプレイって僕たちが特別に改造したものなんです。通常、VRが体験できるヘッドマウントディスプレイって、装着するとCGは観えますが外の世界（実写風景）が観えなくなってしまいます。それを防ぐために独自のデバイスを開発したわけなんですが、これがなかなか厄介で。
――具体的には、どのような点が大変だったのですか？
花井：ヘッドマウントディスプレイ単体でテストしたときは何の問題もありませんでした。ですが、会場入りしてから全機材を接続してテストしたら、ディスプレイに取りつけられているカメラの接続が途中で切れる問題が発生したんです。
その原因が、初めのうちは全然特定できなくて。それが本番の5日前。時間が無かったので、「これはマズい」ということになって。
――それは肝を冷やしますね……。トラブルの原因は何だったのでしょうか？
花井：観客は、「WHILL」と呼ばれるパーソナルモビリティに乗りこんでパフォーマンスを観ます。調査を進めていくと、あくまでも観測結果からの類推でしかないのですが、モビリティが動くときに発生する電磁波がカメラに干渉していると推測できました。
▲この写真で観客が乗っているのが、その「WHILL」だ。電子制御されたパーソナルモビリティに乗り、観客はバーチャルとリアルが入り混じった先進的な映像世界に誘（いざな）われる。画像はRhizomatiks ResearchのWorksページ（https://research.rhizomatiks.com/s/works/elevenplay_border/ ）より。
▲観客が正しい映像を鑑賞できているかを確認するための監視画面
その事象を解決するため、金属の板を機材の周りに貼って簡易的なシールド（防護壁）をつくったんです。これにより、トラブルの発生頻度がかなり下がりました。
それに加えて、カメラは右目用と左目用の2台あったので、万が一片方が動かなくなった場合、生きている方のカメラの映像を両目に表示するようにプログラミングし直したんです。
――それはすごい。エンジニアとしての、クオリティに対する“執念”のようなものを感じます。
花井：僕たちは斬新な映像表現を追求しているからこそ、多種多様なテクノロジーを積極的に採用します。ですが、ときにはその技術がトラブルを引き起こすケースもあるんです。そういうときにこそ、問題の原因を冷静に分析し、最善の対応策を考える姿勢がエンジニアには求められると思っています。
演出において、自分のオリジナリティを表現したい
――リオ2016大会閉会式東京2020フラッグハンドオーバーセレモニーや、有名アーティストのライブ演出に携わること。これは、世の中の誰もが憧れるような仕事だと思います。そこに自分自身がエンジニアとして参加できていることに、どのような喜びを感じていますか？
花井：さまざまなアーティストのライブや有名イベントの演出に携われるというのは、すごく幸せなことですし、光栄なことです。けれど、それで満足してはいけません。「自分ならではのオリジナリティを、作品に盛りこまなければ」と常に考えています。
――花井さんの持ち味は、どのような部分にあると思いますか？
花井：「職人気質なところ」ですかね。どんな場面でも、クオリティにおいて妥協したくないんです。Perfumeが2015年に出演したサウス・バイ・サウスウエスト（SXSW）というイベントでの演出が良い例かもしれません。
作品名：Perfume Live STORY [Perfume Live 「STORY（SXSW-MIX）」
会場：テキサス州オースティン「SXSW」
photo credit：©Amuse, Inc. + UNIVERSAL MUSIC LLC + Rhizomatiks co.,ltd. + DENTSU INC.
このイベントでは、もともとCGと実写映像を滑らかにつなぐ映像演出を行うということになっていました。けれど、「それだけだと物足りないから、実写から実写へのモーフィングも入れたい」と思って、カメラ映像同士の3Dモーフィング（ある物体から別の物体へと自然に変形する映像効果）を僕が勝手に実装したんです。
それを観たRhizomatiks Research 主宰の真鍋が「いいね！」と言ってくれて、全編にわたってこのエフェクトが使用されることになりました。
この例のように、演出のクオリティを高めるためには、細部への徹底したこだわりが重要になってきます。これからも、自分の仕事に妥協をせず、観客を楽しませることができるような作品をつくり続けていきたいですね。
――今後も、美しい映像作品が生まれることを楽しみにしています。今回はどうもありがとうございました！
