【授業レポート】 EAT creative program ライゾマティクス真鍋大度氏授業の全貌をお伝えします！｜東京本校

※本稿はデジタルハリウッド東京本校が主催する特別授業『EAT creative program』の内容をカルチャーニュースサイトCINRA.NETがレポートした内容を転載したものです。※

Rhizomatiks Researchの概要　

Rhizomatiksは、真鍋氏が2006年7月に共同創業者である齋藤氏、千葉氏と共に立上げたアーティストやエンジニア、プロデューサーらによる組織で、現在は40人程度の規模とのこと。創業当初はWebが全盛期でスタッフのほとんどがWeb業務を中心に行なっていたそうですが、同時にインタラクティブなものも行なっていて、「どうぶつの森わくわくヴィレッジ」や、シンクロスイマーに加速度センサーを渡して動きに合わせて照明を変えるような案件などを行なっていたそうです。当時はUnityやUnreal Engine、openFrameworksで画像解析やリアルタイムレンダリングをできる環境ではなく、OpenGLやOpenCVを用いて描画・解析プログラムを作成して制作を行っていたことなど、当時と現在の技術レベルの違いについては、講義全体の中で何度か触れていらっしゃいました。

2016年7月に「Architecture」「Design」「Research」の3つの部門をRhizomatiks社内で設立し、「Architecture」では都市計画やインスタレーションなどを、「Design」ではWebからプロダクトまでコミッション全般を、そして真鍋氏とIAMAS（情報科学芸術大学院大学）出身の石橋氏が共同主宰する「Research」では研究開発要素の強い業務を行なっているそうです。

そんなRhizomatiks Researchでは、様々な領域での業務を行うことを考えているとのこと。講演内で紹介頂いた各領域を下記の通りです。

■ body：身体表現そのものの領域。

■ camera technology：AR（拡張現実）やVR（仮想現実）などの領域。

■ machine learning：人工知能などに使われる基本技術となる機械学習の領域。

■ hardware product design：リオ五輪で使用した光るフレーム、ドローンなどを制作する領域。

■ visualization：VJやインタラクティブ案件など、映像関係全般領域。

■ dance performance / music live show：リアルタイムでライブやイベントを行う領域。

■ data art and entertainment：AI（人工知能）などの領域。

■ music video：ミュージックビデオを制作する領域。

■installation：アートインスタレーションなどを行う領域。

今まで発表してきたプロジェクト

続いて、今まで制作・発表して来たプロジェクトを紹介して頂きました。詳細、且つ惜しみのない技術的説明があり、そこまで話して大丈夫かな、と感じる程でした。また、各プロジェクトの裏話など、真鍋氏本人からしか聞くことのできない話もあり、私にとっても聴講者にとっても非常に貴重な経験になったと思います。

本プロジェクト紹介を通して私自身が学んだことは、どの技術もアイディアから実現に至るまで長期間の試行錯誤を繰り返していること、関係のないように見える各プロジェクトが実は相互に関係し合っていること、大きな案件を実現させるために幾つものプロジェクトで要素技術やアイディアを試すよう常日頃から全体プロジェクトを設計していること、の3点です。

私達が目にするに至るまでには、様々な問題や障壁を乗り越えて来ていることを知ることができ、あれ程かっこいいものを作るためにはやはりそうなのか、と一人納得していました。

私が退職を決意したきっかけとなった作品

各プロジェクト紹介の中でも特に印象深かったのは、SXSWでのPerfumeのLive、“STORY (SXSW-MIX)”です。

本動画は私が退職を決意したきっかけとなったものです。この動画を見た当時サラリーマンだった私は、こんなにかっこいいものがあるのか、しかも生中継でこのクオリティを出せるのか、そもそもどうやって制作しているのか、こんなかっこいいものを自分の手で作って感動したい、と強く感じました。

真鍋氏が説明した内容の概要を抜粋します。技術的要素も多いですが、まずは映像を見てみてください。文句なしにかっこいいです。

『Perfumeは事前に振りを決めていれば、本番で寸分違わず踊ることができるため、可能だった表現でもある。事前に3人のダンスを4Dビューズというシステムとカメラ48台を用いて全方位撮影で3Dスキャン、会場データについてもFAROというシステムを用いて事前に3Dスキャンをした。会場のカメラは3台の手持ちカメラと2台の定点カメラがあるだけだが、5台のカメラ間の映像を補完し、あたかも自由に動いているように見せている。

また、ふわっと動いているのは変わった3Dスキャンとトラッキングを組み合わせた新しいモーフィングのテクニックで、Perfumeと会場の3Dスキャンデータがあり、3枚のパネルと位置情報と傾きもわかっているからできたもの。CGの映像と現実のカメラの世界を行ったり来たりし、その間に3人の事前スキャンデータを用いている。

また、他の仕組みとしては、動くスクリーンをトラッキングし、スクリーンに追従して画が出せるようにした。画が出せるだけではなく、映像作成時もこのデータを使って不思議な世界観を演出している。

余談だが、この辺りの技術は本番の二日前頃に同社花井氏より提案のあったシステムで、現地ホテルで二日間掛けて演出を練った経緯がある。』(真鍋氏談)

元々、一番かっこいいと思っていた映像ですが、真鍋氏の技術的な説明を聞いた上で映像を見ると、かっこいいだけではなく技術的にもとてもレベルが高いことが改めてわかり、映像の見方が変わりました。こういう見方や考え方ができるようになったことも、本講義に参加してよかったと感じることの一つです。

私が皆さんに見ていただきたい作品4選

SXSWの他に真鍋氏が説明したプロジェクトの中で、私が皆さんに見ていただきたい作品を5つ記載いたします。是非、ご覧になってみて下さい。上記で紹介した”STORY (SXSW-MIX)”はもちろんのこと、他の作品もRhizomatiksや真鍋氏らしい雰囲気と最先端技術が感じられる作品ばかりです。

■ electric stimulus to face -test3

■ ELEVENPLAY “24 drones” : America’s Got Talent

■「リオ2016大会閉会式東京2020フラッグハンドオーバーセレモニー」

■ CeBIT 2017 Opening Ceremony

デジタルハリウッド杉山学長との対談　
『行った後に気持ちが盛り上がるのはリアルタイム案件』

後半は杉山学長との対談がありました。対談内容の一部を抜粋させていただきます。最後の学生達へのメッセージは必見です。

□杉山学長：今は2020年の東京オリンピックに向けて色々な仕事が来ていると思い、そこまでRhizomatiksは走っていくと思うが、真鍋さん自身が色々できるようになっていく中で、自分達の未来は今後どうなっていくイメージをお持ちか、教えていただきたい。

■真鍋氏：Rhizomatiksの違う人が来たら違うことを言うと思うし、かなり個人的な意見だが、もともと音楽をやっていたこともあり、もう少し音楽寄りの仕事をやっていきたいし、実際にそうしている。例えば、AIで何をするかというところで、今は音系が面白いネタで、シンセサイザーを作るとか、今までとは少し違う手法で、昔やりたかったことができるようになって来たため、そういうことをやっていきたい。

□杉山学長：音楽に関して言うと、スタジオで作り込んで、CDで売っていくと言う時代は終わって来ている。そういう中で、真鍋さんの中で音楽の未来や音楽が今後どういう風に変わっていくかと思われるか。

■真鍋氏：自分自身は音楽を中心に大勢で集まって盛り上がったり、特別な環境で音楽を楽しむイベントやフェスティバルが好き。技術的にも面白いことができるのはライブが多いし、実施した後に気持ちが盛り上がるのはリアルタイム案件が多い。

□杉山学長：話はぐっと戻り、大学を出た後にサラリーマンをやっていらした時の話を聞かせほしい。

■真鍋氏：メーカーのシステムエンジニアで、高速道路の防災システムなどを担当していた。仕事を始めて1年ほどでWebバブルが来て、その波に乗って小さなベンチャー企業、今でいうスタートアップのような会社に移った。

メーカーで経験した大規模なシステム開発も面白かったがWebコンテンツは2〜3人で作れて、プログラム技術も使えて、アウトプットもすぐ出来るということで当時の自分には魅力的だった。今はアプリもたくさんあり、インスタレーションも一人でできるからまた違った可能性があるだろう。

昔はプログラミング技術があって、映像も音楽も好きとなると、ゲームクリエイターというイメージだったが、ゲームも完成までのスパンが長い。スパンが短いのはWebかインタラクティブ系。ゲームを作るのに憧れていて、人生で一度はやりたいし実際に話もあるが、今の仕事のスパンと合わない。

同じフィールドを目指す学生達への一言　
『ずっと続けている理由は、間違いなく面白い』

対談の最後に、真鍋氏よりこれから同じフィールドを目指す学生達へメッセージをいただきました。私自身も大変感銘を受けたメッセージとなっておりますので、ほぼ原文のまま紹介させて頂き、本レポートの締めとさせて頂きます。

『多分、昔に比べて何でもできるようなったからそれが本当に大変だと思う。ツールキットも何でもある。当時は、CとかC++で書いていたものが、今となっては何だったんだろうという感じもする。大学時代は隠面消去の様な当たり前の機能も全て自分で実装していた。今は数学的なことを知らなくてもライブラリが色々あって何でも出来るし便利で良いが、色々整っていて何でもできるため、相当作りたいものがないと中々難しい。

また、クリエイターになることが欧米に比べて社会的地位が高いわけでもなく、給料的に恵まれているわけでもない。ただ、ずっと続けている理由は、間違いなく面白いし、色々な人達といい形でコラボレーションできるから。今の仕事をやっているからこそ会えた人や一緒に仕事をできた人がいる。例えばずっと大ファンだったビョークやPerfumeがその例。そういう夢のある世界なので、みんなにも頑張って、色々な形で自分のやりたいことを実現してほしい。頑張ってください。』

自分がやりたいことを実現させるための自己研鑽に今まで以上に励もう、と思える有意義な講義でした。
真鍋さん、お忙しい中、貴重なお話をありがとうございました！