LightStage 解体新書

2014/5/19

Tag: capture,IBL,mesh,texture,デザート,甘味

こんにちはー。開発部のひらく[@horonig]です。

今回は、ちょっと前にR&D的な立場で検証を行なった、LightStageに関する記事を書いてみようかと思います。
LightStageに関する日本語の解説は意外と少ないので、ためになるかもしれません…なるでしょうきっと…なると良いなぁ…。

LightStageとは？

ざっくり言うと、高精細な3Dメッシュやテクスチャ等を得られるキャプチャシステムです。
かの有名なPaul Debevec氏が率いるICT(USC)が研究・開発しているもので、現在も着々と改良が進められています。

LightStageは現在（2014年2月時点での確認ですが）、世界に三台しかないそうです。

1. Paul Debevec氏の研究所である ICT(USC)
2. Octane Renderで有名な otoy (実際に稼働しているかは不明です)
3. 台湾の Next Media Animation (以下NMA)

今回DFでは、距離が最も近い台湾のNMAで撮影してきました。
台湾にはDFの子会社もあり、動きやすかったというのも大きなポイントですね b

NMAにあるのは LightStageX(version10) ですが、ICTには最新の LightStageⅫ(12) があるようです。
バージョンによる違いを把握してはおりませんが、Ⅻだとroughness mapも取れたり、IBLが一発で出来たりするようです。
（IBLに関しては後述します）

　
見た目はこんな感じ

NMAのLightStageには入り口が・・・！
この入り口を作るまでは下からくぐらないといけなかったため、かなり便利になったとのこと(笑)

僕も中に入れて貰っちゃいましたｗ （実際にキャプチャはしてません）

NMA

今回お邪魔したNMAは、台湾で一番大きなCGプロダクションです。
TVのニュース映像で使われるCGを大量に制作している事で有名です。

LightStageに関しては4年ほど前に導入し、2年ほど前にUpdateしたようです。
NMAのLightStageでは基本的に、顔や頭部のみキャプチャ出来ます（ICTではそれ以外の用途も色々と研究されています）

またNMAでは、Kinectを使ったキャプチャや、定点カメラからのfacialキャプチャシステムも独自に研究開発しているようです。

LightStageX でキャプチャ出来るもの

NMAから納品されるものは以下の7つです。

1. 3D shape
2. diffuse map (albedo)
3. specular map
4. diffuse normal map [R]
5. diffuse normal map [G]
6. diffuse normal map [B]
7. specular normal map

NMAさんから頂いたサンプルデータを元に、一つ一つ紐解いていきましょう。

① 3D shape

いわゆるメッシュです。納品フォーマットはobjです。
リトポデータはNMAがインハウスツールを使って作成してくれますが（別料金）、工数としては2～3日掛かります。

スキャン生データ [約200万ポリゴン]	リトポデータ [約2万ポリゴン]

　
基本的に耳から耳までしかキャプチャ出来ないため、頭部が欲しい場合はBase Modelとマージして渡してくれます（別料金）
また、髪をKinectでキャプチャ＆マージするサービスも展開されています（別料金）
　

②～⑦ 各種テクスチャ

開きになった各種テクスチャです。納品フォーマットはbmpです。
解像度は通常2Kで納品しているらしいのですが、最大4Kまでいけます。

diffuse map (albedo)	specular map
diffuse normal map [R]	diffuse normal map [G]
diffuse normal map [B]	specular normal map

ここでの specular normal map は細かいbump用という感じです。
diffuse normal map のRGB別というのは不思議な感じがしますが、これは以下の動画を見ると分かりやすいです。 [2:10あたり]

diffuse normal map [Red] はなだらかな感じになってるのが、Green, Blue はでこぼこしてるのが分かります。これをRGB別のNormalMapとして使用する事で、SSSな質感を表現出来るのです（肌は赤をより透過させるため、なだらかになっていると）
単純な手法ですが、これなら Realtime-Rendering でも高速に描画出来ますね（実際に使うかどうかはおいておいて）

また LightStageⅫなら、 roughness map も作り出せるという噂があります。

テクスチャの詳細度がどのくらいかと言うと、こんな感じです。
かなり寄ったアングルでも、毛穴レベルまで再現出来ていることが分かります（言いすぎ？ｗ）

　

撮影

LightStage自体の撮影はだいたい5～6秒ほどで終了します。アクターさんをキャプチャする場合は、その間は動かないようお願いして撮影します。撮影後に各カメラの撮影データをチェックし、特に問題がなければ（瞬きしてないかなど）、一つの撮影は終了です。結局のところ、一体の撮影に大体10分ほど掛かります。

LightStageXには、LEDが12個ついたユニットが全方向に331箇所あります。つまり、331×12=3972個のLEDが装着されています。撮影用カメラには Canon EOS-1D Mark Ⅳ が使われており、ステレオで撮れるようなペア（二台）が、前からと左右からの合計六つ配置されています。カメラはPLフィルタ（偏光フィルタ）ありなしで撮影できるようになっており、その素材を使う事でspecularとdiffuseを分離出来ます。

各カメラからの撮影素材一覧

今回NMAさんのご好意で、カメラからの撮影素材もいただけましたので、掲載しておきます。
合計20素材です。実際には6つのカメラがあるので、20×6=120素材となります。

+X方向照明 [supecularなし(PLフィルタあり)]	-X方向照明 [supecularなし(PLフィルタあり)]
+Y方向照明 [supecularなし(PLフィルタあり)]	-Y方向照明 [supecularなし(PLフィルタあり)]
+Z方向照明 [supecularなし(PLフィルタあり)]	-Z方向照明 [supecularなし(PLフィルタあり)]
全方向照明 [supecularなし(PLフィルタあり)] (影がほとんど出てないのでこれがdiffuse用かと)	全方向照明 [supecularあり(PLフィルタなし)]
+X方向照明 [supecularあり(PLフィルタなし)]	-X方向照明 [supecularあり(PLフィルタなし)]
+Y方向照明 [supecularあり(PLフィルタなし)]	-Y方向照明 [supecularあり(PLフィルタなし)]
+Z方向照明 [supecularあり(PLフィルタなし)]	-Z方向照明 [supecularあり(PLフィルタなし)]
ストライプ0 (3D scan用)	ストライプ1 (3D scan用)
ストライプ2 (3D scan用)	ストライプ3 (3D scan用)
ストライプ4 (3D scan用)	ノイズ (用途不明ｗ)

　
ストライプ素材からmeshを作成するのは分かるんですが、ノイズ素材が何に使われてるのかは良く分かりません・・・ｗ

PLフィルタをかますとspecularがある程度抑えられるのでdiffuse成分として使用できます。また、PLフィルタなしのspecular混合素材からdiffuse成分を引き算する事でspecular成分を作っているはずです（そんなに単純ではないかもしれませんが）

IBL

LightStageの使い方としてもう一つ有名なのが、IBLです。照明効果を作りたいHDRをあらかじめ用意し、それを使ってLEDを光らせ、Image Based Lightingを行えます。今回弊社ではその作業はお願いしませんでしたが、NMAでも可能だそうです。但しLEDが白一色なため、RGB別に照明効果を作りそれを後からマージする形になるそうです。つまり、動画としては撮れないということですかね。また、LightStageⅫではRGB別のLEDがあるのか、RGB同時にIBL出来るという噂があります。

LightStageのIBLを使用した例で有名なのは、映画[Social Network]で使われたこれですかね。

最後に

こんな風に色々と書いてみたものの、Paul Debevec氏は現在も常にLightStageを進化させており、まだまだLightStageの底は見えません。今後の展開にも注目しておきたいところです。幾つか噂レベルの話も出しちゃってますが、まぁいわゆるブログですのでもし間違っててもご容赦くださいｗ

ではではー。

Special Thanks to NMA staff !!

※免責事項※
本記事内で公開している全ての手法の有用性,安全性について,当方は一切の保証を与えるものではありません.
これらの手法を使用したことによって引き起こる直接的,間接的な損害に対し,当方は一切責任を負うものではありません.
自己責任でご活用ください.

■甘味紹介 #2 [パイナップルケーキ at 台湾]

今回は台湾に出張してきたので、台湾の美味しいパイナップルケーキをご紹介！
個人的なベスト3を上げておきます。

　
○第三位
佳徳糕餅
一般的なパイナップルに冬瓜を混ぜた餡を使用しており、万人に愛される味です。子供向けのお土産にも最適でしょう。うちのスタッフもたまにここのを買ってきます。飽きのこない味で、嫌いな人はいないでしょう。

　
○第二位
廣方圓茗茶

こちらは冬瓜を全く使わずパイナップルだけの餡を使用しており、パイナップルの繊維を感じます。酸味があり大人向けの味とも言えます。僕は今回の出張でここに買いに行ったのですが、日本人スタッフも居て非常に好印象でした。
ただ、ここのパイナップルケーキはおそらく台湾一高いですね(笑) 8個入りで400台湾ドル（約1200円）となってます。

　
○第一位！
微熱山丘 Sunnyhills

こちらもパイナップルのみの餡なのですが、廣方圓茗茶に比べ若干酸味が抑えられてる印象でした（同時期に食べてないので記憶は曖昧です・・ｗ）。また、外側のケーキ部分が香ばしく非常に美味しかったです。正直、廣方圓茗茶との違いはさほどない気がしつつも、こちらの方がパンチ力があったかなー、という感じですね。

青山にもお店があるようですが、台湾とは若干味が違うとの情報もあります。タコ早く買ってきて＾＾
サニーヒルズ 青山店

以上、パイナップルケーキ情報でした！！
（もっと写真撮っておけば良かった・・）

ではではー。

※免責事項※
本記事内で公開しているパイナップルケーキの順位は完全に私見です.