株式会社デジタル・フロンティア-Digital Frontier

Header

Main

LightStage 解体新書

2014/5/19

Tag: ,,,,,

こんにちはー。開発部のひらく[@horonig]です。

今回は、ちょっと前にR&D的な立場で検証を行なった、LightStageに関する記事を書いてみようかと思います。
LightStageに関する日本語の解説は意外と少ないので、ためになるかもしれません…なるでしょうきっと…なると良いなぁ…。

LightStageとは?

ざっくり言うと、高精細な3Dメッシュやテクスチャ等を得られるキャプチャシステムです。
かの有名なPaul Debevec氏が率いるICT(USC)が研究・開発しているもので、現在も着々と改良が進められています。

LightStageは現在(2014年2月時点での確認ですが)、世界に三台しかないそうです。

  1. Paul Debevec氏の研究所である ICT(USC)
  2. Octane Renderで有名な otoy (実際に稼働しているかは不明です)
  3. 台湾の Next Media Animation (以下NMA)

今回DFでは、距離が最も近い台湾のNMAで撮影してきました。
台湾にはDFの子会社もあり、動きやすかったというのも大きなポイントですね b

NMAにあるのは LightStageX(version10) ですが、ICTには最新の LightStageⅫ(12) があるようです。
バージョンによる違いを把握してはおりませんが、Ⅻだとroughness mapも取れたり、IBLが一発で出来たりするようです。
(IBLに関しては後述します)

 
見た目はこんな感じ

NMAのLightStageには入り口が・・・!
この入り口を作るまでは下からくぐらないといけなかったため、かなり便利になったとのこと(笑)

僕も中に入れて貰っちゃいましたw (実際にキャプチャはしてません)

NMA

今回お邪魔したNMAは、台湾で一番大きなCGプロダクションです。
TVのニュース映像で使われるCGを大量に制作している事で有名です。

LightStageに関しては4年ほど前に導入し、2年ほど前にUpdateしたようです。
NMAのLightStageでは基本的に、顔や頭部のみキャプチャ出来ます(ICTではそれ以外の用途も色々と研究されています)

またNMAでは、Kinectを使ったキャプチャや、定点カメラからのfacialキャプチャシステムも独自に研究開発しているようです。

LightStageX でキャプチャ出来るもの

NMAから納品されるものは以下の7つです。

  1. 3D shape
  2. diffuse map (albedo)
  3. specular map
  4. diffuse normal map [R]
  5. diffuse normal map [G]
  6. diffuse normal map [B]
  7. specular normal map

NMAさんから頂いたサンプルデータを元に、一つ一つ紐解いていきましょう。

① 3D shape

いわゆるメッシュです。納品フォーマットはobjです。
リトポデータはNMAがインハウスツールを使って作成してくれますが(別料金)、工数としては2~3日掛かります。

スキャン生データ [約200万ポリゴン] リトポデータ [約2万ポリゴン]

 
基本的に耳から耳までしかキャプチャ出来ないため、頭部が欲しい場合はBase Modelとマージして渡してくれます(別料金)
また、髪をKinectでキャプチャ&マージするサービスも展開されています(別料金)
 

②~⑦ 各種テクスチャ

開きになった各種テクスチャです。納品フォーマットはbmpです。
解像度は通常2Kで納品しているらしいのですが、最大4Kまでいけます。

diffuse map (albedo) specular map
diffuse normal map [R] diffuse normal map [G]
diffuse normal map [B] specular normal map

 

ここでの specular normal map は細かいbump用という感じです。
diffuse normal map のRGB別というのは不思議な感じがしますが、これは以下の動画を見ると分かりやすいです。 [2:10あたり]

diffuse normal map [Red] はなだらかな感じになってるのが、Green, Blue はでこぼこしてるのが分かります。これをRGB別のNormalMapとして使用する事で、SSSな質感を表現出来るのです(肌は赤をより透過させるため、なだらかになっていると)
単純な手法ですが、これなら Realtime-Rendering でも高速に描画出来ますね(実際に使うかどうかはおいておいて)

また LightStageⅫなら、 roughness map も作り出せるという噂があります。

テクスチャの詳細度がどのくらいかと言うと、こんな感じです。
かなり寄ったアングルでも、毛穴レベルまで再現出来ていることが分かります(言いすぎ?w)

 

撮影

LightStage自体の撮影はだいたい5~6秒ほどで終了します。アクターさんをキャプチャする場合は、その間は動かないようお願いして撮影します。撮影後に各カメラの撮影データをチェックし、特に問題がなければ(瞬きしてないかなど)、一つの撮影は終了です。結局のところ、一体の撮影に大体10分ほど掛かります。

LightStageXには、LEDが12個ついたユニットが全方向に331箇所あります。つまり、331×12=3972個のLEDが装着されています。撮影用カメラには Canon EOS-1D Mark Ⅳ が使われており、ステレオで撮れるようなペア(二台)が、前からと左右からの合計六つ配置されています。カメラはPLフィルタ(偏光フィルタ)ありなしで撮影できるようになっており、その素材を使う事でspecularとdiffuseを分離出来ます。

 

各カメラからの撮影素材一覧

今回NMAさんのご好意で、カメラからの撮影素材もいただけましたので、掲載しておきます。
合計20素材です。実際には6つのカメラがあるので、20×6=120素材となります。

+X方向照明 [supecularなし(PLフィルタあり)] -X方向照明 [supecularなし(PLフィルタあり)]
+Y方向照明 [supecularなし(PLフィルタあり)] -Y方向照明 [supecularなし(PLフィルタあり)]
+Z方向照明 [supecularなし(PLフィルタあり)] -Z方向照明 [supecularなし(PLフィルタあり)]
全方向照明 [supecularなし(PLフィルタあり)]
(影がほとんど出てないのでこれがdiffuse用かと)
全方向照明 [supecularあり(PLフィルタなし)]
+X方向照明 [supecularあり(PLフィルタなし)] -X方向照明 [supecularあり(PLフィルタなし)]
+Y方向照明 [supecularあり(PLフィルタなし)] -Y方向照明 [supecularあり(PLフィルタなし)]
+Z方向照明 [supecularあり(PLフィルタなし)] -Z方向照明 [supecularあり(PLフィルタなし)]
ストライプ0 (3D scan用) ストライプ1 (3D scan用)
ストライプ2 (3D scan用) ストライプ3 (3D scan用)
ストライプ4 (3D scan用) ノイズ (用途不明w)

 
ストライプ素材からmeshを作成するのは分かるんですが、ノイズ素材が何に使われてるのかは良く分かりません・・・w

PLフィルタをかますとspecularがある程度抑えられるのでdiffuse成分として使用できます。また、PLフィルタなしのspecular混合素材からdiffuse成分を引き算する事でspecular成分を作っているはずです(そんなに単純ではないかもしれませんが)

IBL

LightStageの使い方としてもう一つ有名なのが、IBLです。照明効果を作りたいHDRをあらかじめ用意し、それを使ってLEDを光らせ、Image Based Lightingを行えます。今回弊社ではその作業はお願いしませんでしたが、NMAでも可能だそうです。但しLEDが白一色なため、RGB別に照明効果を作りそれを後からマージする形になるそうです。つまり、動画としては撮れないということですかね。また、LightStageⅫではRGB別のLEDがあるのか、RGB同時にIBL出来るという噂があります。

LightStageのIBLを使用した例で有名なのは、映画[Social Network]で使われたこれですかね。

最後に

こんな風に色々と書いてみたものの、Paul Debevec氏は現在も常にLightStageを進化させており、まだまだLightStageの底は見えません。今後の展開にも注目しておきたいところです。幾つか噂レベルの話も出しちゃってますが、まぁいわゆるブログですのでもし間違っててもご容赦くださいw

ではではー。

Special Thanks to NMA staff !!

※免責事項※
本記事内で公開している全ての手法の有用性,安全性について,当方は一切の保証を与えるものではありません.
これらの手法を使用したことによって引き起こる直接的,間接的な損害に対し,当方は一切責任を負うものではありません.
自己責任でご活用ください.


 
 

■甘味紹介 #2 [パイナップルケーキ at 台湾]

今回は台湾に出張してきたので、台湾の美味しいパイナップルケーキをご紹介!
個人的なベスト3を上げておきます。

 
○第三位
佳徳糕餅
一般的なパイナップルに冬瓜を混ぜた餡を使用しており、万人に愛される味です。子供向けのお土産にも最適でしょう。うちのスタッフもたまにここのを買ってきます。飽きのこない味で、嫌いな人はいないでしょう。

 
○第二位
廣方圓茗茶

こちらは冬瓜を全く使わずパイナップルだけの餡を使用しており、パイナップルの繊維を感じます。酸味があり大人向けの味とも言えます。僕は今回の出張でここに買いに行ったのですが、日本人スタッフも居て非常に好印象でした。
ただ、ここのパイナップルケーキはおそらく台湾一高いですね(笑) 8個入りで400台湾ドル(約1200円)となってます。

 
○第一位!
微熱山丘 Sunnyhills

こちらもパイナップルのみの餡なのですが、廣方圓茗茶に比べ若干酸味が抑えられてる印象でした(同時期に食べてないので記憶は曖昧です・・w)。また、外側のケーキ部分が香ばしく非常に美味しかったです。正直、廣方圓茗茶との違いはさほどない気がしつつも、こちらの方がパンチ力があったかなー、という感じですね。

青山にもお店があるようですが、台湾とは若干味が違うとの情報もあります。タコ早く買ってきて^^
サニーヒルズ 青山店

以上、パイナップルケーキ情報でした!!
(もっと写真撮っておけば良かった・・)

ではではー。

※免責事項※
本記事内で公開しているパイナップルケーキの順位は完全に私見です.

Pocket

コメント

コメントはありません

コメントフォーム

コメントは承認制ですので、即時に反映されません。ご了承ください。

*