Shape from Shading through Shape Evolution
Dawei Yang, Jia Deng
CVPR, 2018
実画像のShape-from-ShadingをDNNに学習させる際のデータとして、単純なプリミティブ(珠、立方体、等)を用いて作成された3Dデータを用いる手法を提案。
既存手法では全て人手で作成されたデータを用いていた。
提案手法ではシンプルなプリミティブを組み合わせて複雑な形状のデータセットを適宜作成して、 DNNの学習をすることでデータ不足を解決する。 トレーニングに外部データセットを用いることなく、実画像に対するShape-from-ShadingにおいてState-of-the-Art(SoTA)を達成。
初期形状は球、円柱、立方体、円錐の4つの形状で構成されており、それらは以下の函数で表すことが出来る。 Computation graphで表現すると以下のようになる。
形状変換(平行移動、回転、拡大縮小)
形状結合
形状変換と形状結合を繰り返すことでより複雑な形状へ進化させる。 Computation graphが大きくなりすぎないように(制約がなければ平均計算コストは指数関数的に増加する)、計算回数が線形になるようにグラフの成長を制限する。また、形状結合前後で変化がほぼ無いケースを検出し排除する等、進化が遅くならないようにする。
バリデーションを実画像で行うため、実画像が持つ形状とかけ離れた形状を持つトレーニングデータは捨てられる。
shape-from-shadingネットワークは Stacked Hourglass Network を使用している。
MIT-Berkeley Intrinsic Image データセットを用いて SIRFS (Shape, Illumination, and Reflectance from Shading) と比較。 提案手法は形状のみを進化させテクスチャは進化させないので、テクスチャレス画像を使用したSIRFSと比較する。
他の手法(ランダム、 SIRFS, ShapeNet)との比較。
結局、トレーニングでも表面法線のground truthを含むデータセットは必要?
プリミティブから3Dデータを構築するごとにDNNがfine-tuningされていくため、最適な結果を見つけるためにはいくつかの重みで検証する必要がある。
Stacked Hourglass Networks for Human Pose Estimation
Realistic Adversarial Examples in 3D Meshes
MeshAdv: Adversarial Meshes for Visual Recognition
Learning to Generate 3 D Training Data through Hybrid Gradient