単一画像からの屋内シーンのニューラルインバースレンダリング。
画像からシーンの物理的属性を推定することを目的としている。
屋内シーンの単一画像を、Inverse Rendering Network(IRN)を用いて以下の3つの属性に分解する。
今までの手法では、主に単一のオブジェクトに対して、またはシーン属性の1つのみを解決するものだった。
本稿では、屋内シーンの単一画像に対してそれらのシーン属性を同時に解くことができる。
また、SUNCG-PBRという名のデータセットを作成している。
このデータセットは以前のデータセットを大幅に改善したもの。
以前のデータセットと比べてより写実的でノイズが少ない。
ラベル無しのデータから、self-supervised reconstruction lossという損失関数を使用して学習することが本稿のキーアイデア。
Self-supervised LearningのResidual Appearance Renderer(RAR)によって可能としている。
自己教師あり学習。教師なし学習の1つ。
pretext tasks(関係なさそうなタスク)を学習することにより、本当に学習したいタスクで使える特徴表現を学習する。
I:元画像、A:アルベド、L:環境マップ、N:法線。
以下の式がself-supervised reconstruction loss。
より正確な法線と陰影。
反射率の曖昧さを解消している。
これはdeep CNNを使用しているため。
IIWをテストセットとして比較
WHDR(Weighted Human Disagreement Rate)を評価して、優れていることが確認できる。
アルベド、法線ベクトル、環境マップ(合成データ、実データ)全てで以前の研究より勝っている。
単一オブジェクトに対するものではないが、シーンは屋内シーンに限定されている。
要するに、データセットを向上させて既知の学習方法を色々組み合わせたら今までより精度が上がった。というだけに聞こえるが、そういうものなのか?