01 / BACKGROUND
一枚の画像から奥行を推定する
単眼深度推定とは、一枚の画像から奥行きを推定する技術です。自動運転やロボティクスなど、周囲の空間を理解する必要がある場面で使われています。
ここで扱う深度は、1m・2mのような絶対深度ではなく、スケール化された相対深度です。
02 / PRIOR WORK
機械学習モデルの出力
深度推定モデルには、Diffusion Modelを用いたMarigold[1]などがあります。Marigoldは高精度な深度推定を実現する手法の一つです。
03 / PROBLEM
モデルは常に正解できるのか？
一枚の画像からは、奥行きが一意に定まりません。つまり、単眼深度推定は解が複数ある問題です。そのため、モデルが正解を間違えることがあります。
しかし、モデルがどれくらいの自信をもって深度を出力しているのかは未知です。そこで、推定結果だけでなく、モデルの信頼度を測る方法が必要だと考えました。
04 / RESEARCH IDEA
一つの答えではなく出力の分布を見る
Diffusion Modelの出力は、初期ノイズに依存します。初期ノイズを変更すれば、同じ入力画像からもさまざまな出力を得ることができます。
複数の深度推定結果をサンプルとして捉え、深度ごとの予測分布を構成する。
noise 1 / 2 / 3
Model
深度推定
Marigold[1]では複数サンプルの中央値を取る方法が提案されています。一方で本研究では、複数の出力を一つの値にまとめず、モデルごとの予測分布として扱います。
Mixture
Mixtureとは、複数の分布を組み合わせて一つの分布として表現する枠組みです[2]。例えば、対数空間で足し合わせるe-Mixtureでは、モデル同士の意見が一致する部分を強調するような統合を行えます。
e-Mixtureは、複数の分布が重なる部分を強調する。
これらのMixtureは、モデルの分布を一度別の空間へ写し、その空間で足し合わせてから、元の空間へ戻す手法とみなせます。
分布を写す空間によって、統合後の分布の性質が変化する。
そのため、分布を写す空間を変更することで、さまざまな性質を持つMixtureを構成できます。
本研究では、各モデルから得られた予測分布をMixtureとして統合します。予測のばらつきとモデル間の違いを残して表現するとともに、深度推定に適した統合方法を探索することを目指します。
05 / CHALLENGE
異なるモデルは
異なる間違い方をするのか
学習データセットを二分割し、それぞれをモデルA・モデルBの学習に使用しました。二つのモデルは異なる学習データを使用しています。
モデルAとモデルBは、異なるデータで学習したにもかかわらず、同じような深度を予測しています。単に学習データを分割するだけでは、モデルの出力が十分に多様化しない可能性があります。
06 / FUTURE WORK
モデルを専門化し
出力の多様性をつくる
同じような出力をするモデル同士を組み合わせても、性能の向上は見込めません。今後は、各モデルを専門化させることで、異なる特徴や誤りを持つモデル群を構築し、信頼度の推定につなげることを目指します。
07 / REFERENCES
参考文献
- B. Ke, A. Obukhov, S. Huang, N. Metzger, R. C. Daudt, and K. Schindler, “Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 9492–9502, 2024. 論文を開く ↗
- N. Murata and Y. Fujimoto, “Bregman Divergence and Density Integration,” Journal of Math-for-Industry, vol. 1, no. B, pp. 97–104, 2009. 論文を開く ↗