【画像処理】道路標示を用いたカメラ焦点距離の推定

はじめに
算出方法
実装
実験
- シミュレーション検証
- 実機(ドラレコ)実験

はじめに

　カメラの焦点距離を推定する方法として、２つの消失点を使用する方法がある。消失点は平行の関係にある複数の直線が画像上で交わる点である。実空間上では平行する直線が交わることはなく、画像上にある消失点は実空間上においては遥か彼方に存在している点ということになる。透視投影モデルにおいて、カメラ光学中心から画像上の消失点に対して張ったベクトルは、消失点を成す平行の関係にある実空間上の直線と平行の関係にある。つまり、透視投影モデルにおいて、カメラ光学中心から画像上の二つの消失点に対して張った２つのベクトルの成す角度は、各消失点を成す平行線の成す角度と同じになる。

算出方法

　消失点A,Bの内積の関係から、
$A\cdot B=|A||B|cos(\theta)$
　両辺を二乗し、絶対値を外し、左辺にまとめると
$cos^{2}(\theta) \left(Ax^{2} + Ay^{2} + f^{2}\right) \left(Bx^{2} + By^{2} + f^{2}\right) - \left(Ax Bx + Ay By + f^{2}\right)^{2}=0$
　これを $f^{2}$ について解くと
$f^{2}=\frac{- Ax^{2} cos^{2}(\theta) + 2 Ax Bx - Ay^{2} cos^{2}(\theta) + 2 Ay By - Bx^{2} cos^{2}(\theta) - By^{2} cos^{2}(\theta) \pm \sqrt{cos^{2}(\theta) \left(Ax^{4} cos^{2}(\theta) - 4 Ax^{3} Bx + 2 Ax^{2} Ay^{2} cos^{2}(\theta) - 4 Ax^{2} Ay By - 2 Ax^{2} Bx^{2} cos^{2}(\theta) + 8 Ax^{2} Bx^{2} - 2 Ax^{2} By^{2} cos^{2}(\theta) + 4 Ax^{2} By^{2} - 4 Ax Ay^{2} Bx + 8 Ax Ay Bx By - 4 Ax Bx^{3} - 4 Ax Bx By^{2} + Ay^{4} cos^{2}(\theta) - 4 Ay^{3} By - 2 Ay^{2} Bx^{2} cos^{2}(\theta) + 4 Ay^{2} Bx^{2} - 2 Ay^{2} By^{2} cos^{2}(\theta) + 8 Ay^{2} By^{2} - 4 Ay Bx^{2} By - 4 Ay By^{3} + Bx^{4} cos^{2}(\theta) + 2 Bx^{2} By^{2} cos^{2}(\theta) + By^{4} cos^{2}(\theta)\right)}}{2 \left(cos^{2}(\theta) - 1\right)}$
　が得られる。焦点距離は常に正の実数なので、解候補は最大で２つ得られる。(クソ長数式自動で改行する方法知りたい)

実装

画像を読み込む。(場合によっては歪曲収差係数ファイルも読み込む。)
平行線群を２グループ作成し、消失点を２つ計算する。
平行線の角度を与える。（初期値90度）
焦点距離を計算する。

github.com

実験

　シミュレーションによる検証と実機(ドラレコ)を用いた実験を行った。

シミュレーション検証

　シミュレーション環境は以下の記事で紹介したソフトを使用して、既知の焦点距離のカメラを模擬して生成した画像に対して焦点距離の推定を行った。被写体は路面標示の「横断歩道又は自転車横断帯あり」(以後ダイヤマーク)を模擬した菱形の頂点を散布図として描画した。
jonajiro.hatenablog.com

　検証1,2ではFOV85 deg.のカメラを使用した。双方で解は１候補のみ計算され(片方は虚数解)、最大9pixel以下の誤差があった。
　検証3,4ではFOV:65 deg.のカメラを使用し、双方で解は２候補計算されたが、片方候補が110と異常に小さく、FOVに換算すると167 deg.と異常に大きくなることから候補からは除外される。候補と考えられる解は、最大で4pixel以下の誤差があった。

実機(ドラレコ)実験

　ドラレコに対して焦点距離推定を行った。使用する画像は、自車走行路面に表示されたダイヤマークが最も大きく映ったフレームを使用した。

　推定の結果、1258.46と推定された。チェッカーボードを用いた手法で焦点距離を推定した結果は $f_x=1263.96$ , $f_y=1273.21$ であり、最大で15pixel以下のズレがあった。誤差率でいうと1.2%ではあるが、この推定焦点距離をP3Pに適用したときの誤差伝播がどのようになるか気になる。というかチェッカーボードを用いた手法による推定結果の誤差がどんなもんかわからないので何とも言えないところではあり、これもカメラシミュレータで検証してみたいところではある。