前言：視覺 slam 存在輸出頻率低、旋轉運動時、或運動速率加快時定位易失敗等問題，而 imu 有輸出頻率高、能輸出6dof測量資訊等優點。因此現階段的乙個研究熱點是將視覺 slam 與 imu 得到的位姿估計結果進行融合，得到更加魯棒的輸出結果。通過二者的融合，可以解決視覺位姿估計輸出頻率低的問題，同時位姿估計精度有一定的提高，整個系統也更加魯棒。這也是乙個 vio (visual inertial odometry) 問題。慣性測量單元(inertial measurement unit，簡稱 imu)一般由三個單軸加速度計和陀螺儀組成。慣導解算主要是通過加速度計測得的載體加速度和陀螺測得的載體相對於導航座標系的角速度來對載體的位置、 姿態及速度進行解算。
慣性導航中常用的座標系有地心慣性座標系、導航座標系以及載體座標系。座標軸一般指向載體正前、正右及正下方。
同slam發展過程類似，視覺融合imu問題也可以分成基於濾波和基於優化兩大類。
同時按照是否把影象特徵資訊加入狀態向量來進行分類，可以分為松耦合和緊耦合兩大類。
1.1 松耦合
松耦合將視覺感測器和 imu 作為兩個單獨的模組，兩個模組均可以計算得到位姿資訊，然後一般通過 ekf 進行融合。
可參考的演算法有ethz的stephen weiss的ssf和msf
1.2 緊耦合
緊耦合則是指將視覺和 imu 得到的中間資料通過乙個優化濾波器進行處理，緊耦合需要把影象特徵加入到特徵向量中，最終得到位姿資訊的過程。由於這個原因，系統狀態向量最終的維度也會非常高，同時計算量也很大。
可參考的演算法有msckf，rovio
2.1 松耦合
基於松耦合優化的工作不多，這裡只給出一篇文章作為參考：
inertial aided dense & semi-dense methods for robust direct visual odometry
2.2 緊耦合
提到基於優化的緊耦合，就不得不提okvis了，主體思想是建立乙個統一的損失函式同時優化視覺與imu的位姿，用到了sliding window的思想。（這方面博主也需要再深入研究一下）
可參考okvis的github主頁：
okvis
以及港科大今年上半年剛剛開源的vins：
vins
總體來看，松耦合演算法相對簡單，且擴充套件性很強，可以加入多種感測器資訊進行融合，但融合得到的位姿估計精度相對較差；緊耦合演算法實現起來相對複雜，可擴充套件性差，但融合得到的位姿估計精度較高。
資料參考：
視覺SLAM融合IMU問題研究筆記
前言 視覺 slam 存在輸出頻率低 旋轉運動時 或運動速率加快時定位易失敗等問題，而 imu 有輸出頻率高 能輸出6dof測量資訊等優點。因此現階段的乙個研究熱點是將視覺 slam 與 imu 得到的位姿估計結果進行融合，得到更加魯棒的輸出結果。通過二者的融合，可以解決視覺位姿估計輸出頻率低的問題...
視覺SLAM研究點介紹
在 slam for dummy 中，有一句話說的好 slam並不是一種演算法，而是乙個概念。slam is more like a concept than a single algorithm.所以，你可以和導師 師兄弟 以及師妹，如果有的話 說你在研究slam，但是，作為同行，我可能更關心 你...
視覺SLAM 二 研究點介紹
在 slam for dummy 中，有一句話說的好 slam並不是一種演算法，而是乙個概念。slam is more like a concept than a single algorithm.所以，你可以和導師 師兄弟 以及師妹，如果有的話 說你在研究slam，但是，作為同行，我可能更關心 你...