3D目標檢測之AM3D

**：《accurate monocular object detection via color-embedded 3d reconstructionfor autonomous driving》

參考戳這裡

先用2d目標檢測網路和單目深度估計網路分別檢測2d box和深度資訊，然後將深度資訊轉化為三維點雲。根據2d box對目標區域進行前景分割，得到目標例項。再利用注意力機制，將rgb圖與點雲資訊結合（該**的乙個亮點），在用pointnet作為主幹網路回歸3d box。

引入三維點雲資訊後，每個點被編碼為乙個6d向量：[x, y, z, r, g, b]。因為點雲和rgb影象是不同模態的資料，若簡單的將rgb資訊與點雲資訊融合，並不能有較好的效果。所以，作者利用注意力機制將rgb資訊與點雲資訊進行融合。

其中，a、根據2d box 從rgb影象中裁剪目標的roi，並resize到128*128大小；

b、利用cnn提取目標特徵

c、特徵融合，

訓練分2個階段，第乙個階段，根據原**策略訓練2d 目標檢測和深度估計網路。第二個階段聯合訓練3d目標檢測。多工loss如下：

lloc對應3d檢測網路（檢測center、size、heading angle）。用corner loss回歸3d目標框的8個角點座標。