2023年9月9日 週三 天氣晴 【不悲嘆過去，不荒廢現在，不懼怕未來】
2. adaptive sampling（cvpr2020）
3. 總結
參考文獻
目前關於點雲的深度學習方法，大多數都是encoder-decoder的結構。encoder部分對點雲進行下取樣，通過「卷積」計算點雲的高階特徵，然後通過乙個分類頭完成分類任務，或者通過decoder把特徵還原到原始點雲，完成分割任務。
無論如何，點雲的下取樣都是乙個繞不開的問題。現在比較常見的下取樣演算法有：farthest point sampling(pointnet++，shellnet)、random sampling(randla-net)、grid sampling(kpconv，grid-gcn)等。它們各有特點：
剛開始點雲深度學習處理演算法傾向於使用取樣點分布均勻的fps，後面為了追求效率，開始逐漸向gs和rs靠攏。儘管gs和rs各自都有一定缺點，但是這些方法很好的通過一些方式對這些缺點進行了彌補，比如randla-net（下取樣使用rs）和grid-gcn（下取樣使用改進的gs）。
以上可以看出，大家開始對「傳統」fps的低效率產生不滿，紛紛尋求新的高效率取樣方法。grid-gcn中提出的coverage-aware grid query（改進的gs）是乙個很好的思路，因為它在一定程度上考慮了每個點的重要性，這和上面三種方法有所不同。本文要講的幾種新的取樣方法，都考慮了每個點的重要性。
cpl借鑑pointnet中最後的max-pooling操作，將每個feature屬性最max的點視為critical points，只保留這些點，從而完成sampling操作，將其定義為critical points layer（cpl）。但是我們都知道，在batch 操作中，點的數目必須相同，所以必須將取樣之後點的數目固定，如果不夠就進行nearest neighbor resizing（文章沒有對這一步進行詳細介紹，個人猜測就和最近鄰上取樣差不多，將距離critical points最近的點作為補充點）。
進一步考慮，假設a點在5個feature channel上都是argmax，b點只在1個feature channel上是argmax，這兩個點的重要程度肯定是不一樣的，但是cpl沒有進行特別的處理，如何進一步體現a點的importance就需要weight。所以作者又提出了加強版weighted critical points layer（wcpl），乙個point是幾個feature channel的argmax就將其重複幾次，從而增大在downsampling中被選中的概率。
adaptive sampling首先利用fps進行取樣，然後根據利用knn獲取鄰域點，之後對k個鄰域點進行自適應加權（attention的思想，權重的計算是直接對每個點應用mlp），求取加權平均值即為新的關鍵點。這種方式提公升了對雜訊點的魯棒性，同時將鄰域的幾何空間特徵引入到了取樣過程中。
說是adaptive sampling，其實就是 fps + attention，只是換了一種說法。
簡單總結一下，adaptive hierarchical down-sampling中的下取樣做法還是有一定借鑑意義的，但是adaptive sampling就顯得沒什麼創新。但是不可否認的是，它們都在思考如何對點雲進行更好的下取樣。作為大場景點雲處理的第一步也是重要的一步，高效且快速的下取樣方法必將會對點雲的快速處理起到關鍵作用。
PCL中GoxelGrid對點雲下取樣
使用體素化網格方法實現下取樣，即減少點的數量，減少點雲資料，並同時儲存點雲的形狀特徵，在提高配準，曲面重建，形狀識別等演算法速度中非常實用，pcl是實現的voxelgrid類通過輸入的點雲資料建立乙個三維體素柵格，容納後每個體素內用體素中所有點的重心來近似顯示體素中其他點，這樣該體素內所有點都用乙個...
機器學習中的 上取樣 下取樣 過取樣 欠取樣
這是兩種解決分類訓練過程中資料量不平衡的取樣方法 拿二分類舉例，期望陽性樣本數量 陰性樣本數量 1 1，但實際上陽性樣本數量 陰性樣本數量 1000 100 將100資料複製10份，達到兩個樣本數量之比為1000 1000 將1000資料隨機抽取100份，達到兩個樣本數量之比為100 100 卷積神...
基於體素化方法的點雲降取樣
前兩天做了乙個點雲降取樣的專案，用pcl自帶的降取樣方法出來的結果不是很理想，於是就自己寫了乙個。為了使 執行效率高點就採用了基於點雲索引的方式。本文使用的方法為 首先，計算點雲群的bounding box 然後，根據一定的解析度將空間點雲體素化，並記錄下每個體素所包含點雲的索引 體素化的實質就是給...