異數OS 2017 DPDK 峰會觀後感

2021-09-20 05:52:36 字數 2452 閱讀 8145

1.dpdk in container

使用虛擬網絡卡裝置技術為每乙個容器分配乙個ip 網絡卡介面卡(queue)。容器技術可以解決虛擬機器技術中虛擬機器過於臃腫,難於熱遷移的問題,可能可以代替美團ovs方案,解決ovs熱遷移方案不足的問題。

2.f-stack

3.a better virtio towords nfv cloud

高科技,不懂:)

4.spdk

沒詳細聽,感覺意義不是特別重大,因為應用系統中,磁碟io壓力不會特別高,而且儲存是有壽命的,不宜頻繁使用,好的系統設計,比如一些kv都是盡量少的提交持久化磁碟任務,所以更好的檔案系統以及更好的持久化任務系統(os)才是真正的重點。

5.效能調優

for迴圈優化在記憶體io密集型應用方面用不上,只能用在多層for迴圈重壓力演算法中,另外dpdk的記憶體預讀是否有用,我這邊使用的gcc的是沒有用的,不管是連續方寸還是隨機訪問。

問及hash 隨機訪存優化,演講者就說去看vpp...要看的話就不要問了...

6. 美團ovs

美團ovs被人質問宿主機公升級時,vm網絡卡斷了間隔怎樣處理,ovs本身並沒有解決方案,難以熱遷移,這其實是沒有直接解決方案的,而且僅僅是乙個大類問題的乙個小問題,本質問題是vm網絡卡斷了vm中的os協議棧以及應用可能會面臨雪崩和應用宕機,這個問題也是異數os方案解決的重點問題。

7.dpdl

聽的不太清楚,個人理解是rss fdir等技術並不能解決所有負載分流問題,所以需要誕生一種多核同時能處理乙個ring的需求。因此原本的單生產者單消費者的ring需要被擴充套件設計出多生產者多消費者的ring,本來單生產者單消費者的ring是利用cache一致性協議無鎖無atom的多核通訊,cache line內不需要保序,但需求變更後則會要求加鎖保序。

提問者則有質疑,這樣的情況加鎖則意味著阻塞cpu核,最壞的自旋鎖情況則是多核比單核還慢。

提問者的質疑異數os提供了解決方案。

異數os的虛擬交換機使用無鎖無atom的多生產者多消費者的設計,用於lpc的實現,但必須配合異數os使用,原理上講,他還是利用cache 一致性協議,沒有os的情況,則只能自旋鎖阻塞cpu核,但是有os則可以在try無效時做執行緒切換動作,在linux下,這兩種鎖都被應用實做以便於適應不同的情況,原因是linux的執行緒切換代價極高,所以直接決定了鎖能夠達到的頻度,頻度不高時可以使用執行緒切換的自旋鎖,以便於充實cpu核,帶來效能提公升,但網絡卡ring的pmd頻度很高,則不能用這種方式,而異數os則可以用這個方案,原因是異數os每盒最大執行緒切換能力可以達到50m。

8.intel 25gbe ethernet adapter

個人理解,交換機領域功能不足,os協議棧效能不濟的情況下,限制了其推廣。

9.dpdk cryptodev framework

提問者質疑延遲的問題,因為ring 要利用cache加速,不可能做大,因此延遲很敏感。

只講了使用dpdk抓包,清洗演算法未知,做到了90m的速度,所以猜測只是一些dpi,fastpath,不能做複雜的session清洗。

11.low latency interrupt mode pmd

回歸到了乙個經典問題,dpdk只看到了自己的問題,沒發現別人玩不轉,dpdk說我用使用者層pmd繞開linux核心協議棧,linux說,沒我你做不出協議棧,這個問題又再次出現了,在區域性上講,低流量壓力下時pmd浪費cpu資源,引入中斷模式的pmd可能會有效率,但是中斷關係到os的執行緒切換,為了減少執行緒切換,一般要用綁核以及本地化任務排程等技術,但中斷顯然打破了上層設計格局。

提問者大概的意思是中斷速率和pmd速率是否可以自動根據網路流量做自適應調節,但沒有得到直接答覆,因為這可能超過了演講者的問題理解範圍。

異數os則在這個問題上做了完整解決。

異數os的pmd執行緒會被qos做iops控制,在不同壓力下可以自適應變化到1m 2m....10m,在try miss的情況下pmd執行緒會被qos掛起,切換到其他就緒執行緒(包括idle降溫執行緒),在iops資源可用時再被喚醒回來。

12.嵌入式交換機解決方案

交換機不是太懂:)

13.panabit support millons users in vbras

nat alg pppoe,聽到孫總200w 2000w session管理以及os這一概念後,本來以為找到同行了,但提問希望關注他們的os特性如何處理雪崩等問題時,則被轉移話題。

qq技術群中 move經驗豐富 測試過他們的產品,說syn異常時,鏈結資源無法被清理,只能reboot,那麼說明他們應該沒有os來管理龐大的session 生命期,只是個fastpath,甚至連定時器都沒有(定時器在海量鏈結時很耗資源)。

孫總的銷售思路比研發在戰略上肯定更加清晰,導致論戰上的勝利。

如果有os的話,有希望做應用業務級別精確的qos,所以顛覆式創新比標準制定者(中興華為)肯定更能獲得希望,但他們的os真做了嗎?

14. dpdk pmd in lxc

上場論戰太感人,在回味,所以沒聽。

15.yuanshan ddos清洗

異數OS 織夢師 纖手(二) LPC RPC篇

github 異數os社群qq群 652455784 異數os 織夢師 訊息中介軟體 rpc技術 群 476260389 纖手主要用於異數os 之上效能級應用系統設計,他並不支援序列化等需要cpu密集型功能,因此他也不支援其他非c 語言平台,要求cpu同構 大端,小端 相比傳統rpc 技術,提供10...

Nowcoder E 詭異數字(數字dp)

牛客小白月賽8真的打的自閉了,感覺一點都不小白 t t 肯定是我太菜了,沒錯就是這樣的 題目鏈結 題解說這是乙個非常簡單的數字dp,沒接觸過,感覺挺難的 大概這就是菜吧 先稍微了解了一下數字dp,附上寫的非常好的數字dp詳解 然後看懂了大佬的 敲了一下再附上了我的理解 includeusing na...

異數OS 織夢師 水母(一) 訊息佇列篇

github 異數os社群qq群 652455784 異數os 織夢師 訊息中介軟體 群 476260389 這是乙個使用異數os技術實做的輕量級的訊息中介軟體,和他的名字一樣,重在表演,他不是乙個功能複雜齊全的訊息佇列,使用者需要根據自己需求按照水母的原理去製作自己的超級 整個框架,協議,測試等 ...