5G時代,為什麼NoSQL和SQL存在短板

2022-06-05 06:12:13 字數 4122 閱讀 1111

當今的通訊服務提供商(csp)需要能夠在處理海量複雜的資料的同時,不會下降或者減慢網路響應速度和可靠性。5g時代,裝置和使用者數量呈指數級增長,這對業務支援服務(bss)提出了新需求,也成為了一項特別艱鉅的任務。

正如您目前所看到的現實情況,電信網路策略響應,個性化**或防止欺詐交易等應用程式,必須能夠在幾毫秒內對資料事件做出反應,才能增加營收或防止虧損。

為了更好地滿足這些日益複雜的需求,csp需要知道如何在日益擁擠的資料庫環境中進行最佳地資料管理,而且這類場景似乎每年都會出現新的類別。最新類別則是newsql,它為nosql和sql資料庫無法提供的電信公司提供了獨特優勢,尤其是在實時資料處理方面。當今的資料庫需要遍歷整個資料從獲取到執行的整個生命週期,且必須在10毫秒或更短的時間完成。環顧四周,目前只有newsql資料平台才能實現這一目的。

本文闡述了sql,nosql和newsql資料庫之間的主要區別,並解釋了為什麼newsql資料庫是電信行業順應時代發展的關鍵,以及在5g時代,csp如何充分利用各種資料庫技術對其網路進行高效運維管理。

newsql是451 group的分析師matt aslett創造的乙個術語,用來描述一組新的資料庫特性,這些特性既繼承了傳統sql關聯式資料庫的許多功能,同時也提供nosql技術的某些優勢。

newsql系統為現實提供了兩全其美的方案:關係資料模型和傳統資料庫的acid事務一致性;繼承sql的互動便利性以及nosql的可擴充套件性和速度。有些系統提供了比nosql解決方案更強的一致性保證,儘管有人認為「可調」的一致性是偽一致性,但也並不完全符合acid。

當然,newsql解決方案之間也存在差異。sap hana可以處理少量的事務性工作負載,但是沒有本地集群的優勢。nuodb是乙個群集優先的sql資料庫,專注於雲部署,但是吞吐量很差。memsql對於集群分析很有用,但是其可調整的一致性並非嚴格意義上的acid事務。nuodb和memsql都具有計算和儲存分離的特點,因此它們可能會遇到資料傳輸和同步(尤其是圍繞事務的同步)的問題。

acid 原則

大多數關聯式資料庫都遵循acid(原子性、一致性、隔離性和永續性)原則,而大多數nosql資料庫是base(基本可用、軟狀態、最終一致性)原則。

newsql資料庫,如voltdb,為聯機事務處理(oltp)工作提供了nosql系統的可擴充套件性,同時遵從了傳統資料庫系統的acid保證。

既然我們已經注意到了sql、nosql和newsql的基本區別,以及他們各自的優缺點。接下來,就讓我們深入了解下,電信業運營商和開發人員真正關心nosql和newsql的哪些特性,他們可以使用nosql解決哪些問題?

我們不懷疑nosql資料庫非常契合許多任務作場景,但是在某些特定場景下,nosql技術可能並不是能選擇的最佳的解決方案。

下一節會對比newsql和nosql在電信業資料管理的4個關鍵考量指標:可擴充套件性,可用性,資料一致性以及快速響應。

nosqlnewsql

儘管nosql關係資料庫系統提供了可擴充套件性選項,但通常這一成本很高。newsql系統也在致力於應對系統擴充套件性的挑戰,同時它繼承了傳統rdbms的事務性和sql標準。

在典型場景中,記憶體中的大規模並行sql關聯式資料庫,該資料庫在通用硬體上可以線性擴充套件。與nosql解決方案一樣,newsql資料庫對雲原生友好,並且可以隨意擴充套件以滿足超大資料規模下的應用程式需求。系統應設計為使用集群內無共享資料分塊的架構,來實現雲端環境下低延遲的讀寫效能。

newsql資料庫提供了高可用、容錯性以及物理資料冗餘,在電信網路之類的場景也能夠平穩執行,以便電信運營商能夠從容應對大量湧入的資料。借助功能強大的newsql資料庫,使用者還可以針對實時資料流處理場景,構建面向實時事務的應用程式。

nosql

nosql系統專為cap理論的可用性而設計,這意味著即使在分布式分割槽的情況下,資料庫也始終會響應。

但是nosql系統在設計上優先考慮可用性,採用最終一致性,而不是強一致性(即始終提供最新最正確的資料集快照)方案,意味著nosql系統為了快速響應,然而可以返回的不是最新資料。

apache cassandra是最終一致性理念的踐行者,即快速響應比始終返回最新資料更重要,確實對於許多應用程式而言,最終的一致性是可以接受的。

但是,需要根據確切資料才可以進行交易的場景,比如電信公司需要採取措施來打擊欺詐等活動,最終一致性是不可接受的。

因此,nosql解決方案不適用於以下情況:

newsql

newsql系統優先考慮一致性而不是可用性。newsql系統將向所有客戶返回相同的確切答案,從而使應用程式可以在通話費用,飛機座位分配和庫存等方面做出實時決策,而不會發生衝突。

nosql

如前所述,nosql系統是為實現可擴充套件性和可用性而設計的,但要犧牲強一致性作為代價。因此,對於需要強一致性的場景而言,nosql系統並不是乙個好的選擇,比如計費和操作支援場景,而這兩個場景對於電信運營又都很常見。

同樣的還有欺詐行為,電信運營商尤其是發展中國家的電信運營商,承受著巨大的壓力,被濫用的sim卡甚至可以用貨櫃計,從而造成每年數十億美元的損失。解決電信欺詐問題需要大規模準確地實時計算查詢呼叫方賬戶,這都是nosql資料庫無法做到的。

newsql

newsql系統具有高度一致性,它們優先考慮一致性而不是可用性,與此同時,newsql也支援多分割槽,這對於電信公司及其提供不間斷服務的能力至關重要,因為這意味著即使節點到節點的通訊出現故障,集群仍可以繼續工作。

nosql

快速響應的場景在現代場景中非常普遍。儘管nosql解決方案通常可以提高資料儲存速度,但無法提供大規模的強一致的事務支援。

需要快速,可擴充套件的交易性應用程式包括:

在驗證使用者餘額的同時允許移動**連線

以最優惠的**進行交易

向潛在的數千個使用者展示移動廣告,而不會超出客戶的廣告投放預算

為電信服務商提供嚴格的sla 在批准交易之前檢測是否存在信用卡盜刷行為

newsql

newsql系統為現代應用程式提供了高可擴充套件性和強一致性的特性,即使在海量資料處理時,多分割槽冗餘支援也可以使得系統線性擴充套件,助力應用程式精確快速響應客戶請求。

nosql和newsql都提供了構建高度可擴充套件的應用程式的資料儲存能力。nosql資料儲存是高可用性應用場景的理想選擇。newsql系統則提供強大的一致性和事務互動性能力,即便在出現故障時,一致性比可用性更受青睞的場景中,newsql是最佳選擇。

儘管幾乎所有nosql解決方案都提供了可擴充套件性,但voltdb卻提供了可擴充套件性並新增了強一致性的事務支援。

voltdb具備極高的響應速度、強一致性和可擴充套件性。在所有newsql解決方案,面對集群故障的情景中,voltdb都是最強大和最靈活的,我們針對可用性進行了獨立驗證,見證了許多客戶在生產環境集群中穩定執行數年。

voltdb在需要強一致性的應用場景中表現出色,包括:

處理電信bss和網路中日益複雜的策略和計費規則問題

從呼叫後欺詐檢測到防止欺詐性呼叫發生

向電信客戶提供即時優惠,以改善訂戶體驗和arpu 應用機器學習規則來檢測和防止工業物聯網的入侵行為

測量、監視和檢測效能下降,避免意外宕機

voltdb是目前市場上最成熟的newsql系統,也是雲原生資料庫。它支援實時資料流中的acid事務處理,對本地集群和hadoop生態支援也非常完備。除此之外,它同時整合了高吞吐量,低延遲的資料處理特性,是非常優秀的資料密集型應用程式系統, 在高效能、低延遲、強一致性需求場景中表現不俗,廣泛應用於策略執行,個性化推薦,欺詐或異常檢測等需要實時決策響應的資料流應用程式中。

關於voltdb

voltdb支援強acid和實時智慧型決策的應用程式,以實現互聯世界。沒有其它資料庫產品可以像voltdb這樣,可以同時需要低延時、大規模、高併發數和準確性相結合的應用程式加油。

voltdb由2023年圖靈獎獲得者mike stonebraker博士建立,他對關聯式資料庫進行了重新設計,以應對當今不斷增長的實時操作和機器學習挑戰。stonebraker博士對資料庫技術研究已有40多年,在快速資料,流資料和記憶體資料庫方面帶來了眾多創新理念。

在voltdb的研發過程中,他意識到了利用記憶體事務資料庫技術挖掘流資料的全部潛力,不但可以滿足處理資料的延遲和併發需求,還能提供實時分析和決策。voltdb是業界可信賴的名稱,在諾基亞、金融時報、三菱電機、hpe、巴克萊、華為等領先組織合作有實際場景落地案例。

5G時代 和TCP IP說拜拜

i just don t love you anymore這一首可以單曲迴圈一星期的歌曲,此刻聽來,彷彿是5g唱給tcp ip聽的。眾所周知,4g lte全面ip化,上層傳輸走的是tcp ip協議。但是,我們熟悉的這個構架並沒有發揮出流動網路的全部潛力,甚至阻礙了未來網路的發展。lte使用者面協議構...

5G 時代的到來意味著什麼?

不久前,國際通訊標準組織3gpp對外公布了第五代移動通訊技術5g的官方logo 美國通訊運營商verizon宣布今年將在美國11座城市進行5g試驗性運營 中國5g網路第二階段測試也將於今年正式開啟。從晶元廠商 通訊運營商 電信裝置製造商 終端廠商 全球標準化組織似乎今年都鉚足了勁 頻頻出招,關於5g...

5G和4G有什麼區別?

6月6日,工信部正式向中國電信 中國移動 中國聯通 中國廣電發放5g商用牌照,自此我國正式進入了5g時代。5g到來之後,4g網路是不是就要被淘汰?5g網路和4g到底有什麼區別?相信很多吃瓜群眾和小師妹一樣好奇,今天小師妹就給大家講講,5g和4g的區別。首先,我們要知道的是,5g作為下一代通訊網路,它...