混合負載的機遇和挑戰

2021-10-25 16:01:57 字數 1870 閱讀 2695

在資料庫發展的早期,資料庫產品和技術被分為兩類,一類是面向事務的oltp(online transaction processing),另一類是側重分析的olap(onlineanalytical processing)。oltp通常用於聯機交易系統中,例如電子商務中的訂單交易和金融業中的賬戶交易,涉及頻繁的插入、更改、刪除操作和大量小規模查詢,併發執行語句很多,但查詢需要掃瞄的資料量或者返回的資料行數並不多。oltp業務對系統的實時性要求較高,對資料的一致性的要求更為嚴格。如果在同乙個事務中對兩個賬戶操作,將資金從乙個賬戶轉賬到另乙個賬戶,那麼乙個賬戶餘額減少和另乙個賬戶餘額增加必須是同時成功或者失敗。對oltp系統的考量主要是單個語句的執行時間和單位時間內完成的事務數量(transaction per second, tps)。oltp的終端使用者往往是業務系統的使用者,也就是企業的終端使用者或者業務終端。olap系統通常用在資料倉儲和決策分析中,例如一段時期內的訂單交易特點分析和違規的賬戶交易檢測。這涉及批量的資料匯入,少量的更改和刪除操作,小量、大規模查詢,雖然併發度不高,但查詢涉及的資料量往往很多,甚至觸及過去幾年的歷史資料和面向多個維度的彙總分析。olap的終端使用者往往是企業內部分析、決策和管理人員。

在企業實際操作中,這兩類系統也經常分開部署,主要的原因有兩個,一是系統的資源限制,二是兩者對產品的技術要求不同。在資料庫產品出現的早期,系統多是單機系統,cpu、記憶體、磁碟容量和速度都有限,支援單純的oltp或者olap已經讓系統資源吃緊,將兩者混合在一起恐怕會帶來1+1<1的效果。在技術實現上,oltp系統的瓶頸往往是磁碟,主要優化手段包括索引和快取。借助索引可以更快速地定位到相關記錄,減少磁碟訪問;借助快取可以將頻繁訪問和最近訪問的資料塊放在記憶體,從而減少磁碟訪問次數。而olap系統的瓶頸往往在cpu和磁碟。cpu的優化主要利用多核或者多機並行,磁碟的優化手段更加多樣,包括分割槽技術、壓縮技術和列式儲存等

事務型和分析型系統的分開帶來很多問題,乙個問題是資料同步,另乙個問題就是業務系統的複雜化。企業的聯機應用需要訪問和生成的資料被儲存在乙個事務型系統中,這些資料持續變化;歷史資料和部分加工處理過的彙總資料儲存在分析型系統中。事務型系統彙總的資料通常需要借助etl定期更新到分析型系統中。etl的資料量和同步速度決定了資料的實時程度,如果etl作業需要乙個晚上才能完成,也就意味著最新的資料只能在第二天的分析型系統中看到,這就是典型的t+1分析報表產生的根本原因。t+1意味著資料分析至少存在一天的延遲。對於有些業務,這樣的延遲會產生一系列連鎖反應,如果對於時效要求較高的業務能夠在更短時間內或者近乎實時地完成分析,將給業務決策帶來更多選擇和先機。如果結合歷史資料和實時資料的綜合分析結果需要再次反饋給事務型系統,那麼這樣的改進好處更多。

面對這樣的資料儲存和布局,企業的業務系統也要相應地區分單一操作是針對什麼系統、需要訪問的資料來自**、生成的資料儲存到**、被哪些系統訪問處理、延遲是怎麼樣的、資料在事務型和分析型系統中的模型分別是什麼、它們的對應關係是怎樣的,等等。面對如此分散的資料分布和多樣化的資料模型,應用的開發和維護人員需要考慮太多的問題,設計的應用在處理核心業務邏輯之外,同時需要處理所有這些問題,才能保證資料在不同時間段和不同情況下的有效性。複雜的業務系統也給運維工作帶來了挑戰,對應用的可靠性、容錯能力和故障診斷機制都有很多的要求。

有沒有一種普適性的資料產品可以很好地支撐多種業務場景和不同的負載需求?這是很多使用者經過這麼多年的困擾後提出的乙個共同問題。如果有這樣一款產品,那麼整個資料布局將得到極大的簡化,很多此前不可能實現的業務也將變得容易,從而幫助企業更好地實施運營和改善使用者體驗。

理論上是存在這樣的資料產品的。曾經制約混合負載部署的一些問題最近幾年已得到改進。硬體資源的效能持續提高,單個伺服器的cpu、記憶體和儲存能力已相當可觀,企業的資料中心和網路速度也足以支撐成千上萬臺伺服器平穩執行。分布式資料產品的技術能力也已經非常成熟,在乙個有上千臺機器的大型集群中已經可以部署、執行單一資料產品來為企業的核心生產業務服務。各個資料產品也互相學習,取長補短,從而可以支援更加多樣化的業務負載

混合雲的優點和挑戰

混合雲是一種組合的雲,它是一種公共雲和私有雲的組合,是組織提供和管理一些內部資源,以及其他組織提供外部資源的雲計算環境。服務 商可以完整的或部分的方式利用第三方雲 商提供的服務,從而增加了計算的靈活性。混合雲通常有兩種方式提供 一種是由私有雲計算 商提供的私有雲,並與公共雲 商形成夥伴關係 另一種是...

走近混合雲 混合雲的優點和挑戰

混合雲是一種組合的雲,它是一種公共雲和私有雲的組合,是組織提供和管理一些內部資源,以及其他組織提供外部資源的雲計算環境。服務 商可以完整的或部分的方式利用第三方雲 商提供的服務,從而增加了計算的靈活性。混合雲通常有兩種方式提供 一種是由私有雲計算 商提供的私有雲,並與公共雲 商形成夥伴關係 另一種是...

UWB定位的機遇與挑戰

隨著通訊技術和工業電子產品的不斷發展和普及,以uwb為首的室內定位技術發展迅猛,定位精度也從豪放的公尺級定位發展到了精細的厘公尺級。高精度的定位為各領域的實際應用提供了技術支援,在電廠 化工廠 煤礦等工業企業和展會 醫院 養老院等社會場景均有建樹,而定位技術在人員管理與安全方面的作用,讓這一領域從曾...