大資料時代,計算模式從客戶機 伺服器到節點的轉變

2021-07-09 17:03:04 字數 862 閱讀 9357

在資料庫時代,計算機在分布體系中的角色有明確劃分,不是客戶機就是伺服器,通常是一台伺服器連著多台客戶機,伺服器承擔儲存和計算的工作,客戶機負責顯示伺服器的處理結果。高效能的計算機,比如小型機會被做為伺服器,低端的計算機,如個人計算機成為客戶機。這就是以前經常說的client/server(客戶機/伺服器)結構。

到了大資料時代,這種角色已經悄然發生了變化。客戶機/伺服器的概念已經模糊化,被「節點」的概念取代。而這種變化的原因,歸根結底,還是資料處理需求發生了本質變化,迫使資料處理模型對應改變。有經驗的資料系統管理員不妨對比一下,在資料庫裡,我們面臨的資料儲存和計算量是多少;而在大資料環境裡,這些資料儲存和計算量又是多少?正是由於大資料集群的資料儲存和計算量實在太大,如果繼續按照c/s模式來處理資料,就無法適應這種巨量的資料處理需求,同時還有裝置採購成本和運營成本的帶來壓力,也迫切需要轉變系統執行模式,重新設計系統架構。這樣,節點的概念便應運而生。現在的大資料環境裡,資料處理都被設計成按功能劃分,切割成不同的階段和模組,每個節點同時承擔客戶機和伺服器的雙重角色,即傳送指令又處理指令。當傳送指令的時候,它是一台客戶機,等待伺服器的反饋;當接受和處理指令的時候,它是一台伺服器,執行資料處理工作。這種角色和工作模式的變化,既有簡化資料處理設計和流程帶來的好處,也使得我們對計算機效能的要求不那麼關注了。現在的大資料集群裡,個人計算機所以能夠完全代了小型機,正是這個原因。並且由於進一步降低成本和節約能源消耗的需要,以手機為代表的移動架構硬體也越來越多地進入到大資料環境裡,這對加快大資料的普及是十分有利的。

以下是laxcus集群的節點分布圖,所有節點都被設計成按照功能劃分,它們在集群中承擔著不同的工作,協同執行資料處理任務。

利用伺服器將客戶機加入域

1 netdom 系統支援工具,使用前需先行安裝 光碟 support tools suptools.msi 2 新增計算機到域 在域控制器上執行以下命令 netdom join 10.4.122.3 domain nc.bmcc.com.cn userd administrator passwor...

簡單的客戶機伺服器投射模擬

下面模擬了,簡單的客戶機伺服器投射模擬的過程。客戶機像伺服器傳送資料,伺服器接受到資料後,傳送回給客戶機。再由客戶機列印出來。網路方面 伺服器 socket af inet,sock stream,0 af inet表示ipv4,sock stream表示基於位元組流的,0表示協議由前面兩個引數組合...

簡單的客戶機伺服器投射模擬

下面模擬了,簡單的客戶機伺服器投射模擬的過程。客戶機像伺服器傳送資料,伺服器接受到資料後,傳送回給客戶機。再由客戶機列印出來。網路方面 伺服器 socket af inet,sock stream,0 af inet表示ipv4,sock stream表示基於位元組流的,0表示協議由前面兩個引數組合...