基於linux的集群系統(一)

2022-01-13 09:53:21 字數 3519 閱讀 1069

目錄
基於linux的集群系統(一)

基於linux的集群系統(二)

基於linux的集群系統(三)

基於linux的集群系統(四)

基於linux的集群系統(五)

基於linux的集群系統(六)

基於linux的集群系統(七)

基於linux的集群系統(八)

基於linux的集群系統(九)

第一台計算機問世已經半個世紀了,在這期間計算機技術經歷了五次更新換代。更新換代的標誌主要有兩個:乙個是計算機的器件,另乙個是系統體系結構。從第一代到第五代計算機,器件發生了根本的變化:從電子管、電晶體發展到積體電路,而積體電路又經小規模、中規模、大規模、非常大規模等階段發展到超大規模階段。系統體系結構的不斷改進,許多重要的概念的不斷提出並且得到實現,推動計算機技術向更高的層次發展。從早期的變址暫存器、通用暫存器、程式中斷和i/o通道等概念,到虛擬儲存器、cache儲存器、微程式設計、系列機、基於匯流排的多cpu系統、向量處理機等概念,發展到64位risc處理器、基於mpp、numa、集群等體系結構的可伸縮並行處理系統,計算機系統技術也取得了突飛猛進的發展。

將多台同構或異構的計算機連線起來協同完成特定的任務就構成了集群系統。早在二十世紀七八十年代,digital equipment公司和tandem計算機公司就開始了集群系統的研究與開發工作。

集群系統主要分為兩種:

高可用性集群和高效能集群。

高可用性集群的主要功能就是提供不間斷的服務。有許多應用程式都必須一天二十四小時地不停運轉,如所有的web伺服器、工業控制器、atm、遠端通訊轉接器、醫學與軍事監測儀以及**處理機等。對這些應用程式而言,暫時的停機都會導致資料的丟失和災難性的後果。

高效能集群通過將多台機器連線起來同時處理複雜的計算問題。模擬星球附近的磁場、**龍捲風的出現、定位石油資源的儲藏地等情況都需要對大量的資料進行處理。傳統的處理方法是使用超級計算機來完成計算工作,但是超級計算機的**比較昂貴,而且可用性和可擴充套件性不夠強,因此集群成為了高效能計算領域矚目的焦點。

集群系統採用的作業系統主要有vms、unix、windowsnt和linux。

美國dec公司(digital equipment corporation)開發的vmscluster系統開發最早,技術也很成熟,應用也很廣泛,但由於vms作業系統只能在dec公司的vax系列和alpha系列伺服器上執行,vmscluster的應用受到很大限制。

unix是伺服器或工作站上普遍使用的作業系統,它執行穩定、安全性也比較好,因此許多大的公司都採用了基於unix的集群系統解決方案,如dec、hp、sun、ibm、ncr和dg等公司,其中在國內影響比較大的主要是dec、hp、sun和ibm。其中dec公司的trucluster系統提供了由4臺digital alpha server組成的集群系統,它集高可靠性、高可用性和易管理性於一身,是關鍵業務計算機系統的理想解決方案。

基於windowsnt的集群系統解決方案廠商主要有mircrosoft和dec。microsoft於2023年就開始了集群系統的開發工作。windows 2000中已經增加了集群功能,該高可用性集群叫做wolfpack,也叫做microsoft cluster server (mcs)。它主要是在企業級對基於windows nt伺服器的應用程式提供可用性和可公升級性。wolfpack現在支援兩個伺服器,乙個用來對使用者提供服務,另乙個作為備份伺服器使用。microsoft下一步的目標是將wolfpack支援的節點數擴充套件到16個。wolfpack的缺陷在於:它只提供了兩個節點的失敗恢復功能,而沒有採用複雜的應用程式資源管理功能,因此在一定程度上影響了系統的高可用性、高可靠性和可公升級性。wolfpack不能支援多種作業系統,而只能執行於windows nt作業系統上。由於windowsnt作業系統本身在穩定性、大型平行計算上與unix系統存在較大差距,目前主要在中小型系統上應用。但是隨著windowsnt系統走向成熟,基於windowsnt的計算機集群系統將獲得更廣泛的應用。

九十年代末期,linux作業系統不斷走向成熟,它的健壯性不斷增強,並且提供了gnu軟體和標準化的pvm、mpi訊息傳遞機制,最重要的是linux在普通pc機上提供了對高效能網路的支援,這樣就大大推動了基於linux的集群系統的發展。

turbolinux公司推出了能夠顯著地提高基於tcp/ip協議的多種網路服務的服務質量的高可用性集群系統turbocluster。red hat也提供了基於linux virtual server思想構建的高可用性集群系統piranha。由ericsson軟體工程研究中心開發的高可用性集群系統eddie的主要目的是提供乙個商業級的,能提供較好的服務質量的web伺服器的解決方案。

platform公司開發的高可用性集群系統lsf提供了分布式集群系統的解決方案,通過將物理上分離的多個集群連線在一起使使多個同構或異構的計算機能夠通過區域網或廣域網共享計算資源,並能夠為使用者提供對資源的透明訪問。

高效能集群系統mosix為linux核心增添了集群計算的功能。在mosix集群環境中,使用者無需對應用程式進行修改,或將應用程式與庫連線起來,或將應用程式分配到不同的節點上執行。mosix會自動將這些工作透明地交給別的節點來執行。

日本的f5公司開發出了高可用性集群big-ip,它是使用於本地網路站點或資料中心的高可用的、智慧型化的負載平衡產品,它提供了對網路流量的自動和智慧型的管理。與前幾種集群系統不同的是,big-ip向使用者提供的是乙個即插即用裝置,而其它的提供的都是軟體方法。

ibm、microsoft和intel於2023年7月聯合發布了一種高可用性伺服器集群軟體及硬體包,這種伺服器集群的配置包括32臺ibm netfinity 8500r及intel pentium ⅲ xeon處理器,執行ibm的db2 universal database和microsoft windows 2000 advanced server作業系統,每分鐘可以執行440879次交易。這套系統面向資料密集的應用,特別是b2b、電子商務和企業資源規劃領域。

在科學計算領域中,人們開始把注意力投向通過普通pc機或工作站的集群來代替昂貴的超級計算機。比較成功的例子是高效能集群系統beowulf,它最初是由nasa的goddard flight center進行開發的,主要目的是支援大規模的科學計算問題,如地球和太空科學面臨的一些計算問題。

國內也有不少公司進行了集群系統的研究和開發工作。

聯想公司在2023年9月推出了用於分布式高效能計算的ns10000高效能集群伺服器,該系統是乙個四節點的系統,主要基於聯想萬全4500r伺服器,以總體成本相對較低的裝置組合,足以替代傳統risc小型機和中型機的工作,而**僅為市場上同等效能小型機的1/2--1/4。

朗新公司也推出了類似於turbocluster的高可用性集群系統longshine cluster server。

2023年9月20日,中國第一家專業面向linux高階應用市場的集群網路****推出了國內首例linux安全集群系統。它是國內第乙個通過公安部認證的安全linux系統,而其集群技術也已應用於諸多國際著名**,如linux的門戶www.linux.com、英國國家janet cache網、奧地利的入口站點和瑞士電信等。其核心**也已被納入美國red hat linux發布版的核心。

中國自主開發研製的集群式高效能計算機集群系統"自強2000-suhpcs"於2023年9月在上海大學問世。這一系統的峰值速度達到每秒3000億次浮點操作。是當前中國國內集群式高效能計算機系統中速度最快的。

基於Linux的集群系統(六)

基於linux的集群系統 六 關鍵技術分析之 高可用性 本篇是 關鍵技術分析 的第二篇,將為您講述集群系統高可用性,主要包括集群管理器和節點的高可用性。計算機系統的可靠性用平均無故障時間 mttf 來度量,即計算機系統平均能夠正常執行多長時間,才發生一次故障。系統的可靠性越高,平均無故障時間越長。可...

分布式系統與集群系統的區別

集群或者群集是指所有的裝置共同完成相同的功能,每乙個裝置的功能都是完整的,但是在外界看來是乙個裝置。分布式是所有的裝置集結後,共同組成乙個體系,相互之間協同工作,同時又各自完成自己的相應的工作,但是所有的功能不是在乙個裝置上,而是由不同的裝置完成,但是由乙個裝置作為統一的接入點和協調點。簡單說,分布...

基於JSP SERVLET的新聞發布系統 一

本系統使用的是基於jsp servlet tomcat6 資料庫使用的是mysql 1,第乙個模組是登陸處理。關鍵 如下 該句 用於反饋後台的校驗資訊,如使用者名稱與密碼不匹配等。接受引數使用的是乙個小工具類 user user user copypropertyutil.copypropertie...