linux編譯命令 make j8

2021-09-10 04:57:31 字數 4212 閱讀 9257

專案越來越大,每次需要重新編譯整個專案都是一件很浪費時間的事情。research了一下,找到以下可以幫助提高速度的方法,總結一下。

有人說在windows下用了ramdisk把乙個專案編譯時間從4.5小時減少到了5分鐘,也許這個數字是有點誇張了,不過粗想想,把檔案放到記憶體上做編譯應該是比在磁碟上快多了吧,尤其如果編譯器需要生成很多臨時檔案的話。

這個做法的實現成本最低,在linux中,直接mount乙個tmpfs就可以了。而且對所編譯的工程沒有任何要求,也不用改動編譯環境。

mount -t tmpfs tmpfs ~/build -o size=1g

用2.6.32.2的linux kernel來測試一下編譯速度:

用物理磁碟:40分16秒

用tmpfs:39分56秒

呃……沒什麼變化。看來編譯慢很大程度上瓶頸並不在io上面。但對於乙個實際專案來說,編譯過程中可能還會有打包等io密集的操作,所以只要可能,用tmpfs是有益無害的。當然對於大專案來說,你需要有足夠的記憶體才能負擔得起這個tmpfs的開銷。

既然io不是瓶頸,那cpu就應該是乙個影響編譯速度的重要因素了。

用make -j帶乙個引數,可以把專案在進行並行編譯,比如在一台雙核的機器上,完全可以用make -j4,讓make最多允許4個編譯命令同時執行,這樣可以更有效的利用cpu資源。

還是用kernel來測試:

用make: 40分16秒

用make -j4:23分16秒

用make -j8:22分59秒

由此看來,在多核cpu上,適當的進行並行編譯還是可以明顯提高編譯速度的。但並行的任務不宜太多,一般是以cpu的核心數目的兩倍為宜。

不過這個方案不是完全沒有cost的,如果專案的makefile不規範,沒有正確的設定好依賴關係,並行編譯的結果就是編譯不能正常進行。如果依賴關係設定過於保守,則可能本身編譯的可並行度就下降了,也不能取得最佳的效果。

超執行緒技術的原理很簡單,以前的單核心處理器,在同一時間內只可以處理一項工作 (執行緒,thread),如果要處理一項以上的工作時,以前的單核心處理器是不可行的,所以英特爾就開發了超執行緒技術,以乙個單核心的處理器,去模擬出雙核心的環境,但這並非能夠把處理器的效能提公升雙倍,原因在於實體的核心始終只有乙個,而效能有約百分之至二十至三十增長。

在奔騰四時代intel就已經引入了人超執行緒技術,而特意的加長的流水線反而成了ht技術的累贅。

所以推出奔騰d及後來的酷睿2系列時,英特爾並沒有加進超執行緒技術,因為奔騰d及酷睿2處理器已支援雙核心處理器的運作,而且intel也在默默的鑽研指令**技術減少流水線。在酷睿2後期英特爾推出了酷睿2四核心處理器,因為有使用者反映雙核不足以應付手頭的工作,再到後來, 英特爾酷睿i7出現了,他帶著 intel 全新的超執行緒技術,很短的流水線這得益於他的指令分支**技術,擁有著奔騰四無法企及的效率,它是四核心處理器加進了超執行緒技術,處理器同時支援處理八個執行緒的工作,在這種環境下電腦可掛很多應用程式,支援多執行緒的應用,因此即使n多程式同時執行,電腦也沒有執行減慢的感覺,操作起來依然是流暢如行雲流水。

其實超執行緒技術擁有最高的功耗效能比,加入超執行緒技術所增加的電晶體數目及功耗並不多,但卻相比增加一顆完整的核心更具價效比,加上酷睿i7微架構擁有高頻寬及高容量**快取記憶體的優勢,更能將超執行緒技術的功效發揮到極致。

要開啟超執行緒技術,很簡單,一般而言,在bios內就可以設定超執行緒技術的啟動與否。當設定完成後,進入windows的「我的電腦」,檢視處理器,就能看出八個執行緒的工作情況。

加入超執行緒技術的英特爾酷睿i7處理器在多工應用時最能發揮它的潛能,它可以同時處理n個的遊戲及多**軟體,而不會出現慢式宕機。有人做了一些評測,是用cinebench 10,跑far cry 2 及company of heroes來測試有開啟超執行緒技術與沒有開啟的效能的區別。

ccache用於把編譯的中間結果進行快取,以便在再次編譯的時候可以節省時間。這對於玩kernel來說實在是再好不過了,因為經常需要修改一些kernel的**,然後再重新編譯,而這兩次編譯大部分東西可能都沒有發生變化。對於平時開發專案來說,也是一樣。為什麼不是直接用make所支援的增量編譯呢?還是因為現實中,因為makefile的不規範,很可能這種「聰明」的方案根本不能正常工作,只有每次make clean再make才行。

安裝完ccache後,可以在/usr/local/bin下建立gcc,g++,c++,cc的symbolic link,鏈到/usr/bin/ccache上。總之確認系統在呼叫gcc等命令時會呼叫到ccache就可以了(通常情況下/usr/local/bin會在path中排在/usr/bin前面)。

繼續測試:

用ccache的第一次編譯(make -j4):23分38秒

用ccache的第二次編譯(make -j4):8分48秒

用ccache的第三次編譯(修改若干配置,make -j4):23分48秒

看來修改配置(我改了cpu型別…)對ccache的影響是很大的,因為基本標頭檔案發生變化後,就導致所有快取資料都無效了,必須重頭來做。但如果只是修改一些.c檔案的**,ccache的效果還是相當明顯的。而且使用ccache對專案沒有特別的依賴,佈署成本很低,這在日常工作中很實用。

可以用ccache -s來檢視cache的使用和命中情況:

cache directory                   /home/lifanxi/.ccache

cache hit 7165

cache miss 14283

called for link 71

not a c/c++ file 120

no input file 3045

files in cache 28566

cache size 81.7 mbytes

max cache size 976.6 mbytes

可以看到,顯然只有第二編次譯時cache命中了,cache miss是第一次和第三次編譯帶來的。兩次cache占用了81.7m的磁碟,還是完全可以接受的。

一台機器的能力有限,可以聯合多台電腦一起來編譯。這在公司的日常開發中也是可行的,因為可能每個開發人員都有自己的開發編譯環境,它們的編譯器版本一般是一致的,公司的網路也通常具有較好的效能。這時就是distcc大顯身手的時候了。

使用distcc,並不像想象中那樣要求每台電腦都具有完全一致的環境,它只要求源**可以用make -j並行編譯,並且參與分布式編譯的電腦系統中具有相同的編譯器。因為它的原理只是把預處理好的原始檔分發到多台計算機上,預處理、編譯後的目標檔案的鏈結和其它除編譯以外的工作仍然是在發起編譯的主控電腦上完成,所以只要求發起編譯的那台機器具備一套完整的編譯環境就可以了。

distcc安裝後,可以啟動一下它的服務:

/usr/bin/distccd --daemon --allow 10.64.0.0/16

預設的3632埠允許來自同乙個網路的distcc連線。

然後設定一下distcc_hosts環境變數,設定可以參與編譯的機器列表。通常localhost也參與編譯,但如果可以參與編譯的機器很多,則可以把localhost從這個列表中去掉,這樣本機就完全只是進行預處理、分發和鏈結了,編譯都在別的機器上完成。因為機器很多時,localhost的處理負擔很重,所以它就不再「兼職」編譯了。

export distcc_hosts="localhost 10.64.25.1 10.64.25.2 10.64.25.3"

然後與ccache類似把g++,gcc等常用的命令鏈結到/usr/bin/distcc上就可以了。

在make的時候,也必須用-j引數,一般是引數可以用所有參用編譯的計算機cpu核心總數的兩倍做為並行的任務數。

同樣測試一下:

一台雙核計算機,make -j4:23分16秒

兩台雙核計算機,make -j4:16分40秒

兩台雙核計算機,make -j8:15分49秒

跟最開始用一台雙核時的23分鐘相比,還是快了不少的。如果有更多的計算機加入,也可以得到更好的效果。

在編譯過程中可以用distccmon-text來檢視編譯任務的分配情況。distcc也可以與ccache同時使用,通過設定乙個環境變數就可以做到,非常方便。

總結一下:

make j 8引數的作用

今天在編譯安裝乙個原始碼包的時候,不小心看到乙個make j 8的引數,make命令常見用來進行編譯的,編譯完成後執行make install進行安裝,可是 j 8 是用來做什麼的?用make j帶乙個引數,可以把專案在進行並行編譯,比如在一台雙核的機器上,完全可以用make j4,讓make最多允...

linux 編譯命令

1.編譯gtk程式 gcc o home hil hilexe hmi home hil workspace hmi command.c home hil workspace hmi hmi.c pkg config cflags libs gtk 2.0 i home hil workspace ...

學習Linux命令(8)

cp 選項 t 源 目的 或 cp 選項 源 目錄 或 cp 選項 t 目錄 源 將原始檔複製至目標檔案,或將乙個或多個原始檔複製到目錄下 a,archive 等同於 dr 複製全部,但不跟隨鏈結 backup control 複製時如果目標檔案已存在則做備份 b 等同於 backup但是沒有引數 ...