Giraph 單機及集群上執行任務命令說明

2021-07-24 13:04:52 字數 1620 閱讀 7686

在單機執行 giraph 任務之前,確保已經設定了hadoop_conf_dir環境變數的值

命令列輸入

$ export hadoop_conf_dir=$giraph_home
設定過環境變數後,就可以執行自己的任務了

$ giraph [jar檔案路徑] [類名] -vif [節點輸入格式的類名] -vip [節點輸入檔案路徑] -vof [節點輸出格式的類名] -op [輸出檔案路徑] -w 1 -ca giraph.splitmasterworker=false
例:

$ giraph giraph-examples.jar org.apache

.giraph

.examples

.******shortestpathscomputation -vif org.apache

.giraph

.io.formats

.jsonlongdoublefloatdoublevertexinputformat -vip /home/username/graph.txt -vof org.apache

.giraph

.io.formats

.idwithvaluetextoutputformat -op /home/username/shortestpaths -w 1 -ca giraph.splitmasterworker=false

在集群上執行 giraph 任務時,不需要再設定*hadoop_conf_dir*環境變數,如果已經設定,建議將原命令列視窗關閉,然後開啟乙個新視窗

命令列輸入

$ hadoop jar [jar檔案路徑] org.apache

.giraph

.giraphrunner [類名] -vif [節點輸入格式的類名] -vip [節點輸入檔案路徑] -vof [節點輸出格式的類名] -op [輸出檔案路徑] -w [worker數量] -ca mapred.job

.tracker=[master主機位址]

例:

$ hadoop jar giraph-examples.jar org.apache

.giraph

.examples

.******shortestpathscomputation -vif org.apache

.giraph

.io.formats

.jsonlongdoublefloatdoublevertexinputformat -vip /input/graph.txt -vof org.apache

.giraph

.io.formats

.idwithvaluetextoutputformat -op /output/shortestpaths -w 2 -ca mapred.job

.tracker=192.168

.1.1

Giraph 單機及集群上執行任務命令說明

在單機執行 giraph 任務之前,確保已經設定了hadoop conf dir環境變數的值 命令列輸入 export hadoop conf dir giraph home設定過環境變數後,就可以執行自己的任務了 giraph jar檔案路徑 類名 vif 節點輸入格式的類名 vip 節點輸入檔案...

配置單機solr及執行

建立乙個solr home目錄,solrhome是solr執行的主目錄,目錄中包括了執行solr例項所有的配置檔案和資料檔案,solr例項就是solrcore,乙個solrhome可以包括多個solrcore solr例項 每個solrcore提供單獨的搜尋和索引服務。example solr是乙個...

Redis單機及集群的安裝及使用

redis支援五種資料型別 string 字串 hash 雜湊 list 列表 set 集合 zset sorted set 有序集合 redis作為快取最常用的型別 string 字串 hash 雜湊 最常用的方法先安裝c語言的編譯環境 執行yum install gcc c 解壓縮redis的壓...