GraphLab 安裝在Hadoop集群

2021-09-11 04:10:31 字數 2593 閱讀 8411

感覺graphlab非常驚豔,可以在python環境當中非常好地使用。但它在接受了兩輪投資之後已經由原來的免費專案變成了乙個付費試用的專案。但是個人和學術使用依然可以申請。伴隨著這個商業化的過程,graphlab.org也變成了dato.com。下面詳細介紹graphlab單機測試和集群部署的過程。

系統主機名

ip位址

記憶體cpu

ubuntu12.04 64bit

namenode

10.107.12.10

62gb

12核ubuntu12.04 64bit

datanode1

10.107.12.20

62gb

12核ubuntu12.04 64bit

datanode2

10.107.12.50

62gb

12核ubuntu12.04 64bit

datanode3

10.107.12.60

62gb

12核

cd dato-distrib

-1.7

.1./setup_dato-distributed

.sh -d hdfs: -k ../dato-distributed-license.ini -c ../../spark_sdk/hadoop-2.7.1/etc/hadoop/

-d執行hdfs的儲存路徑,該路徑在hdfs中要不存在,否則不能建立;-k註冊碼檔案路徑;-chadoop配置檔案的路徑。

import graphlab as gl    # 建立集群    c = gl.deploy.hadoop_cluster.create(        name='test-cluster',        dato_dist_path='hdfs:',        hadoop_conf_dir='~/spark_sdk/hadoop-2.7.1/etc/hadoop')    def

echo

(input):

return input    j = gl.deploy.job.create(echo, environment=c, input='helll world!')    j.get_results()

【完】

再分享一下我老師大神的人工智慧教程吧。零基礎!通俗易懂!風趣幽默!還帶黃段子!希望你也加入到我們人工智慧的隊伍中來!

感覺graphlab非常驚豔,可以在python環境當中非常好地使用。但它在接受了兩輪投資之後已經由原來的免費專案變成了乙個付費試用的專案。但是個人和學術使用依然可以申請。伴隨著這個商業化的過程,graphlab.org也變成了dato.com。下面詳細介紹graphlab單機測試和集群部署的過程。

系統主機名

ip位址

記憶體cpu

ubuntu12.04 64bit

namenode

10.107.12.10

62gb

12核ubuntu12.04 64bit

datanode1

10.107.12.20

62gb

12核ubuntu12.04 64bit

datanode2

10.107.12.50

62gb

12核ubuntu12.04 64bit

datanode3

10.107.12.60

62gb

12核

cd dato-distrib

-1.7

.1./setup_dato-distributed

.sh -d hdfs: -k ../dato-distributed-license.ini -c ../../spark_sdk/hadoop-2.7.1/etc/hadoop/

-d執行hdfs的儲存路徑,該路徑在hdfs中要不存在,否則不能建立;-k註冊碼檔案路徑;-chadoop配置檔案的路徑。

import graphlab as gl    # 建立集群    c = gl.deploy.hadoop_cluster.create(        name='test-cluster',        dato_dist_path='hdfs:',        hadoop_conf_dir='~/spark_sdk/hadoop-2.7.1/etc/hadoop')    def

echo

(input):

return input    j = gl.deploy.job.create(echo, environment=c, input='helll world!')    j.get_results()

【完】

oracle 安裝 在linux 下

環境說明 red hat enterprise linux server release 5.3 oracle10g for l inux 1.設定 kernel 引數 命令 vi etc sysctl.conf 新增以下引數值 kernel.shmall 2097152 可以使用的共享記憶體的總量...

Redis安裝在Linux上面

redis不依賴任何非標準庫,沒有編譯引數的必須新增,安裝出奇的簡單。在此安裝redis3.0 在root許可權下 wget 2 解壓 tar zxvf redis 3.0.tar.gz 3 編譯 cd redis 3.0.0 make 若是32位linux系統,make cflags march ...

Docker 安裝 在Linux中

上手快。使用者只需要幾分鐘,就可以把自己的程式 docker化 docker依賴於 寫時複製 copy on write 模型,使修改應用程式也非常迅速,可以說達到 隨心所致,即改 的境界。隨後,就可以建立容器來執行應用程式了。大多數docker容器只需要不到1秒中即可啟動。由於去除了管理程式的開銷...