Windows搭建spark python開發環境

首先安裝jdk、scala、hadoop、spark和python

4、配置環境變數，kv值對應下圖未標記的部分，其中：

5、設定path環境變數：

然後安裝python開發spark需要用到的package：

pip install pyspark -i

pip install numpy -i

pip install panda -i

我使用的是idea，安裝python的plugin後，可以進行python開發，需要配置python使用本地安裝的python開發環境：

測試**如下：

from pyspark.sql import sparksession

spark = sparksession \
.builder \
.getorcreate()
filedf.show()
print(filedf.count())

nginx環境搭建（windows）

d nginx 1.11 1 nginx.exe h nginx version nginx 1.11 1usage nginx hvvttq s signal c filename p prefix g directives options h this help v show version a...

windows環境libevent搭建

libevent框架之前有做過分析，這次是談談如何將libevent搭建在vs工作環境下，並且編寫乙個demo進行測試。測試過程中會再一次帶大家分析訊息是怎麼傳遞 的。我的libevent版本libevent 2.0.22 stable，用對應的vs命令工具進入該目錄 我的是visual studi...

git 服務搭建 windows

日期 2017 01 11 字型 大中小 看了一些搭建git伺服器的教程，都不是很詳細，於是，就有了本文 環境說明 本地 win7 ip 192.168.111.1 伺服器 ubuntu 14.04 ip 192.168.111.222 伺服器上 安裝git,如果有許可權問題，記得再以下命令前面加上...