pyspark 新增 redis 模組

安裝 redis 模組

並把 redis 模組打包

pip install redis

mkdir redis
mv ...
.../site-packages/redis redis
import shutil
dir_name =
"redis"
output_filename =
"./redis"
shutil.make_archive(output_filename, 'zip', dir_name)

redis/

redis/lock.pyc
redis/connection.py
redis/exceptions.py
redis/utils.pyc
redis/_compat.pyc
redis/_compat.py
redis/connection.pyc
redis/__init__.py
redis/client.py
redis/utils.py
redis/client.pyc
redis/sentinel.py
redis/sentinel.pyc
redis/lock.py
redis/__init__.pyc
redis/exceptions.pyc

lock.pyc

connection.py
exceptions.py
utils.pyc
_compat.pyc
_compat.py
connection.pyc
__init__.py
client.py
utils.py
client.pyc
sentinel.py
sentinel.pyc
lock.py
__init__.pyc
exceptions.pyc

spark.sparkcontext

.addpyfile("redis.zip")
import redis

或者

./bin/spark-submit --py-files wesam.zip mycode.py

pyspark 呼叫ml，構建kmeans模型

ml包有三個主要的抽象類 轉換器 評估器 管道 轉換器 通過將乙個新列附加到dataframe來轉換資料。包含資料標準化 資料轉換等內容，常用的有indextostring,stringindexer,vectorassembler,normalizer,onehotencoder,pca等。評估器...

Apache2新增mod rewrite模組

loadmodule rewrite module modules mod rewrite.so 可是昨天裝了apache2最新版卻出了意外,去掉了這行,rewrite還沒開啟 用了乙個下午,百思不得其解.終於發現httpd.conf裡有這麼一段 possible values for the op...

Windows下Apache新增SSL模組

參考資料 測試環境 windows2003 32位 apache2.4 php5.4 首先cmd命令進入 bin目錄下 1 成 伺服器公鑰檔案server.key openssl genrsa out server.key 1024 2 生成server.csr openssl req new ou...