windows10下搭建spark平台

2021-08-22 02:46:51 字數 701 閱讀 8197

今天早上忙完了手裡現有的工作後,打算把spark裝一下,其實之前讀研的時候也安裝過,不過後來重灌系統了就清除掉了,今天再次安裝一下。

首先說一下安裝spark必備的一些基礎:

1. jdk配置網上很多,就不多說了

2. scala的安裝,這個要注意的就是跟jdk的版本匹配,我之前在這裡就折騰了挺多的時間的,因為安裝了最新的scala導致與jdk版本不匹配,scala自然也無法執行了。

這裡說一下自己的版本吧:jdk用的1.8的,scala用的2.11的

接下來就是正式的安裝過程了

hadoop直接解壓縮的話會報錯「客戶端沒有需要的許可權」,關於這個問題我查了網上很多的材料,很多人都說可以使用命令:icacls c:\ /setintegritylevel m 來解決(以管理員身份來執行)

貌似還要修改登錄檔等計算機屬性,個 人覺得比較麻煩,可能會帶來其他的問題,我採用的方法是:

以管理員身份執行解壓縮軟體即可

這裡的檔案,找到對應的版本下面的bin目錄來對原始hadoop的bin目錄進行替換即        可,之後將bin目錄加入到系統路徑中就可以了。

在cmd視窗中輸入: spark-shell,出現如下介面即為安裝成功了

好了,終於折騰完了,mark一下,該午睡會了! 

windows10搭建python環境

伺服器是windows10 64位作業系統的 大佬準備好安裝包還告訴了安裝順序了 整個流程走下來沒有踩坑,整個安裝體驗那是相當的好 首先是準備好上面的這些安裝包,雖然剛剛安裝完,還不知道這些軟體是幹啥用的 第二步就開始安裝了,一定要記住安裝順序不能錯 先安裝python3.7 注意版本名字,其他包的...

windows10搭建apache服務

解鎖下面mod headers.so 解鎖mod headers.so之後,在要跨域的訪問路徑下新增header set access control allow origin 執行sc delete apache解除安裝安裝的apache服務 執行httpd.exe k install n apa...

windows10下wordcloud模組成功安裝

最初想學學wordcloud模組是有一次看到了一篇部落格講解裡面貼上出來的一張特別漂亮的詞云,覺得這樣的視覺化形式特別的漂亮同時也很直觀,因此就一直想找時間好好學學,可是一直忙著畢業 實驗的事情也沒來得及弄這個事情,今天是五一勞動節的最後一天,下午天開始下雨了,難得想放鬆一下,打完球回來就想動手做一...