配置完歷史伺服器之後測試saprkpi案例報以上錯誤。原因在於
spark-env.sh和spark-defaults.conf中配置logdierctory的路徑埠為8020(預設埠)，這樣不對，因為spark產生的日誌檔案儲存到hdfs中，所以spark訪問hdfs的uri應該與hadoop的core-site.xml中fs.defaultfs的路徑保持一致。然而，我在
core-site.xml總配置fs.defaultfs的埠為9000，與8020不同，故spark儲存日誌時找不到hdfs，所以報820拒絕連線的錯誤。即dspark.history.fs.logdirectory 、spark.eventlog.dir、fs.defaultfs這三者的值應保持一致。
報錯原因：引入的spark-streaming_2.12依賴與idea的scala的執行環境版本不同。
報錯原因：
在pom.xml裡，新增的依賴中provided導致在編譯時忽略了這個依賴! 把這行注釋掉即可!
ceph部署過程中的錯誤
ceph版本 jewel 用ssd盤來journal 格式分割槽許可權問題 ceph node2 warnin ceph disk.main.filesystemtypeerror cannot discover filesystem type device dev sdc line is trun...
Spark 的執行過程
spark 支援 standalone yarn mesos kubernetes 等多種部署方案，幾種部署方案的原理也都一樣，只是不同元件角色命名不同，但核心功能和執行流程差不多。具體部署方式可以看官方文件 spark deploy 上面這張圖是官網上的 spark 的執行流程，具體來看 1，sp...
在迴圈過程中遇到錯誤而繼續執行
sql create table c cid varchar2 10 nid varchar2 10 table created sql create unique index ind c on c cid index created sql set serveroutput on sql decl...