首先通過vncviewer進入spark的系統，並開啟終端；
現在通過spark/onekey.sh的指令開啟spark機械人的控制程序。此時，spark機械人發布了一系列的topic。我們通過rostopic list列出當前正在發布的話題(其實這指示了當前哪些程序是可用的，有點類似於windows裡面的任務管理器);
現在我們的目標是為了確定到底哪個程序是真實控制機械人運動的topic，疑似的topic包括：
/cmd_vel和/spark_base/command/velocity，先面需要確認到底是哪個topic;
我們這裡通過
spark如何匯入資料到hbase資料庫
在實際生產過程中，因為資料的複雜性，我們通常將處理好的資料快取到hbase中。本篇文章目的在於在學習過程中做筆記，以備後面的鞏固複習。如下 package com.aura.bigdata.dmp.util import org.apache.hadoop.conf.configuration im...
spark更改分割槽 如何管理Spark的分割槽
當我們使用spark載入資料來源並進行一些列轉換時，spark會將資料拆分為多個分割槽partition，並在分割槽上並行執行計算。所以理解spark是如何對資料進行分割槽的以及何時需要手動調整spark的分割槽，可以幫助我們提公升spark程式的執行效率。什麼是分割槽 關於什麼是分割槽，其實沒有什...
如何高效使用Spark的mappartition
主要是map和foreach這類的是針對乙個元素呼叫一次我們的函式，也即是我們的函式引數是單個元素，假如函式內部存在資料庫鏈結 檔案等的建立及關閉，那麼會導致處理每個元素時建立一次鏈結或者控制代碼，導致效能底下，很多初學者犯過這種毛病。而foreachpartition是針對每個分割槽呼叫一次我們的...