今天做了乙個簡單的需求,梳理一下

2021-08-18 09:53:42 字數 917 閱讀 6195

總體的思路是:從11.203上把一張hive表down 到本地,然後scp到8.203 再scp到 16.205,在16.205上傳到hive中,

這是兩個不同集群間的資料傳輸。

我中間用的expect + scp  + hive指令碼

首先利用hive的命令把對應的表down到本地

insert overwrite local directory '/tmp/yhl/$' select * from $
然後就利用乙個expect  scp 到8.203

再就是用expect ssh到8.203,再執行8.203上的乙個expect scp檔案,把8.203的檔案scp到16.205上

再就是expect ssh到 8.203 ,再執行8.203上的expect  ssh檔案,執行16.205上的hive指令碼,把16.205上的資料up到hive集群中

其中11.203上的程式如下:

8.203 上的程式如下:

內容如下:

總結:有個問題 當通過expect來執行hive指令碼時,當hive還沒有開始啟動或正在啟動的時候,expect就給斷掉了。這就涉及乙個超時的問題,hive是個較長時間執行的程式,expect 一般都只設為5秒或10秒的超時,遠遠不夠乙個hive執行完的時間,所以,如果涉及較長時間的指令碼的話,expect 的超時要適當的長些 格式為 set  timeout  30

今天做了乙個題,記錄一下

題幹 程式設計 二選一 連續數字 分值 300 程式執行時限 600 ms 你的弟弟在紙上寫了一些連續的整數,這些整數是亂序排列的,且每個整數只出現一次。淘氣的弟弟把其中的乙個整數擦掉了,你現在需要寫程式找出他擦掉的是哪個數。輸入 只有一行,用逗號分隔的若干個整數 輸入約束 至少1個,至多50個整數...

今天做了乙個有趣的測試

雖然很忙,居然很懶,不想做事。在電腦跟前瀏覽 突然看到了一篇文章,是 joel spolsky 周思博 寫給畢業生的,裡面有這麼一段 無論你知道多少高階的控制結構,知道如何進行錯誤處理,如果你不能解釋為什麼while s t 的意思是進行字串拷貝 而且對你而言這是世界上最自然,最易懂的 那麼你就是在...

記一下今天的面試

稀里糊塗的去面試了一家公司的php職位,記錄一下,不知道會不會有戲,自己還是比較喜歡這個職位的。前後兩撥人面的,剛開始兩個人,問了幾個問題 印象深的是如果乙個頁面訪問量特別大,應該怎麼處理,三言兩語說了一點。然後給了乙份題做,我做到一半,又過來一哥們,問了我幾個問題,主要是兩個問題,php怎麼樣把乙...