背景：
要求把/user目錄裡31乙個省份資料夾許可權全部更改為700許可權，並給在群裡貼出修改的命令如下：
hadoop fs -chmod -r 700 /user/$這個還不簡單，就是手敲下各個身份嘛，頗為簡單，直接開工如下
hadoop fs -chmod -r 700 /user/$
hadoop fs -ls /user
處理：認真檢視31個省份的資料夾權700是對的，那麼還有12個資料夾許可權要恢復到原始狀態，我們本想用依據umask去恢復12個檔案，但是發現12個資料夾許可權不是預設，貌似做個修改。最後找到ls顯示部分，就參照這個去修改許可權，但是資料夾裡的檔案許可權無法恢復。最後商量全部參照資料夾許可權去設定，這樣也是沒有辦法的辦法，後續有問題，只能去調整中。
總結：1、shell知識掌握有待加強
2、最好自己搭建一套大資料實驗環境。
一條線段引發的思考
這周拿到一道有趣的題，決定寫篇blog記錄一下。問題描述如下 在一條長度為1的線段上任取兩個點，求這兩個點表示的線段的期望長度。這道題有很多種解法，非常有意思。首先，對於期望，它是這麼個東西 e x sum n p ix i 其中 e x 表示事件 x 的期望，p i 表示情況 x i 出現的概率，...
一條clickhouse SQL語句引發的問題思考
前段時間在實際工作中，使用者的一條sql引發了我一些思考。寫一篇簡單的博文來記錄下。實際表的列名等已替換。select from db1.table1 as t1 left join db2.table2 as t2 on t1.col1 t2.col2 where t1.time 2020 01 ...
一條拼了40min的hql引發的思考
週末加班，拼一條hql花了40min，裡面有許多小細節，特別記錄下來方便以後使用。hive表裡存的是個thrift結構。我們關注的主要字段如下 struct uploaddataitem struct uploaddata struct uploaddata裡面的資料格式如下 name counte...