Linux檔案按某列排序取top 有關awk

2021-09-01 18:47:25 字數 584 閱讀 9606

目標:

hive中的資料, 按照每個類目使用者的總流量大小排序.

現在需要取出每個類目的top10.

hive中使用order by categoryid, traffic desc來對資料排序, 但沒辦法對每個categoryid取top. 因為limit是對整個最終結果產生影響, 所以不能用limit來做.

最後決定匯出文字, 使用awk來取top10.

指令碼:hive -e "select category, traffic from log_table where pt=$yesterday order by category, traffic desc" | awk '}' > result.txt

這樣就能夠按照category取top. 缺點是對資料量大小有要求, 太大可能不行, 不過是線性的.

最開始資料只是單純用select匯出, 所以需要先用sort做乙個大排序, 然後awk, 最後再sort一下:

sort -k 2 -r -n result.txt | awk '}' | sort -k1 -k2 -r

因為有排序, 所以對資料量很敏感, 最後決定先在hive中排好序再說, 於是就這樣搞了.

easyUI datagrid 按列排序

1.設定列屬性 設定列屬性sortable true 如 2.設定 屬性 設定 屬性remotesort true 如 table id datagrid 3.設定後台請求程式注 datagrid 向後台傳送請求的時候,缺省會攜帶兩個引數,分別是sort和order。其中sort字段 的值是排序的列...

mysql 按兩列排序嗎 按兩列排序MySQL表

這可能有助於某人正在尋找通過兩列排序表的方法,但是以相似的方式。這意味著使用聚合排序功能組合兩種排序。例如,在使用全文搜尋檢索文章以及文章發布日期時,它非常有用。這只是乙個例子,但是如果你理解了這個想法,你可以找到很多要使用的聚合函式。您甚至可以對列進行加權,使其優先於一秒鐘。我的功能從兩種型別中都...

extjs按某列值設定grid列背景顏色

如果是這樣定義的grid ext.ux.fundhotpoolgrid ext.extend ext.ux.basegrid,這個逗號是和上面的 分隔的 改變啟用列的背景色 viewconfig 但是如果是普通的那種定義grid,想根據值來讓某列的核取方塊處於選中狀態 那麼這樣 這個要在你給 gri...