只要三步!阿里雲DLA幫你處理海量JSON資料

2021-09-26 05:55:38 字數 2147 閱讀 9737

您可能有大量應用程式產生的json資料,您可能需要對這些json資料進行整理,去除不想要的字段,或者只保留想要的字段,或者僅僅是進行資料查詢。

那麼,利用阿里雲data lake analytics或許是目前能找到的雲上最為便捷的達到這一目標的服務了。僅僅需要3步,就可以完成對海量json資料的處理,或者更為複雜的etl流程。

利用各種手段,將json資料投遞到oss中。

通常,對於雲上日誌鏈路,還有一種json到oss的投遞鏈路,可以參考「雲原生日誌資料分析上手指南」其中的json部分。

參考上述「雲原生日誌資料分析上手指南」,其中已經有海量json資料的分割槽模式建表方法了。本例中,以非分割槽表為例,假設,資料檔案中每一行乙個json資料,json資料放置的oss路徑為:

oss://your_bucket/json_data/...
則,在dla中執行建表:

create external table ******_json (

data string

)stored as textfile

location 'oss://your_bucket/json_data/';

json_remove

從json中去除指定json path的資料。可以一次處理乙個json path,也可以一次處理多個json path。注意:目前還不支援「..」等json path的模糊匹配,不久後會支援。

json_remove(json_string, json_path_string) -> json_string

json_remove(json_string, array[json_path_string]) -> json_string

示例:

select json_remove(

', "glosssee": "markup"}}

}}

}', '$.glossary.glossdiv') a;

-> }

select json_remove(

', "glosssee": "markup"}}

}}

}', array['$.glossary.title', '$.glossary.glossdiv.title']) a;

,"id":"sgml","acronym":"sgml","abbrev":"iso 8879:1986"}}}}}

json_reserve

從json中保留指定json path的資料,去除其他的資料。可以一次處理乙個json path,也可以一次處理多個json path。注意:目前還不支援「..」等json path的模糊匹配,不久後會支援。

json_reserve(json_string, json_path_string) -> json_string

json_reserve(json_string, array[json_path_string]) -> json_string

示例:

select json_reserve(

', "glosssee": "markup"}}

}}

}', array['$.glossary.title']) a;

-> }

select json_reserve(

', "glosssee": "markup"}}

}}

}', array['$.glossary.title', '$.glossary.glossdiv.title', '$.glossary.glossdiv.glosslist.glossentry.id']) a;

-> "glossary":},"title":"s"}}}

還可以利用data lake analytics強大的雲上資料處理能力,進行多源資料融合處理、分析,回流到其他資料庫、儲存系統中。

遠離雲計算風險三步走

很多人對雲計算的安全性表示擔憂,因為把it系統外包給第三方 商的確是一件具有風險的事情。那麼這些風險 於何處?使用者又該如何應對呢?首先,服從策略是乙個很棘手的問題。採用雲計算以後,使用者最好時刻監測自己內部的服從機制。管理好許可權機制也是一種很好的保障資訊保安的方法。這就好比,不要以為在家裡做的飯...

三步打造雲退出戰略

因為這樣或那樣的原因,一些企業需要將他們的應用從雲中移出。以下的三個關鍵步驟,將確保順利從雲中退出。儘管雲很流行,但是有些雲專案並不順利。當這種情況發生時,當你認定問題不是由於 商選擇失敗而造成的,那你必須計畫撤退。要實施乙個成功的雲退出戰略,將應用程式和資料盡可能平穩的從雲中移出,你需要做三件事 ...

只要三步,使用html5 js實現畫素風頭像生成器

html5的畫布給我們帶來了很大的空間,其實畫素風格頭像生成器只是用到了畫方塊的方法。畫乙個畫素頭像,只要三步,1 解決畫素點,2 解決畫素點之間的關係,3 一次次地畫畫素點。其實在canvas上畫方塊非常簡單,只要通過js在頁面上取得乙個畫布,然後再生成上下文,再定義畫筆,然後再往上畫就好了。比如...