sqoop 是傳統資料庫與 hadoop 之間資料同步的工具，它是 hadoop 發展到一定程度的必然產物，它主要解決的是傳統資料庫和hadoop之間資料的遷移問題。
sqoop 是連線傳統關係型資料庫和 hadoop 的橋梁。它包括以下兩個方面：
1、 將關係型資料庫的資料匯入到 hadoop 及其相關的系統中，如 hive和hbase。
2、 將資料從 hadoop 系統裡抽取並匯出到關係型資料庫。
sqoop 的核心設計思想是利用 mapreduce 加快資料傳輸速度。也就是說 sqoop 的匯入和匯出功能是通過 mapreduce 作業實現的。
所以它是一種批處理方式進行資料傳輸，難以實現實時的資料進行匯入和匯出。
2、我們可以把它看做成連線傳統資料庫和hadoop的橋梁
1）把關係型資料庫中的資料（mysql）匯入到hadoop或者與其相關的系統比如hdfs 、hive 、hbase
2）把hadoop中的資料抽取出來，匯入到關係型資料庫中
3、它的設計思想就是：利用mapreduce加快資料傳輸速度
RocketMQ是什麼（二）
7.rocketmq關鍵特性 1 單機支援1萬以上持久化佇列 1.所有資料單獨儲存到乙個commit log，完全順序寫，隨機讀。2.對終端使用者展現的佇列實際只儲存訊息在commit log的位置資訊，並且序列方式刷盤。這樣好處 a 佇列輕量化，單個佇列的資料量非常少。b 對磁碟的訪問序列化，避免...
Sqoop（二） Sqoop匯入 匯出資料
1.2 rdbms hive 1.3 rdbms hbase 2.匯出資料 在sqoop中，匯入 概念指 從非大資料集群 rdbms 向大資料集群 hdfs，hive，hbase 中傳輸資料，叫做 匯入，即使用import關鍵字。sqoop import connect jdbc mysql top...
Sqoop （二）Sqoop 的簡單使用案例
二 匯出資料 三 指令碼打包 在sqoop中，匯入 概念指 從非大資料集群 rdbms 向大資料集群 hdfs，hive，hbase 中傳輸資料，叫做 匯入，即使用import關鍵字。確定mysql服務開啟正常 在mysql中新建一張表並插入一些資料 mysql uroot p000000 mysq...