Apache Sqoop 介紹及資料遷移

sqoop是什麼？

目標使用者：系統管理員、資料庫管理員、大資料分析師、大資料開發工程師等

1、從mysql（關係型資料庫）匯入資料到hdfs-1

匯入表到hdfs

[root@hadoop1 sqoop]

# ./bin/sqoop-import \
--配置資料庫連線為mysql中資料庫hive
>
--connect jdbc:mysql://hadoop1:3306/retail \
--配置資料庫中的表user
>
--table user
--mysql的使用者名稱
>
--username root
--mysql的密碼
>
--password ok
--匯入hdfs指定路徑
>
--tar-dir /data/user
>
--m 3

[root@hadoop1 sqoop]

# ./bin/sqoop-import \
>
--connect jdbc:mysql://hadoop1:3306/retail \
>
--username root --password ok --table orders \
--關鍵字
>
--指定遞增的列
>
--check-cloumn order_id \
--指定上一次匯入的最大值
>
--last-value '100' \
>
--target-dir /data/orders --m 3

[root@hadoop1 sqoop]

# ./bin/sqoop-import \
>
--connect jdbc:mysql://hadoop1:3306/retail \
>
--username root --password ok --table orders \
--關鍵字
>
--hive-import \
--指定hive裡sqoop庫中的orders表，無需在hive建立orders表，自動建立
>
--hive-table sqoop.orders

[root@hadoop1 sqoop]

# ./bin/sqoop-import \
>
--connect jdbc:mysql://hadoop1:3306/retail \
>
--username root -password ok --table orders \
>
--hive-import --create-hive-table \
>
--hive-database sqoop --hive-table orders

[root@hadoop1 sqoop]

# ./bin/sqoop-import \
>
--connect jdbc:mysql://hadoop1:3306/retail \
>
--username root -password ok --table orders \
>
--hive-import --hive-table sqoop.orders \
>
--hive-partition-key 'order_date' \
>
--hive-partition-value '2020-10-12' \
>
--m 3

[root@hadoop1 sqoop]

# ./bin/sqoop-import \
>
--connect jdbc:mysql://hadoop1:3306/retail \
>
--username root -password ok --table orders \
>
--hive-import --create-hive-table \
>
--hive-database sqoop --hive-table orders \
>
--hive-partition-key 'order_date' \
>
--hive-partition-value '2020-10-12' \
>
--m 3

[root@hadoop1 sqoop]

# ./bin/sqoop-import \
>
--connect jdbc:mysql://hadoop1:3306/retail \
>
--username root -password ok --table customers \
>
--columns 'customernum,customername' \
>
--hbase-table customers \
>
--cloumn-family customername \
>
--hbase-row-key customernum \
>
--m 3

在mysql裡先建立乙個orders表，在執行hive語句

[root@hadoop1 sqoop]

# ./bin/sqoop-export \
>
--connect jdbc:mysql://hadoop1:3306/sqoop
>
--username root --password ok --table orders \
>
--export-dir /data/retail_db/orders
>
--input-fields-terminated by ','

Ceph概念介紹及元件介紹

全稱是object storage device，主要功能包括儲存資料，處理資料的複製 恢復 回補 平衡資料分布，並將一些相關資料提供給ceph monitor crush 是ceph使用的資料分布演算法，類似一致性雜湊，讓資料分配到預期的地方 map 上面說過，monitor元件負責監視整個集群的...

F02 數通路由交換協議及配置介紹

在此感謝劉同學做出的整理。鄰居 執行ospf協議，雙方通過傳送hello報文後，所建立起來的關係，傳送的方式為三次握手協議。鄰接 所謂的full狀態 指的是兩台路由器進行資料庫的同步之後所建立起來的關係，即a把自己的資料庫發給b，b把自己的發給a，相互學習自己所沒有的。點到點的網路型別 ppp 廣播...

SAS SHARE 介紹及使用

sas share功能 其提供乙個多使用者訪問的資料伺服器，允許多個使用者同時讀寫同乙個資料檔案 除了提供本地資料共享給使用者外，也可以通過遠端路徑共享其它資料給使用者，而無需構架sas connect進行sign on 通過sas access配合，sas share提供了乙個訪問不同資料來源的統...