今天學習過程和小結
上午進行測試複習了
1，hdfs
中namenode
和datanode
作用2，
hdfs
副本存放機制
3，mapreduce
計算處理過程
4，格式化
hdfs
命令5，
hdfs
的核心配置檔案內容配置
sql語句：
部門表：
6，統計各個部門的人數
7，查詢所有部門。
8，倒排索引**
9，hash
函式的特點，有哪些實現方式
10，檢視
namenode
是否正常執行
重點學習了倒排索引的**。
然後進行了hive的安裝和配置，以及
sqoop
的安裝和配置。
hive構建在
hadoop
之上的資料倉儲
hive
中定義了一種類
sql查詢語言：
hql(
類似sql
但不完全 相同
) 通常用於離線資料處理（採用
mapreduce
） 底層支援多種不同的執行引擎（
mapreduce
、tez
、spark
） 支援多種不同的壓縮格式（
gzip
、lzo、、
bizp2
）、儲存格式
(textfile
、sequencefile
、rcfile
、orc
、 parquet)
以及自定義函式
在hive中主要是進行
sql資料庫表的建立以及
sql語句的學習。包括
hive
查詢的聯絡和表連線的查詢。以及
sqoop
的聯絡1使用
sqoop
匯入mysql
資料到hdfs
2,使用
sqoop
匯入mysql
資料到hive
3,使用
sqoop
匯入mysql
資料到hive
中，並指定表名
4,使用
sqoop
匯入mysql
資料到hive
中，並使用
where
條件5,使用
sqoop
匯入mysql
資料到hive
中，並使用查詢語句
6,使用
sqoop
將hive
中的資料匯出到
mysql
中遇到問題彙總
今天主要學習了hive和
sql語句的操作，有很多
sql查詢語句不是很了解要多多練習。
2.sqoop匯入匯出的步驟也要加強。
學習技能思維導圖
日誌11月19日
今天學習資料庫刪除操作 mysql import mysqldb 開啟資料庫連線 db mysqldb.connect localhost testuser test123 testdb charset utf8 使用cursor 方法獲取操作游標 cursor db.cursor sql 刪除語句...
11月19日隨筆
今天在雲和學院學習了file類 基本操作 判存 複製 移動 刪除 基本方法 file.exist file.copy file.move file.delete file.copy source targetfilename true 檔案拷貝,true表示當檔案存在時 覆蓋 如果不加true,則檔...
7月19日任務
20.27 分發系統介紹 20.28 expect指令碼遠端登入 20.29 expect指令碼遠端執行命令 20.30 expect指令碼傳遞引數 expect也是一種指令碼語言 實現自動互動功能的套件 和shell類似，實現傳輸檔案和遠端執行命令的功能，無需輸入密碼 如何發布上線 即把開發寫的 ...