最近專案中需要用到sqoop，剛開始還以為是之前完全沒接觸過的技術，後面用上之後才發現本科畢設那會幫實驗室跑測試用過，頓時感受到遺忘的力量，不過當時也就只是搜了幾個需要用到的命令執行完成任務就完事了，也沒去具體的學習，最近利用時間快速的過了一下，在此進行簡單的總結。
使用者手冊：
知識點參考學習：
3.1 sqoop產生背景
在基於hadoop生態框架的大資料技術來臨之後，需要將資料匯入大資料平台中，然而當時資料基本上都儲存在傳統的關係型資料庫中，如何將資料從rdbms轉入hadoop生態環境中（hdfs、hive、hbase等）是個難題，sqoop工具由此誕生。
3.2 sqoop概念介紹
sqoop是連線rdbms和hadoop的橋梁、資料etl工具 ，主要操作涉及兩個方面，即匯入import和匯出export。其中import是指將資料從rdbms中傳送到hadoop（hdfs、hive、hbase）中，export指將資料從hadoop中傳送到rdbms中。
3.3 sqoop的優勢
3.4 sqoop的版本說明
說明：一般練習使用sqoop1足以，對sqoop的需求如果只是乙個轉換rdbms和hive資料的工具的話安裝部署sqoop1即可，如果對其有更高的效能等要求可選擇安裝部署sqoop2
3.5 sqoop的工作機制
從本質上講，sqoop就是乙個資料etl工具，具體來講是將sqoop的資料轉換命令轉為mapreduce任務（job），所以也就依賴於hadoop基礎環境，資料格式的轉換主要是通過對mr程式中的inputformat和outputformat進行定製實現
此篇部落格算是通過學習他人部落格關於sqoop的總結然後自己做的乙個小總結，後續如果有其他方面的深入學習會繼續更新~
python理論知識簡單總結
1 變數使用前不需要宣告資料型別 2 使用過程中型別可以發生變化 3 不定義就引用變數是不允許的 isinstance 函式來判斷乙個物件是否是乙個已知的型別，類似 type 如果要判斷兩個型別是否相同推薦使用 isinstance a 2 isinstance a int true isinsta...
Linux學習總結筆記（一） 硬體理論基礎
cd rom rom dev cdrom usb裝置 dev usb ide硬碟 dev hd a d scsi sata usb硬碟和u盤 dev sd a p 當前滑鼠 dev mouse ide硬碟 每個ide扁平電纜可以連線2個ide硬碟，ide1介面的硬碟為hda hdb，ide2介面的硬...
CMMI理論學習（一）
以前斷斷續續看過一些cmmi的書，但是那都是純理論，應用起來並不是那樣的概念，最近遇到乙個hp的cmmi的諮詢師，由於工作的關係經常能討論cmmi的一些過程，所以漸漸對cmmi的理論有了更明確的認識。今天的一點學習心得是關於過程的一些術語，和hp諮詢師交流時，他滿嘴的都是英文的縮寫，經常讓我聽的雲裡...