Hive 光速入門

hive 是 hadoop 生態系統中乙個重要的框架.

hive 是建立在 hdfs 儲存系統之上的資料查詢, 統計, 分析框架, 對應的大資料生態中的分析模組, 而非儲存模組.

hive 是乙個資料倉儲工具, 通過類 sql => hql 查詢語句, 管理已經存在 hdfs 上的大型資料集.

hive 可以根據已經儲存的資料, 建立表結構, 指定對映關係, 使用者可以使用乙個命令列工具和 jdbc 驅動方式連線 hive.

統計, 查詢, 分析儲存在hdfs上的海量資料.

不支援實時查詢以及行級更新(由於 hdfs 只支援追加寫, 不支援隨機寫)

僅儲存 schema(metadata) 在關係型資料庫中, 真正的資料存在 hdfs 上

支援 olap(online analysis processing)

支援類 sql 查詢語言 => hql

通用, 快速(對於海量資料), 可擴充套件

(1) hive的 hql 表達能力有限

①迭代式演算法無法表達

②資料探勘方面不擅長

(2) hive 的效率比較低

① hive 自動生成的 mapreduce 程式, 通常情況下不夠智慧型(慢)

②調優困難, 粒度較粗

(2) 部署

① 把apache-hive-1.2.1-bin.tar.gz上傳到linux的/opt/software目錄下

② 解壓apache-hive-1.2.1-bin.tar.gz到/opt/module/目錄下面

$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -c /opt/module/

$ mv apache-hive-1.2.1-bin/ hive

$ mv hive-env.sh.template hive-env.sh

配置 hadoop_home 路徑和 hive_conf_dir 路徑

$ export hadoop_home=/opt/module/hadoop-2.7.2

$ export hive_conf_dir=/opt/module/hive/conf

必須啟動 hdfs 和 yarn

$ sbin/start-dfs.sh

$ sbin/start-yarn.sh

$ bin/hadoop fs -mkdir /tmp

$ bin/hadoop fs -mkdir -p /user/hive/warehouse
$ bin/hadoop fs -chmod g+w /tmp
$ bin/hadoop fs -chmod g+w /user/hive/warehouse

$bin/hive

hive> show databases;

hive> use default;

hive> show tables;

hive> create tablestudent(id int, name string);

hive> show tables;

hive> desc student;

hive> insert into studentvalues(1000,"ss");

hive> select * from student;

hive> quit;

php光速入門

windows 安裝整合環境wamp mac 安裝整合環境xampp 變成三要素 變數，運算，控制結構 a za z0 9 首位不能是數字 variable 1 echo variable 順序 分支if else 迴圈while 單引號只認得 雙引號認得多 n t 等等 建立陣列 arr arra...

機器學習光速入門

title style ocean 機器學習 machine learning,ml 是一門多領域交叉學科，涉及概率論 統計學 逼近論 凸分析 演算法複雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的效能。訓練資料由一組訓...

彙編寫驅動 光速入門

用彙編寫windows驅動非常簡單，只要有彙編基礎和用c寫驅動的能力即可。有了這兩樣基礎，我們距離用彙編寫驅動，只剩下一層窗戶紙，一戳就破。一 準備軟體 radasm 為了快速入門，好的ide是降低入門難度的有效手段。radasm是我最為鍾愛的一款軟體，第一次使用過它，我就果斷地將masm32刪除了...