將TPC DS資料載入到MariaDB中

環境：

到相應目錄下解壓檔案

unzip tpc-ds

-tool
.zip

#安裝相關依賴

sudo apt-get install gcc make

sudo mysql -e

"create database tpcds"

dir=/home/zhouj/desktop/datas

ls $dir/*.dat | while
read file; do
pipe=$file.pipe
mkfifo $pipe
table=`basename $file .dat | sed -e
's/_[0-9]_[0-9]//'`
echo
$file
$table
lang=c && sed -e
's_^|_\\n|_g'
-e's_||_|\\n|_g'
-e's_||_|\\n|_g'
$file > $pipe & \
mysql --local-infile -dtpcds -e \
"load data local infile '$pipe' replace into table $table character set latin1 fields terminated by '|'"
rm -f
$pipe
done

for i in `ls /home/zhouj/v2.7.0/query_templates/query*`;

doecho
"define _end= \"\";" >> $i

for i in

`ls /home/zhouj/v2.7.0/query_templates/query*`;
do ./dsqgen -template
`basename $i` -directory /home/zhouj/v2.7.0/query_templates -dialect oracle -scale 5 #> /home/zhouj/v2.7.0/sql/`basename $i`
mv /home/zhouj/v2.7.0/tools/query_0.sql /home/zhouj/sql/`basename $i`
done

sudo chmod +x 1.sh

sudo chmod +x 2.sh
sudo chmod +x 3.sh
sudo ./1.sh
sudo ./2.sh
sudo ./3.sh

mariadb [tpcds]>  /home/zhouj

/v2.7.0/tools
/merge.sql

感謝以下大神，您的分享使我少走彎路：

[1] 蘑菇丁:

[2]蘑菇丁:

[3]dongwon』s tech blog:

ps：如有不當之處，請指正。

3 3 3將資料載入到表中

建立表後，需要填充它。該load data和 insert語句是這個有用的。假設您的寵物記錄可以如下所示。請注意，mysql需要使用 格式的日期 這可能與您習慣的 日期 有所不同。yyyy mm dd 名稱所有者 種類性別 出生死亡 蓬鬆哈羅德貓f 1993 02 04 爪子格溫貓公尺 1994 0...

C 將檔案載入到記憶體

filestream fs new filestream strfile,filemode.open byte aa new byte fs.length 1 fs.read aa,0,int fs.length 1 fs.close fs.dispose file.delete strfile w...

大資料預處理後的資料載入到hive 表中的語法

1資料通過mapreduce預處理 得到乙個沒有髒資料的檔案，然後載入到hive表中 的語法是？load data local 虛擬機器某個路徑 into table 需要載入資料的表 表名字 2 把原始表的資料載入到其他型別的表中 orc rcfile 等 語法是 注意 在hive中只有textf...