60天計畫第5天 hadoop基礎

2021-09-24 18:32:20 字數 1327 閱讀 8668

1.關於免密登入。

操作工程:

1.根據ssh-keygen -t rsa命令生成金鑰對。

2.根據命令會生成.ssh乙個檔案。然後在這個資料夾下會出現兩個檔案,乙個叫做id-rsa和id-rsa.pub

3.把id-rsa留下(即是乙個私鑰)。把id-rsa.pub追加到要免密登入的虛擬機器的授權檔案中。可以使用 scp命令。

4.輸入ssh 192.168.xx.xx 就可以登入了。當然,第一次是要輸入密碼的。

工作原理:

其實這相當於乙個server和乙個client。在client生成一對秘鑰,其中有公鑰和私鑰。私鑰用來加密,公鑰用來解密。然後client將public(公鑰)傳送給server,追加到授權檔案當中去。然後client接收到server傳送來的訊息,通過priveate(私鑰)進行解密,進行匹配。

2.在hadoop下建立目錄hadoop fs -mkdir /目錄

3.在hadoop下傳送檔案 hadoop fs -put 檔案所在路徑 傳送到的路徑

4.乙個英文單詞clusters 是集群的意思。daemon是守護執行緒的意思。(計算機專業術語,本意並不是。好像是希臘的乙個神。)

5.區分大資料和雲計算。

答:二者之間並沒有太大的聯絡。雲是指包括硬體和軟體在內的服務,通過虛擬機器技術給使用者提供一種定製的服務。歸於底就是服務二子。而大資料指向的是資料的分析和處理,海量的資料分析處理。如果非要給他們扯上關係的話,只能說,雲計算是大資料的乙個方面。

6.分布式的概念。分部在不同主機上的程序協同在一起,構成整個應用。

7.大資料的特徵。4個 v:volume體量大 variety 樣式多(結構化) velocity 速度快 valueless 價值密度低

8raid:磁碟陣列

9.failure over:容災 fault over:容錯

10。hadoop的四個模組:common hdfs yarn mapreduce

11.hadoop的三種配置方式。

1.standlone(local)

本地模式

2.fesudodistrubuted mode

偽分散模式

這個模式需要配置四個檔案:core-site.xml hdfs-site.xml(副本) mapred.xml(框架) yarn-site.xml(資源管理器)

此模式其實就是完全分布模式。之時只有乙個節點的完全分布模式。

3.full distrubute

完全分布

轉殖(完全轉殖)+啟動後修改hostname(/etc/hostname)和ip(ipaddr)+重啟

這就是第五天所學以及複習2.4天。現在已經是23.22,大家晚安

100天土雞飼養計畫(60)

國慶前一天,不免有些激動啊!今天有好幾個同事請假了,我所在的部門就剩2個人,所以今天和移動對接的工作我承擔了大部分,不過即使是大部分,其實也就4,5次吧,本來api也不多,其中有問題的也不多。除了對接以外,我昨天已經把分配給我的所有api都已經寫完了,所以今天除了對接,基本沒有其他工作,所以搗鼓搗鼓...

5天學python python 學習第5天

字典增刪改查 dic1 dic1 asdas dfdsf 新增 預設最後乙個 print dic1 dic1 age 20 如果有建 則值覆蓋 print dic1 dic1.setdefault weight 有建值對 不做任何改變 沒有新增建值對 dic1.setdefault weight 1...

60天完美口才打造計畫

楊海洋 編著 豆瓣鏈結 2020 年 3 月 14日 更新 絕大多數書籍都只告訴讀者好口才的標準是什麼,卻沒有訓練方法。例如,講話要幽默 要有條理 要懂得控制 要有信心 要富有邏輯。但卻不告訴讀者,應該怎樣訓練才能夠練出這樣的好口才。好口才是可以練出來的 絕大多數演講的技能都是後天養成的,只是那些演...