hadoop 開發基礎

2021-08-27 11:01:57 字數 3936 閱讀 1140

目錄

rz的使用

vi 快捷鍵

檔案許可權的操作

配置免密碼登陸

後台服務管理

iptable 防火牆

linux 中的軟體安裝

本地yum安裝倉庫配置

檔案上傳到linux 是上傳到當前目錄所在的資料夾

yum list|grep lrzsz

sudo yum -y install lrzsz.x86_64

命令:(引數 -y 如果linux上有相同的檔案, 會覆蓋)

rz     rz -y

一些有用的快捷鍵(在一般模式下使用):

a  在游標後一位開始插入

a   在該行的最後插入

i   在該行的最前面插入

gg   直接跳到檔案的首行

g    直接跳到檔案的末行

dd   刪除行,如果  5dd   ,則一次性刪除游標後的5行

yy  複製當前行,  複製多行,則  3yy,則複製當前行附近的3行

p   貼上

v  進入字元選擇模式,選擇完成後,按y複製,按p貼上

ctrl+v  進入塊選擇模式,選擇完成後,按y複製,按p貼上

shift+v  進入行選擇模式,選擇完成後,按y複製,按p貼上

d:標識節點型別(d:資料夾   -:檔案  l:鏈結)

r:可讀   w:可寫    x:可執行 

chmod g-rw haha.dat    表示將haha.dat對所屬組的rw許可權取消

如果要將乙個資料夾的所有內容許可權統一修改,則可以-r引數

chmod -r 770 aaa/

chown angela:angela aaa/    《只有root能執行》

為使用者配置sudo許可權

用root編輯 vi /etc/sudoers  hadoop  all=(all)       all

修改ip(重啟後永久生效)

vi /etc/sysconfig/network-scripts/ifcfg-eth0

修改主機名(重啟後永久生效)

vi /ect/sysconfig/network

假如 a  要登陸  b

在a上操作:

%%首先生成金鑰對

ssh-keygen   (提示時,直接回車即可)

%%再將a自己的公鑰拷貝並追加到b的授權列表檔案authorized_keys中

ssh-copy-id   b

service network status   檢視指定服務的狀態

service network stop     停止指定服務

service network start    啟動指定服務

service network restart  重啟指定服務

service --status-all  檢視系統中所有的後台服務

設定後台服務的自啟配置

chkconfig   檢視所有伺服器自啟配置

chkconfig iptables off   關掉指定服務的自動啟動

chkconfig iptables on   開啟指定服務的自動啟動

網域名稱服務的工作流程

檢視iptables狀態

service iptables status

開啟/關閉iptables

service iptables start

service iptables stop

檢視iptables是否開機啟動

chkconfig iptables --list

設定iptables開機啟動/不啟動

chkconfig iptables on

chkconfig iptables off

iptables 結構  有四張表,分別是filter、nat、mangle和raw每乙個表中都包含了各自不同的鏈,最常用的是filter表。

filter是iptables預設使用的表,負責對流入、流出本機的資料報進行過濾,該表中定義了3個鏈:

inpout負責過濾所有目標位址是本機位址的資料報,就是過濾進入主機的資料報。

forward負責**流經本機但不進入本機的資料報,起到**的作用。

output負責處理所有源位址是本機位址的資料報,就是處理從主機發出去的資料報

1 解壓安裝 配置變數環境 

2 安裝rpm包軟體 例如mysql

%%檢視系統中安裝的rpm包

rpm -qa | grep mysql

%%上傳rpm安裝包

mysql-client-5.5.48-1.linux2.6.x86_64.rpm

mysql-server-5.5.48-1.linux2.6.x86_64.rpm

per * .rpm

%%安裝perl依賴

rpm -ivh perl*

《可能會提示有包衝突,解決: rpm -e 衝突包名 --nodeps 》

%%安裝server

rpm -ivh mysql-server-5.5.48-1.linux2.6.x86_64.rpm

如果成功,會看到進度條,最後,有關於root密碼設定的提示,一定要記下來

這個版本的提示是,先啟動server

service mysql start

然後/usr/bin/mysql_secure_installation 命令去互動式修改root密碼

%%修改密碼時,提示需要先安裝client

rpm -ivh mysql-client-5.5.48-1.linux2.6.x86_64.rpm

客戶端安裝成功後,記得還要用/usr/bin/mysql_secure_installation 命令去互動式修改root密碼

%%登入驗證

mysql -uroot -p root

兩種方式:  a、每一台機器都配乙個本地檔案系統上的yum倉庫 file:///packege/path/

b、在區域網內部配置一台節點(server-base)的本地檔案系統yum倉庫,然後將其發布到web伺服器中,其他節點就可以通過http://server-base/pagekege/path/            

製作流程:  先挑選一台機器mini4,掛載乙個系統光碟到本地目錄/mnt/cdrom,然後啟動乙個httpd伺服器,將/mnt/cdrom 軟連線到httpd伺服器的/var/www/html目錄中 (cd /var/www/html; ln -s /mnt/cdrom ./centos )

然後通過網頁訪問測試一下:  http://mini4/centos   會看到光碟的目錄內容

至此:網路版yum私有倉庫已經建立完畢  

剩下就是去各台yum的客戶端配置這個http位址到repo配置檔案中                     

無論哪種配置,都需要先將光碟掛在到本地檔案目錄中

mount -t iso9660 /dev/cdrom   /mnt/cdrom

為了避免每次重啟後都要手動mount,可以在/etc/fstab中加入一行掛載配置,即可自動掛載

vi  /etc/fstab

/dev/cdrom              /mnt/cdrom              iso9660 defaults        0 0            

2、minimal安裝的系統出現的問題:缺各種命令,安裝軟體時缺各種依賴

scp命令都沒有:yum install -y openssh-clients

每台機器上都要安裝才行

hadoop之hadoop基礎介紹

hadoop是什麼?是乙個分布式基礎架構,主要解決海量資料儲存以及資料分析計算問題。hadoop三大發行版本?apache clourdera hortonworks hadoop優勢?高可靠 高擴充套件 高效 高容錯 hadoop1.x和2.x的區別?hdfs hadoop distributed...

Hadoop基礎概念

狹義 hadoop軟體 hadoop.apache.org 廣義 hadoop生態圈 hive zookeeper spark 用2.x 3.x 需要踩坑 主要用cdh5.x 部署大資料環境 用的是 hadoop2.6.0 cdh5.7.0 ctrl f 搜尋 cdh5.7.0 hdfs 儲存 分布...

Hadoop基礎概念

hadoop模組組成 hdfs 用於儲存 可靠的,高吞量的分布式檔案系統 mapreduce 用於計算 分布式的離線平行計算框架 yarn 用於資源排程 作業排程與集群資源管理框架 common 支援其他模組的工具模組 檔案系統核心模組 hdfs的組成 namenode 集群當中的主節點,用於管理集...