大資料開發 linux下常見問題詳解

2021-10-19 10:27:38 字數 3177 閱讀 3597

問題原因:root --> ss --> root 棧遞迴一樣

解決方式:exit 退出當前到ss再退出到root 然後執行命令即可。

參考:ls --

whoami 當前使用者

who am i 登入使用者

其中有root許可權才可以對一些非自己建立目錄預設寫許可權,比如登入 root使用者 切換到普通hu使用者,則不能寫/opt下面資料夾,也不能寫/home/huhu下面的東西,實際上進不去,讀許可權都沒有。

綜上,普通使用者只能在/home/當前使用者資料夾下面寫東西。

對於檔案來說 就是1

對於目錄來說,空目錄是2,裡面有別的資料夾則加1,有別的檔案不加,簡單來說就是裡面的目錄數。

ps –aux (功能描述:檢視系統中所有程序)

user:該程序是由哪個使用者產生的

pid:程序的id號

%cpu:該程序占用cpu資源的百分比,占用越高,程序越耗費資源;

%mem:該程序占用物理記憶體的百分比,占用越高,程序越耗費資源;

vsz:該程序占用虛擬記憶體的大小,單位kb;

rss:該程序占用實際物理記憶體的大小,單位kb;

tty:該程序是在哪個終端中執行的。其中tty1-tty7代表本地控制台終端,tty1-tty6是本地的字元介面終端,tty7是圖形終端。pts/0-255代表虛擬終端。

stat:程序狀態。常見的狀態有:r:執行、s:睡眠、t:停止狀態、s:包含子程序、+:位於後台

start:該程序的啟動時間

time:該程序占用cpu的運算時間,注意不是系統時間

command:產生此程序的命令名

ps命令:可以檢視程序的瞬間資訊。

top命令:可以持續的監視程序的資訊。

引數:-d 秒數:指定top命令每隔幾秒更新。預設是3秒在top命令的互動模式當中可以執行的命令:

-i:使top不顯示任何閒置或者僵死程序。

-p:通過指定監控程序id來僅僅監控某個程序的狀態。

-s : 使top命令在安全模式中執行。這將去除互動命令所帶來的潛在危險。

操作選項:

p: 以cpu使用率排序,預設就是此項

m: 以記憶體的使用率排序

n: 以pid排序

q: 退出top

如果有第二行提示說明沒有掛載好,重新設定

參考:8.鍵盤上的home按鍵 和end按鍵可以對linux端的命令進行前後移動

同步是屬於增量同步

id:5:initdefault:

改為id:3:initdefault:

centos7:

1、檢視目前預設的啟動預設

命令: systemctl get-default

multi-user.target 命令列模式 graphical.target 為圖形介面模式

2、按需要修改

設定為圖形介面模式

systemctl set-default graphical.target

設定為命令列模式

systemctl set-default multi-user.target

重啟 驗證

可參考:

簡單版本:

(1) ctrl+z掛起程序並放入後台

(2) jobs 顯示當前暫停的程序

(3) bg %n 使第n個任務在後台執行(%前有空格)

(4) fg %n 使第n個任務在前台執行

第二種使用 screen 很方便,有以下幾個常用選項:

用screen -dms session_name來建立乙個處於斷開模式下的會話(並指定其會話名)。

用screen -list($screen -ls)來列出所有會話。

用screen -r session_name來重新連線指定會話。

用screen -d session_name 來刪除會話

用screen -s session_name 來建立會話

用快捷鍵ctrl+a d來暫時斷開當前會話。

問題:如果正在執行的程序怎麼讓它進入後台ctrl + z 再加bg

systemctl stop networkmanager

systemctl disable networkmanager

systemctl restart network

重啟失敗可能會報錯:

job for network.service failed

job for network.service failed because the control process exited with error code. see "systemctl status network.service" and "journalctl -xe" for details.

so 執行:

journalctl -xe

參考:這種情況是無shell的,所以呼叫的是按配置檔案順序呼叫最後一層的.bashrc.所以可以將profile裡面的資料寫入.bashrc中,記得source .bashrc即可

networkmanager 和 network衝突

14.linus-centos 向外開放埠

1、開啟防火牆

systemctl start firewalld

2、開放指定埠

firewall-cmd --zone=public --add-port=1935/tcp --permanent

命令含義:

--zone #作用域

--add-port=1935/tcp #新增埠,格式為:埠/通訊協議

--permanent #永久生效,沒有此引數重啟後失效

3、重啟防火牆

firewall-cmd --reload

4、檢視埠號

netstat -ntlp //檢視當前所有tcp埠·

netstat -ntulp |grep 1935 //檢視所有1935埠使用情況·

find . | xargs grep -ri "tez-0.9.2"

大資料開發 常見問題(3)

q 在大資料開發套件 運維中心中檢視任務,顯示全部失敗?a 因為任務中配置了上游依賴,上游任務跑失敗了,導致下游任務無法繼續。q ads 支援 if ifnull 關鍵字嗎?a 不支援,您可以用 case when coalesce 代替,另外,若是含 group by的 sql 語句中必須有聚合函...

大資料開發 常見問題(1)

q.如何檢視實時的專案占用儲存多少?a.執行 desc projec t extended project name 語句進行檢視 q.資料同步時,如何進行增量同步?a.具體操作可參考 資料增量同步文件 q.如果之前提交的任務修改後再次提交,是否會影響當天的任務排程?a.根據修改的內容來確定是否會影...

大資料集群的常見問題

一.免金鑰登入時需要修改authorized keys檔案的許可權 改為600 二.1 解除安裝系統自帶的jdk版本 檢視自帶的jdk rpm qa grep gcj 看到如下資訊 libgcj 4.1.2 44.el5 j a 1.4.2 gcj compat 1.4.2.0 40jpp.115 ...