調優常用命令：
學習linux命令技巧：
1.抓大放小，記住命令本身，引數記住幾個最常用的即可。
2.多敲，熟能生巧
3.命令 --help：幫助文件
4.man 命令：詳細說明
使用命令存在的問題：
1.學習成本高
2.只能操作一台機器
3.傳送了命令才能知道運**況
4.開發人員不一定能直接觸碰生產環境
監控軟體zabbix
zabbix安裝：
zabbix漢化、監控告警
prometheus(普羅公尺修斯)
prometheus+exporter 實現監控資料收集
prometheus+alertmanager 實現告警
prometheus+grafana 實現視覺化
調優與架構設計
什麼是調優？
找到問題並且解決，從而讓硬體以及軟體能發揮它本身的效能
架構演進過程中的調優
1.單體架構
2.雙管齊下的調優
1）結合工具，發現效能瓶頸，並去做針對性的調優
應用層面的調優（jvm調優，**重構等）
資料庫層面的調優（慢sql調優，分庫分表，引入快取等）
作業系統層面的調優（引入監控工具）
技術方案的調優（不同場景使用不同的方案，比如秒殺場景；通過業務上的妥協實現「有損」調優）
2）通過架構上的演進去解決效能瓶頸
單體應用，a模組:cpu密集，b模組:io密集
3.調優最佳實踐
1）要有完備的工具，幫助迅速找到系統的效能瓶頸，知道問題在哪
2）要有相應的理論支撐你去調優，知道為什麼會有問題
3）要在調優的工作過程中，積累豐富的調優經驗
善於歸納總結，記錄下大致的過程
4.水平擴容問題
tips：eureka集群節點超過7000，效能開始下降
5.中心化vs去中心化
6.總結
好的架構是演進出來的，而不是設計出來的，不同的專案適合不同的架構，相同的專案在不同的階段適用的架構也不一定一樣
Spark效能調優之Shuffle調優總結
spark底層shuffle的傳輸方式是使用netty傳輸，netty在進行網路傳輸的過程會申請堆外記憶體 netty是零拷貝 所以使用了堆外記憶體。shuffle過程中常出現的問題 常見問題一 reduce oom?問題原因 reduce task 去map端獲取資料，reduce一邊拉取資料一邊...
Spark效能調優 之 運算元調優（二）
map 表示每乙個元素 rrd.foreache 表示每乙個元素 rrd.forpartitions 表示每個分割槽的資料組成的迭代器 在生產環境中，通常使用foreachpartition運算元來完成資料庫的寫入，通過foreachpartition運算元的特性，可以優化寫資料庫的效能。如果使用f...
Linux記憶體 效能調優
記憶體是影響linux效能的主要因素之一，記憶體資源的充足與否直接影響應用系統的使用效能。free命令 監控linux記憶體使用狀況。由上圖可知，空閒記憶體是free buffers cached 155mb 一般來說如果空閒記憶體 物理記憶體 70 記憶體效能優 如果小於20 則效能差，需要新增記...