airflow生產環境一般以mysql作為元資料庫，所以需要安裝mysql
#通過rpm安裝
rpm -ivh mysql-community-release-el7-5
.noarch.rpm
#安裝mysql
yuminstall mysql-server
#授權chown -r mysql:mysql /var/lib/mysql
#開啟mysql服務
service mysqld start
#用root使用者連線登入mysql:
mysql -uroot
#重置mysql密碼
use mysql;
update user set password=password('
password
') where user='
root';
flush privileges;
#為airflow建庫、建使用者
#建庫airflow:
create database airflow default charset utf8 collate utf8_general_ci;
#建使用者,airflow使用者不如root好用:
create user
'airflow
'@'%
' identified by '
password';
create user
'airflow
'@'localhost
' identified by '
password';
#為使用者授權:
grant all on airflow.* to '
airflow
'@'%';
grant all on airflow.* to '
root
'@'%';
#允許以外部伺服器以ip=192.168.1
.18遠端訪問airflow庫
grant all on airflow.* to '
root
'@'192.168.1.18
' identified by '
password
'flush privileges;
exit;
#mysql設定下列屬性提示唯讀，需要在/etc/my.cnf的[mysqld]下新增explicit_defaults_for_timestamp = 1
set global explicit_defaults_for_timestamp =1;
mysql運維常用命令
service mysqld start
service mysqld stop
service mysqld restart
Airflow分布式部署
airflow分布式部署所依賴的元件有mysql，redis，web server，scheduler，worker等，可以將這些元件部署在不同的機器上，來減低單台機器的壓力 單機安裝請參考 ubuntu16.04安裝apache airflow 然後在不同的機器上啟動不同的元件 airflow w...
分布式部署
一 分布式架構和部署 1 如何進行分布式部署 2 系統拆分後，模組之間如何相互呼叫 3 如何進行統一的會話 session 管理 4 如何實現單點登入 5 如何保證一致性更新 6 如何規劃和處理分布式事務 7 如何對重要服務實現ha 二 高併發和web層的效能優化 1 高併發的處理 2 nginx的...
Scrapyd部署分布式爬蟲（二）
上一節，我們介紹了通過scrapyd提供的 http介面來執行scrapy專案，但這個前提條件是需要事先將scrapy專案打包成egg檔案。雖然可以使用setup tools工具實現打包，但整個過程太繁瑣。這裡介紹第三方庫scrapyd client。它的功能主要有兩個 pip install sc...