Airflow 中文文件 Lineage

2021-09-02 05:14:02 字數 565 閱讀 3962

注意

lineage 支援是非常實驗性的,可能會發生變化。

airflow可以幫助跟蹤資料的**,發生的事情以及資料隨時間的變化。 這有助於實現審計跟蹤和資料治理,還可以除錯資料流。

氣流通過任務的入口和出口跟蹤資料。 讓我們從乙個例子開始,看看它是如何工作的。

from airflow.operators.bash_operator import bashoperator

from airflow.operators.dummy_operator import dummyoperator

from airflow.lineage.datasets import file

from airflow.models import dag

from datetime import timedelta

file_categories = [ "cat1" , "cat2" , "cat3" ]

args =

閱讀全文/改進本文

Airflow 中文文件 安裝

安裝最新穩定版airflow的最簡單方法是使用pip pip install apache airflow您還可以安裝airflow,支援s3或postgres等額外功能 pip install apache airflow postgres,s3 注意 gpl依賴 預設情況下,apache air...

Airflow 中文文件 概念

airflow platform是用於描述,執行和監控工作流的工具。在airflow中,dag 或定向非迴圈圖 是您要執行的所有任務的集合,以反映其關係和依賴關係的方式進行組織。例如,乙個簡單的dag可以包含三個任務 a,b和c.可以說a必須在b可以執行之前成功執行,但c可以隨時執行。它可以說任務a...

Airflow 中文文件 安全

預設情況下,所有門都開啟。限制對web應用程式的訪問的一種簡單方法是在網路級別或使用ssh隧道執行此操作。但是,可以通過使用其中乙個提供的後端或建立自己的後端來開啟身份驗證。請務必檢視experimental rest api以保護api。最簡單的身份驗證機制之一是要求使用者在登入前指定密碼。密碼身...