structed streaming 原始碼分析

2021-09-03 02:39:19 字數 527 閱讀 7387

1.load的原始碼分析

load=>lookupdatasource

說白了就是構造logic plan 以及為每乙個logic 生成df,一定要注意此時所有df中沒有資料

2.structed streaming為什麼可以實現增量匯入

主要是因為會維護乙個state,這個state就是用來存最新的update的結果,

此時我們假如去做group by 那麼後面的都相當於key

3.structed streaming 的執行過程

df->....(logic plan)->runbatch->getdata->excute each logic plan with order->

sink->waiting for 10seconds ->df->.....

4.structed streaming 的group by

如果在sql中做了group by的操作,則以window作為聚合的段,然後把輸出模式設定成update

Cartographer原始碼篇 原始碼分析 1

在安裝編譯cartographer 1.0.0的時候,我們可以看到 主要包括cartorgarpher ros cartographer ceres sover三個部分。其中,ceres solver用於非線性優化,求解最小二乘問題 cartographer ros為ros平台的封裝,獲取感測器資料...

AbstractListView原始碼分析3

normal list that does not indicate choices public static final int choice mode none 0 the list allows up to one choice public static final int choice ...

Android AsyncTask原始碼分析

android中只能在主線程中進行ui操作,如果是其它子執行緒,需要借助非同步訊息處理機制handler。除此之外,還有個非常方便的asynctask類,這個類內部封裝了handler和執行緒池。本文先簡要介紹asynctask的用法,然後分析具體實現。asynctask是乙個抽象類,我們需要建立子...