streamsets問題總結

2021-10-14 09:56:05 字數 730 閱讀 5765

streamsets是一種純開源的etl工具,適用場景是不斷遞增的流式資料,基於原理識別業務邏輯上的增加來識別,實際上有個timer一直在循壞,但它並不是真正的主鍵,streamsets只是隱式地,不是真正地,最後還是要對於源表這種主鍵,刪除與update不太行,通過另乙個邏輯去處理,處理起來比較複雜,它裡面配置有乙個offset,記錄了你最後一次抽取id的值。

sqlserver2008版本上支援tlsv1這種套接字,現在驅動都不支援,所以一種想法就是通過其它協議和連線方式去連線資料庫,從而可以繞開這種協議,通過在url中設定各種引數,最後加上jtds這種第三方開源的sql server/sybase資料庫的jdbc驅動程式,報這樣的錯,

原理:

資料庫連線中的 isvalid()介面實現換成了 validationquery(),所以現在版本驅動想和sqlserver2008r2 互動,進行資料傳輸時,要防止出現傳過來為null的狀態,要給它乙個值,它就不會報錯。

受到的啟發:基於同樣的原理,聯想到的啟示,

最近問題總結(部分問題還未總結完)

1 配置檔案中使用 和 分別用 和 否則會報錯。2 和 的區別 使用 在解析成sql語句時會自動新增雙引號,即 中的內容一般表示欄位的值,例如 select from user where user id 如果userid的值是100,那麼解析成的sql為 select from user wher...

tftp問題總結

問題 一 在宿主機的 linux 作業系統上沒有安裝 tftp 程式。1 解決方法 一般在在 redhat 9.0 的第三張光碟中,有 tftp server 的安裝rpm 包 tftp server 0.32 4.i386.rpm 和tftp 0.32 4.i386.rpm 即伺服器端的 tftp...

rebar問題總結

1.指定查詢依賴包的多個掃瞄根目錄 預設是當前應用下的 deps 目錄,修改 deps 目錄,可以通過 2.依賴關係說明 a b b c c應用不用把b應用放到c應該自己的deps目錄下,可以將b和c都放到a應用的deps目錄下 3.對應第2條規定能成立,是因為a只在自己的deps目錄下尋找依賴關係...