在kettle中建立csv->vertica的直抽測試，抽取速率穩定，沒有差距懸殊的峰值與谷值，
1.在表輸出處設定提交記錄數為10000時，平均速度在5.5w條記錄/s左右，且在資料庫中已正確插入。
2.在表輸出處設定提交記錄數為50000時，峰值速度7.2w條記錄/s+，平均速度在7.2w條記錄/s左右。
1.兩個csv匯入至verticatable，總的平均匯入速度在條記錄6.7w條記錄/s左右，整個匯入過程無錯誤。
2.乙個csv多執行緒匯入至同乙個verticatable，總的平均匯入速度在條記錄9.2w條記錄/s左右，整個匯入過程無錯誤。
按照所要求的etl流程進行測試，峰值速度在6.1w條記錄/s左右，平均速度在條記錄5.9w條記錄/s左右。
在資料庫中簡單查詢，已經將原本的birthday拆分成了year、date、month，漢族對映為01，功能成功實現
整體測試結果為可以成功實現vertica準實時增量抽取，抽取速度單執行緒匯入速度為4.3w條記錄/s，總體匯入速度為8.6w條記錄/s.
此部分實現有點複雜，分為幾個部分逐步介紹。
etl任務設計方案：表中有一列列名為id的自增序列，判斷需要被載入的表id欄位的最大數值，將匯入的資料表命名為incr_dest，匯出的資料表命令為incr_source。where id >作為引數傳入第二個資料抽取步驟，與資料庫表抽取2中被抽取的表id進行對比，資料庫表抽取2中id比傳入引數大的資料傳給載入至資料庫步驟。
此處使用多執行緒進行表輸出，以加快匯入速度。
實現要點：
模擬實時增加資料量的資料來源：此處在vertica庫中建立incr_source表，在開始實時處理時啟動匯入任務。 實時增量抽取：建立任務進行簡單排程，單次執行設定合適的時間間隔。
執行時先執行第一步增量轉換，再配置並執行第二步實時作業排程。
模擬實時增加的資料來源：csv直抽匯入。
實時增量抽取：
增量抽取的轉換實現：見第一步增量實現。 實時作業排程
start配置如下：從執行後每15s再次執行，重複次數無限
轉換2選擇在上一步增量實現配置的轉換即可。
準實時增量作業完成情況如下：
初始執行時間16:03
單執行緒匯入速度為4.3w條記錄/s，總體匯入速度為8.6w條記錄/s.
冒煙測試 測試 Beta測試 效能測試
冒煙測試 也可稱為showcase 這一術語描述的是在將 更改嵌入到產品的源樹中之前對這些更改進行驗證的過程。冒煙測試 smoke test 在測試中發現問題，找到了乙個bug，然後開發人員會來修復這個bug。這時想知道這次修復是否真的解決了程式的bug，或者是否會對其它模組造成影響，就需要針對此問...
軟體測試中的 測試 測試和 測試
常用來表示軟體測試過程中的三個階段，是第一階段，一般只供內部測試使用 是第二個階段，已經消除了軟體中大部分的不完善之處，但仍有可能還存在缺陷和漏洞，一般只提供給特定的使用者群來測試使用 是第三個階段，此時產品已經相當成熟，只需在個別地方再做進一步的優化處理即可上市發行。在軟體交付使用之後,使用者將如...
軟體測試中的 測試 測試和 測試
常用來表示軟體測試過程中的三個階段，是第一階段，一般只供內部測試使用 是第二個階段，已經消除了軟體中大部分的不完善之處，但仍有可能還存在缺陷和漏洞，一般只提供給特定的使用者群來測試使用 是第三個階段，此時產品已經相當成熟，只需在個別地方再做進一步的優化處理即可上市發行。在軟體交付使用之後,使用者將如...